隨著ChatGPT、文心一言等AI產(chǎn)品的火爆，生成式AI已經(jīng)成為了大家茶余飯后熱議的話題。

可是，為什么要在AI前面加上“生成式”這三個(gè)字呢？

1、生成式AI究竟是個(gè)啥？

如果將人工智能按照用途進(jìn)行簡(jiǎn)單分類的話，AI其實(shí)要被劃分為兩類：決策式AI和生成式AI。

● 決策式AI：專注于分析情況并做出決策。它通過(guò)評(píng)估多種選項(xiàng)和可能的結(jié)果，幫助用戶或系統(tǒng)選擇最佳的行動(dòng)方案。

例如，在自動(dòng)駕駛車輛中，就是通過(guò)決策式AI系統(tǒng)決定何時(shí)加速、減速或變換車道。

● 生成式AI：專注于創(chuàng)造全新內(nèi)容。它可以根據(jù)學(xué)習(xí)到的數(shù)據(jù)自動(dòng)生成文本、圖像、音樂(lè)等內(nèi)容。

例如，你可以將幾篇論文發(fā)給生成式AI，他可以生成一篇文獻(xiàn)綜述，囊括了這幾篇論文的關(guān)鍵思想、重要結(jié)論。

看到這里，你就知道為什么ChatGPT、文心一言屬于生成式AI了吧？

接下來(lái)，讓我們正式走入生成式AI的世界。

2、生成式AI的前世今生

其實(shí)，生成式AI的并不是這幾年剛剛誕生，它實(shí)際已經(jīng)經(jīng)歷了三個(gè)階段：

早期萌芽階段

●1950年，Alan Turing提出了著名的“圖靈測(cè)試”，這是生成式AI領(lǐng)域的一個(gè)里程碑，預(yù)示了AI內(nèi)容生成的可能性。

●1957年，Lejaren Hiller和Leonard Isaacson完成了歷史上第一首完全由計(jì)算機(jī)“作曲”的音樂(lè)作品《Illiac Suite》。

●1964年至1966年間，Joseph Weizenbaum開發(fā)了世界上第一款可人機(jī)對(duì)話的機(jī)器人“Eliza”，它通過(guò)關(guān)鍵字掃描和重組完成交互任務(wù)。

●1980年代，IBM公司基于隱形馬爾科夫鏈模型，創(chuàng)造了語(yǔ)音控制打字機(jī)“Tangora”。

沉淀積累階段

隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)規(guī)?？焖倥蛎?，為人工智能算法提供了海量訓(xùn)練數(shù)據(jù)。但是由于硬件基礎(chǔ)有限，此時(shí)的發(fā)展并不迅猛。

● 2007年，紐約大學(xué)人工智能研究員Ross Goodwin的人工智能系統(tǒng)撰寫了小說(shuō)《1 The Road》，這是世界第一部完全由人工智能創(chuàng)作的小說(shuō)。

● 2012年，微軟公司公開展示了一個(gè)全自動(dòng)同聲傳譯系統(tǒng)，可以自動(dòng)將英文演講者的內(nèi)容通過(guò)語(yǔ)音識(shí)別、語(yǔ)言翻譯、語(yǔ)音合成等技術(shù)生成中文語(yǔ)音。

快速發(fā)展階段

2014年起，大量深度學(xué)習(xí)方法的提出和迭代更新，標(biāo)志著生成式AI的新時(shí)代。

● 2017年，微軟人工智能少女“小冰”推出了世界首部100%由人工智能創(chuàng)作的詩(shī)集《陽(yáng)光失了玻璃窗》。

● 2019年，谷歌DeepMind團(tuán)隊(duì)發(fā)布了DVD-GAN架構(gòu)用以生成連續(xù)視頻。

● 2020年，OpenAI發(fā)布ChatGPT3，標(biāo)志著自然語(yǔ)言處理（NLP）和AIGC領(lǐng)域的一個(gè)重要里程碑。

● 2021年，OpenAI推出了DALL-E，主要應(yīng)用于文本與圖像的交互生成內(nèi)容。

● 自2022年開始到現(xiàn)在，OpenAI多次發(fā)布ChatGPT新型號(hào)，掀起了AIGC又一輪的高潮，它能夠理解和生成自然語(yǔ)言，與人類進(jìn)行復(fù)雜的對(duì)話。

自此，生成式AI已經(jīng)到了一個(gè)井噴式狀態(tài)。那么，生成式AI究竟是基于什么樣的原理呢？

3、輕松搞懂“生成式AI”原理

在剛剛的介紹中，大家應(yīng)該都對(duì)生成式AI有了一個(gè)表象的認(rèn)知：學(xué)習(xí)知識(shí)+生成新知識(shí)。

但它是如何學(xué)習(xí)的呢？又是如何生成的呢？

這時(shí)候，我們就得來(lái)看看生成式AI更深層次的定義了：

定義

以ChatGPT為代表的生成式AI，是對(duì)已有的數(shù)據(jù)和知識(shí)進(jìn)行向量化的歸納，總結(jié)出數(shù)據(jù)的聯(lián)合概率。從而在生成內(nèi)容時(shí)，根據(jù)用戶需求，結(jié)合關(guān)聯(lián)字詞的概率，生成新的內(nèi)容。

其實(shí)制作一個(gè)生成式AI，就像把一個(gè)泥人變成天才，一共需要四步：捏泥人→裝大腦→喂知識(shí)→有產(chǎn)出。

Step1：捏泥人——硬件架構(gòu)的搭建

要打造一個(gè)生成式AI的“泥人”，首先要考慮的就是底層硬件。底層硬件構(gòu)成了生成式AI的算力和存力。

算力——泥人的骨架

生成式AI需要進(jìn)行大量的計(jì)算，尤其是在處理如圖像和視頻時(shí)。大規(guī)模計(jì)算任務(wù)離不開下面這些關(guān)鍵硬件：

GPU（圖形處理單元）：提供強(qiáng)大的并行計(jì)算能力。通過(guò)成千上萬(wàn)個(gè)小處理單元并行工作，大幅提高了計(jì)算效率。

TPU（張量處理單元）：專門為加速人工智能學(xué)習(xí)而設(shè)計(jì)的硬件，能夠顯著加快計(jì)算速度，進(jìn)一步增強(qiáng)了骨架的強(qiáng)度。

存力——泥人的血液

生成式AI需要處理和存儲(chǔ)大量的數(shù)據(jù)。

以GPT-3為例，光是訓(xùn)練參數(shù)就達(dá)到了1750億個(gè)，訓(xùn)練數(shù)據(jù)達(dá)到45TB，每天會(huì)產(chǎn)生45億字內(nèi)容。

這些數(shù)據(jù)的存放離不開下面這些硬件設(shè)施：

大容量RAM：在訓(xùn)練生成式AI模型時(shí)，大量的中間計(jì)算結(jié)果和模型參數(shù)需要存儲(chǔ)在內(nèi)存中，大容量的RAM能夠顯著提高數(shù)據(jù)處理速度。

SSD（固態(tài)硬盤）：大容量的SSD具有高速讀取和寫入能力，可以快速加載和保存數(shù)據(jù)，使泥人能夠高效地存儲(chǔ)信息。

泥人捏好了，但是現(xiàn)在只能是一個(gè)提線木偶，沒(méi)有任何能力，所以我們就要給他裝上大腦。

Step2：裝大腦——軟件架構(gòu)構(gòu)建

軟件架構(gòu)是泥人的大腦，它決定了這個(gè)泥人將以什么樣的方式對(duì)數(shù)據(jù)進(jìn)行思考推理。

從仿生學(xué)的角度，人類希望AI能夠模仿人腦的運(yùn)行機(jī)制，對(duì)知識(shí)進(jìn)行思考推理——這就是通常所說(shuō)的深度學(xué)習(xí)。

為了實(shí)現(xiàn)深度學(xué)習(xí)，學(xué)者們提出了大量的神經(jīng)網(wǎng)絡(luò)架構(gòu)：

● 深度神經(jīng)網(wǎng)絡(luò)（DNN）是最普遍的神經(jīng)網(wǎng)絡(luò)架構(gòu)，但是隨著數(shù)據(jù)對(duì)于網(wǎng)路架構(gòu)的要求越來(lái)越復(fù)雜，這種方法逐漸有些吃力。

● 卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種專門為處理圖像數(shù)據(jù)而設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，能夠有效地處理圖像數(shù)據(jù)，但是需要對(duì)輸入數(shù)據(jù)進(jìn)行復(fù)雜的預(yù)處理。

● 隨著任務(wù)復(fù)雜度的增加，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）架構(gòu)成為處理序列數(shù)據(jù)的常用方法。

● 由于RNN在處理長(zhǎng)序列時(shí)容易遇到梯度消失和模型退化問(wèn)題，著名的Transformer算法被提出。

隨著算力的發(fā)展，生成式AI的網(wǎng)絡(luò)架構(gòu)發(fā)展越來(lái)越成熟，也開始各有側(cè)重：

● Transformer架構(gòu)：是目前文本生成領(lǐng)域的主流架構(gòu)，GPT、llama2等LLM（大語(yǔ)言模型）都是基于Transformer實(shí)現(xiàn)了卓越的性能。

● GANs架構(gòu)：在圖像生成、視頻生成等領(lǐng)域有廣泛應(yīng)用，能夠生成高質(zhì)量的圖像和視頻內(nèi)容。

● Diffusion架構(gòu)：在圖像生成、音頻生成等領(lǐng)域取得了很好的效果，能夠生成高質(zhì)量、多樣化的內(nèi)容。

網(wǎng)絡(luò)架構(gòu)搭建好了，腦子是有了，但是腦子里空空如也呀。所以我們通過(guò)數(shù)據(jù)訓(xùn)練給這個(gè)人造大腦喂知識(shí)。

Step3：喂知識(shí)——數(shù)據(jù)訓(xùn)練

目前有兩種訓(xùn)練方式：預(yù)訓(xùn)練和SFT（有監(jiān)督微調(diào)）

● 預(yù)訓(xùn)練：是指將一個(gè)大型、通用的數(shù)據(jù)集作為知識(shí)喂給AI進(jìn)行初步學(xué)習(xí)。

經(jīng)過(guò)預(yù)訓(xùn)練的模型叫作“基礎(chǔ)模型”，它對(duì)每個(gè)領(lǐng)域都有所了解，但是無(wú)法成為某個(gè)領(lǐng)域的專家。

● SFT：SFT是指在預(yù)訓(xùn)練之后，將一個(gè)特定任務(wù)的數(shù)據(jù)集喂給AI，進(jìn)一步訓(xùn)練模型。

例如，在已經(jīng)預(yù)訓(xùn)練的語(yǔ)言模型基礎(chǔ)上，用專門的醫(yī)學(xué)文本來(lái)微調(diào)模型，使其更擅長(zhǎng)處理醫(yī)學(xué)相關(guān)的問(wèn)答或文本生成任務(wù)。

但是，無(wú)論是預(yù)訓(xùn)練還是SFT，AI的大腦是如何吸收這些知識(shí)的呢？

這就涉及到“理解”能力了，我們以Transformer架構(gòu)為例，講講AI對(duì)于文本的理解。

對(duì)于AI來(lái)說(shuō)，理解分兩步：理解詞語(yǔ)和理解句子。

理解詞語(yǔ)的本質(zhì)就是詞語(yǔ)的歸類。研究人員提出了一種方法：將詞語(yǔ)在不同維度上進(jìn)行拆解，從而對(duì)詞語(yǔ)進(jìn)行歸類。

假設(shè)有四個(gè)詞語(yǔ)：西瓜、草莓、番茄和櫻桃。AI在兩個(gè)維度上對(duì)這些詞語(yǔ)拆解：

● 顏色維度：用1代表紅色，2代表綠色。

● 形狀維度：用1代表圓形，2代表橢圓形。

基于這個(gè)維度，AI對(duì)詞語(yǔ)進(jìn)行打分歸類。

● 西瓜：顏色=2（綠色），形狀=1（圓形）

● 草莓：顏色=1（紅色），形狀=2（橢圓形）

● 番茄：顏色=1（紅色），形狀=1（圓形）

● 櫻桃：顏色=1（紅色），形狀=1（圓形）

通過(guò)這些打分，我們可以看到詞語(yǔ)在不同維度上的分類。

例如，“番茄”和“櫻桃”在顏色和形狀維度上都是相同的，說(shuō)明它們?cè)谶@兩個(gè)維度上的含義相同；“草莓”和“西瓜”在顏色和形狀維度上都有所不同，說(shuō)明它們?cè)谶@兩個(gè)維度上的含義不同。

當(dāng)然，區(qū)分他們的維度不僅僅只有兩個(gè)，AI還可以從大小、甜度、是否有籽等大量維度對(duì)他們進(jìn)行打分，從而分類。

只要維度足夠多、打分足夠準(zhǔn)確，AI模型就可以越精準(zhǔn)地理解一個(gè)詞語(yǔ)的含義。

對(duì)于目前較為先進(jìn)的AI模型來(lái)說(shuō)，通常維度的數(shù)量可以達(dá)到上千個(gè)。

學(xué)習(xí)詞語(yǔ)并理解為量化的結(jié)果只完成了第一步，接下來(lái) AI 就需要進(jìn)一步理解一組詞語(yǔ)的合集：句子。

我們知道即使同一個(gè)詞語(yǔ)在不同語(yǔ)句中，也會(huì)具備不同的含義。

例如：

這是一頂綠色的帽子。

某某公司致力于打造綠色機(jī)房。

在不同句子中，“綠色”這個(gè)詞含義不同，AI是如何知道他們有不同的含義呢?

這就得益于transformer架構(gòu)的“自注意力（Self Attention）”機(jī)制。

簡(jiǎn)單來(lái)說(shuō)，當(dāng) AI 理解包含了一組詞語(yǔ)的句子時(shí)，除了理解詞語(yǔ)本身，還會(huì)“看一看”身邊的詞。單個(gè)詞語(yǔ)和句子中其他詞語(yǔ)之間的關(guān)聯(lián)性，稱之為“注意力”，由于是和同一個(gè)句子自身的詞語(yǔ)結(jié)合理解，所以稱之為“自注意力”。

因此，在Transformer架構(gòu)中，可以分為以下兩步：

● 將每個(gè)詞語(yǔ)轉(zhuǎn)換為一個(gè)向量。這個(gè)向量表示詞語(yǔ)在多維空間中的位置，反映了詞語(yǔ)的各種特征。

● 使用自注意力機(jī)制來(lái)關(guān)注句子中的不同部分。它能夠在處理每個(gè)詞語(yǔ)時(shí)，同時(shí)考慮句子中其他詞語(yǔ)的信息。

Step4：有產(chǎn)出——內(nèi)容生成

在理解完大量詞語(yǔ)、句子之后，AI就可以生成內(nèi)容了。它是如何生成內(nèi)容的呢？

這就是一個(gè)概率的問(wèn)題了。

問(wèn)大家一個(gè)問(wèn)題：

我在餐廳吃×。

×填個(gè)字，你會(huì)填什么？

根據(jù)你既往的經(jīng)驗(yàn)，大概率你會(huì)填“飯”。

其實(shí)，×還可以是“餅”、“面”、“蛋”等等。

像人一樣，生成式AI也會(huì)根據(jù)它第三步中學(xué)到的經(jīng)驗(yàn)，給這些字加上概率。然后選擇概率高的詞作為生成的內(nèi)容。接著，AI 將重復(fù)這一過(guò)程，選擇下一個(gè)可能性最高的詞語(yǔ)，從而生成更多內(nèi)容。

但有的時(shí)候，我們希望答案是豐富多彩的，回到剛剛那個(gè)例子，我們現(xiàn)在不希望AI接的下一個(gè)字是“飯”，那要怎么辦呢?

AI提供了一個(gè)調(diào)節(jié)參數(shù)，叫溫度，范圍從0到1。

● 在溫度為0時(shí)，說(shuō)明匹配概率要選盡量大的，在以上例子中，AI很可能選擇“飯”；

● 在溫度為1時(shí)，說(shuō)明匹配概率要選盡量小的，在以上例子中，AI很可能選擇“餅”。

數(shù)值越接近1，得到的內(nèi)容越天馬行空。

比如，溫度設(shè)為0.8，那么AI生成的句子可能是：

我在餐廳吃餅，這個(gè)餅又大又圓，我想把它套在脖子上......

但是，我們看到大多數(shù)AI產(chǎn)品，只有一個(gè)對(duì)話框，如何修改溫度參數(shù)呢？

答案是“提示詞”，也就是我們通常所說(shuō)的prompt。

● 如果你輸入是“你是一名某某領(lǐng)域的專家，請(qǐng)用嚴(yán)謹(jǐn)?shù)目谖菍懸黄P(guān)于xx的文獻(xiàn)綜述。”這時(shí)AI的溫度接近0，就會(huì)選擇匹配概率盡量高的詞語(yǔ)生成句子。

● 如果你輸入是“請(qǐng)你請(qǐng)暢想一下xx的未來(lái)?！边@時(shí)AI的溫度接近1，就會(huì)選擇匹配概率盡量低的詞語(yǔ)組成句子，生成意想不到的內(nèi)容。

現(xiàn)在知道prompt的重要性了吧！

所以，我們可以認(rèn)為，AI生成的本質(zhì)就是一場(chǎng)詞語(yǔ)接龍：AI根據(jù)當(dāng)前字，聯(lián)系它之前記錄的下個(gè)字的出現(xiàn)概率以及你的期望，選擇接下來(lái)的字。

當(dāng)然，生成式AI的內(nèi)部原理遠(yuǎn)比小編講的要復(fù)雜，小編這里只能算一個(gè)基礎(chǔ)的科普。

3、“生成式AI”去向何方？

那么生成式AI真的會(huì)實(shí)現(xiàn)通用人工智能，從而替代人類嘛？目前，有兩種看法：

積極派：以O(shè)penAI的CEO Altman、英偉達(dá)CEO黃仁勛為首的積極派，非常看好生成式AI的未來(lái)，他們?cè)硎尽霸龠^(guò)幾年，人工智能將會(huì)比現(xiàn)在更加強(qiáng)大和成熟；而再過(guò)十年，它定將大放異彩“，“AI可能在5年內(nèi)超越人類智能”。

消極派：以深度學(xué)習(xí)先驅(qū)楊立昆為首的消極派，一直認(rèn)為生成式AI無(wú)法通往通用人工智能。他在多個(gè)場(chǎng)合表示“像ChatGPT這樣的大型語(yǔ)言模型將永遠(yuǎn)無(wú)法達(dá)到人類的智能水平”，“人類訓(xùn)練的人工智能，難以超越人類”。

那么對(duì)于我們普通人來(lái)說(shuō)，我們要怎么對(duì)待生成式AI呢？

小編覺(jué)得，我們普通人不妨就把它當(dāng)做一個(gè)工具，學(xué)會(huì)使用它，提高我們的工作效率，豐富我們的日常生活， 保持對(duì)世界的好奇心，充分享受科技帶來(lái)的便利就好啦！