沒(méi)有人知道人工智能（Artificial Intelligence，AI）將如何改變世界，原因之一在于，沒(méi)有人真正了解這些AI的內(nèi)部運(yùn)作方式。一些AI系統(tǒng)具備的能力遠(yuǎn)遠(yuǎn)超出了它們所受訓(xùn)練的范圍——就連它們的發(fā)明者也對(duì)此感到困惑。研究人員也在想盡辦法理解，為什么大語(yǔ)言模型能夠掌握那些沒(méi)人告訴過(guò)它們的知識(shí)。越來(lái)越多的測(cè)試表明，這些AI系統(tǒng)就像我們?nèi)祟?lèi)的大腦一樣，在自己的內(nèi)部構(gòu)建出了現(xiàn)實(shí)世界的模型——盡管它們達(dá)成的方式和我們的不同。
AI是鸚鵡學(xué)舌嗎
美國(guó)布朗大學(xué)的埃莉·帕夫利克是致力于填補(bǔ)這一空白的研究人員之一。帕夫利克表示：“如果我們不了解它們是如何運(yùn)作的，任何想要優(yōu)化人工智能、使它變得更安全或者類(lèi)似的行為，對(duì)我來(lái)說(shuō)都是很荒謬的。”
從某種程度上說(shuō)，帕夫利克和她的同事對(duì)“基于生成式預(yù)訓(xùn)練模型”（Generative Pre-trained Transformer，GPT）和其他類(lèi)型的大型語(yǔ)言模型（LLM）了解得一清二楚。這些模型都依賴(lài)于一種名為“神經(jīng)網(wǎng)絡(luò)”的機(jī)器學(xué)習(xí)系統(tǒng)——它的結(jié)構(gòu)大致仿照了人腦的神經(jīng)元連接。用于構(gòu)建神經(jīng)網(wǎng)絡(luò)的程序代碼相對(duì)簡(jiǎn)單，僅占幾個(gè)屏幕的篇幅就能建立起一種可自動(dòng)更正的算法。這種算法可以統(tǒng)計(jì)分析數(shù)百GB的互聯(lián)網(wǎng)文本，再挑選出最有可能的單詞，由此生成一段內(nèi)容。一些額外訓(xùn)練還能確保系統(tǒng)以對(duì)話的形式呈現(xiàn)結(jié)果。從這個(gè)意義上說(shuō)，它所做的只是重復(fù)所學(xué)到的內(nèi)容——用美國(guó)華盛頓大學(xué)語(yǔ)言學(xué)家埃米莉·本德的話來(lái)說(shuō)，這就是一只“隨機(jī)鸚鵡”。這并不是詆毀已故的非洲灰鸚鵡亞歷克斯，它能夠理解諸如顏色、形狀和面包等概念，并且會(huì)有意地使用相應(yīng)的詞語(yǔ)。不過(guò)，LLM也通過(guò)了律師資格考試，并就希格斯玻色子寫(xiě)了一首十四行詩(shī)，甚至還試圖破壞用戶(hù)的婚姻。鮮有人預(yù)料到，一個(gè)相當(dāng)簡(jiǎn)單的自動(dòng)更正算法可以具備如此廣泛的能力。
此外，GPT和其他AI系統(tǒng)還能執(zhí)行未經(jīng)訓(xùn)練的任務(wù)，因而會(huì)產(chǎn)生一些“涌現(xiàn)能力”（Emergent Abilities，隨模型規(guī)模增大而不可預(yù)測(cè)地出現(xiàn)的能力）。這一點(diǎn)甚至讓那些對(duì)LLM過(guò)度宣傳普遍持懷疑態(tài)度的研究人員也感到驚訝。美國(guó)圣菲研究所的AI研究員梅拉妮·米切爾表示：“我不知道它們是如何做到的，也不知道它們能否像人類(lèi)那樣在更普遍意義上做到這一點(diǎn)，但現(xiàn)在的情況已經(jīng)挑戰(zhàn)了我的觀點(diǎn)?！?/p>
加拿大蒙特利爾大學(xué)的AI研究員約書(shū)亞·本希奧說(shuō)：“它肯定比‘隨機(jī)鸚鵡’要強(qiáng)得多，并且確實(shí)構(gòu)建出了一些關(guān)于現(xiàn)實(shí)世界的內(nèi)部表征——盡管我認(rèn)為這和人類(lèi)腦中構(gòu)建世界模型的方式不大相同?！?/p>
涌現(xiàn)能力
今年3月，在美國(guó)紐約大學(xué)舉辦的一場(chǎng)會(huì)議上，美國(guó)哥倫比亞大學(xué)的哲學(xué)家拉斐爾·米利埃展示了LLM另一個(gè)令人瞠目結(jié)舌的能力。我們已經(jīng)知道這些模型具備令人印象深刻的寫(xiě)代碼能力，但由于網(wǎng)上有太多的代碼可以模仿，所以不足為奇。相比之下，米利埃更進(jìn)一步證明，GPT也有執(zhí)行代碼的能力。這位哲學(xué)家輸入了一個(gè)用于計(jì)算斐波那契數(shù)列中第83個(gè)數(shù)字的程序?！皥?zhí)行這套程序需要非常高級(jí)的多步推理，”他說(shuō)。盡管AI聊天機(jī)器人似乎本不應(yīng)該能夠?qū)崿F(xiàn)此類(lèi)操作，但它卻成功了。不過(guò)，當(dāng)米利埃直接問(wèn)它第83個(gè)斐波那契數(shù)是多少時(shí)，它卻答錯(cuò)了。這樣看來(lái)，它不僅僅是一只“隨機(jī)鸚鵡”、只能根據(jù)見(jiàn)過(guò)的數(shù)據(jù)輸出答案，而是可以通過(guò)執(zhí)行運(yùn)算來(lái)得出答案。
盡管LLM是在計(jì)算機(jī)上運(yùn)行的，但它本身并不是計(jì)算機(jī)。因?yàn)樗狈Ρ匾挠?jì)算元素，比如工作記憶（對(duì)信息進(jìn)行短時(shí)存儲(chǔ)和加工的記憶系統(tǒng)）。GPT被默認(rèn)自身無(wú)法運(yùn)行代碼，對(duì)此它的發(fā)明者——科技公司OpenAI推出了一個(gè)專(zhuān)門(mén)的插件，以便使生成式預(yù)訓(xùn)練聊天機(jī)器人可以在回答問(wèn)題時(shí)使用這種工具來(lái)運(yùn)行代碼。不過(guò)，米利埃展示的工作并沒(méi)有使用這種插件。相反，他猜測(cè)GPT可以利用它根據(jù)上下文解釋單詞的能力，臨時(shí)創(chuàng)建一種記憶——這種行為很像自然界中的生物如何將現(xiàn)有能力重新用于實(shí)現(xiàn)新功能一樣。
這種可以臨時(shí)產(chǎn)生記憶的能力表明，LLM發(fā)展出了遠(yuǎn)超出簡(jiǎn)單統(tǒng)計(jì)分析的內(nèi)部復(fù)雜性。研究人員發(fā)現(xiàn)，這些系統(tǒng)似乎能夠真正理解它們所學(xué)的內(nèi)容。在今年5月舉辦的國(guó)際表征學(xué)習(xí)大會(huì)上，美國(guó)哈佛大學(xué)的博士生肯尼思·李和他的同事報(bào)告了一項(xiàng)研究，他們搭建了一個(gè)較小的GPT神經(jīng)網(wǎng)絡(luò)，以便研究其內(nèi)部運(yùn)作。通過(guò)以文本形式輸入棋子走法，他們對(duì)它進(jìn)行了數(shù)百萬(wàn)場(chǎng)黑白棋（Othello）的比賽訓(xùn)練，從而使他們的模型成為一名近乎完美的玩家。
為了研究神經(jīng)網(wǎng)絡(luò)如何編碼信息，他們采用了來(lái)自蒙特利爾大學(xué)的本希奧和紀(jì)堯姆·阿蘭于2016年開(kāi)發(fā)的一項(xiàng)技術(shù)。他們創(chuàng)建了一種微型“探針”網(wǎng)絡(luò)來(lái)逐層分析主網(wǎng)絡(luò)?？夏崴肌だ钫J(rèn)為這好比神經(jīng)科學(xué)中的方法，“就像把探針?lè)湃肴四X一樣。”就肯尼思·李等人訓(xùn)練的AI模型而言，探針顯示它的“神經(jīng)活動(dòng)”與一場(chǎng)黑白棋游戲的表征相匹配，不過(guò)是以卷積的形式存在。為了證實(shí)這一點(diǎn)，研究人員在將信息植入網(wǎng)絡(luò)時(shí)反向運(yùn)行探針，例如，將棋盤(pán)游戲中的一枚黑棋翻轉(zhuǎn)成白棋?？夏崴肌だ畋硎荆骸皬母旧险f(shuō)，我們侵入了這些語(yǔ)言模型的‘大腦’。”結(jié)果顯示，神經(jīng)網(wǎng)絡(luò)據(jù)此調(diào)整了自己的行為。研究人員推斷，它在玩黑白棋時(shí)與人類(lèi)大致相同：在“腦?！敝邢胂笠粋€(gè)棋盤(pán)，并使用這個(gè)模型來(lái)評(píng)估可走的棋步?？夏崴肌だ钫J(rèn)為，系統(tǒng)之所以能夠?qū)W會(huì)這項(xiàng)技能，是因?yàn)檫@是對(duì)它所接受的訓(xùn)練數(shù)據(jù)的最簡(jiǎn)潔的一種描述?！叭绻阌幸淮蠖延螒蚰_本，那么最好的壓縮數(shù)據(jù)的方法就是嘗試找出背后的規(guī)則?！彼a(bǔ)充道。
這種推斷外部世界結(jié)構(gòu)的能力并不局限于簡(jiǎn)單的走棋動(dòng)作，它還表現(xiàn)在對(duì)話中。麻省理工學(xué)院的研究人員利用一種文字冒險(xiǎn)游戲研究了神經(jīng)網(wǎng)絡(luò)。他們會(huì)輸入一些語(yǔ)句，比如先輸入“鑰匙在寶箱里”，然后輸入“你拿走鑰匙”。利用一種探針，他們發(fā)現(xiàn)這些神經(jīng)網(wǎng)絡(luò)已經(jīng)在內(nèi)部編碼了與“寶箱”和“你”對(duì)應(yīng)的變量，每個(gè)變量都分為“有鑰匙”和“無(wú)鑰匙”這兩種情況，并且變量的值會(huì)隨輸入語(yǔ)句的不同而不斷更新。這個(gè)系統(tǒng)并不能獨(dú)立地理解寶箱和鑰匙的含義，但是它可以從語(yǔ)句中挑選出完成這項(xiàng)任務(wù)所需的概念。
研究人員驚嘆于LLM能夠從文本中學(xué)到如此多的內(nèi)容。例如，帕夫利克和同事發(fā)現(xiàn)，這些神經(jīng)網(wǎng)絡(luò)可以從互聯(lián)網(wǎng)的文本數(shù)據(jù)中獲得關(guān)于顏色的描述，然后構(gòu)建關(guān)于顏色的內(nèi)部表征。當(dāng)它們看到“紅色”這個(gè)詞時(shí)，不只是將它作為一個(gè)抽象符號(hào)來(lái)處理，還會(huì)把它當(dāng)作一個(gè)與栗色、深紅色、紫紅色和鐵銹色等顏色具有某種聯(lián)系的概念。想要體現(xiàn)出這一點(diǎn)還有些棘手。研究人員并沒(méi)有使用探針，而是研究了AI模型對(duì)一系列文本提示所作的響應(yīng)。為了檢驗(yàn)AI系統(tǒng)是否只是在模仿互聯(lián)網(wǎng)上數(shù)據(jù)中不同顏色之間的關(guān)系，他們嘗試誤導(dǎo)系統(tǒng)，告訴它紅色其實(shí)是綠色。結(jié)果表明，AI系統(tǒng)并沒(méi)有照搬錯(cuò)誤的答案，而是通過(guò)適當(dāng)更正輸出了正確答案。AI可以通過(guò)找到訓(xùn)練數(shù)據(jù)背后的邏輯來(lái)實(shí)現(xiàn)自我更正，對(duì)此微軟研究院的機(jī)器學(xué)習(xí)研究員塞巴斯蒂安·布貝克表示，數(shù)據(jù)范圍越廣，系統(tǒng)發(fā)現(xiàn)的規(guī)則就越普遍。
語(yǔ)境學(xué)習(xí)
除了提取語(yǔ)言的潛在含義外，LLM還能現(xiàn)學(xué)現(xiàn)用。在人工智能領(lǐng)域，“學(xué)習(xí)”一詞通常用在計(jì)算密集型的進(jìn)程中，包括開(kāi)發(fā)人員給神經(jīng)網(wǎng)絡(luò)提供GB級(jí)別的數(shù)據(jù)，以及修改其內(nèi)部連接。當(dāng)你向生成式預(yù)訓(xùn)練聊天機(jī)器人提出一個(gè)問(wèn)題時(shí)，神經(jīng)網(wǎng)絡(luò)理應(yīng)固定不變，因?yàn)樗幌袢祟?lèi)一樣會(huì)繼續(xù)學(xué)習(xí)。但令人驚訝的是，LLM實(shí)際上可以學(xué)會(huì)根據(jù)用戶(hù)給出的提示生成與上下文相關(guān)的輸出，這種能力被稱(chēng)為“上下文學(xué)習(xí)”（In-context Learning，又稱(chēng)語(yǔ)境學(xué)習(xí)）。AI公司SingularityNET的創(chuàng)始人本·戈策爾表示：“這是一種完全不同的學(xué)習(xí)方式，此前我們并不真正了解它?！?/p>
人類(lèi)與AI聊天機(jī)器人之間的交互方式是展示LLM如何學(xué)習(xí)的一個(gè)例子。你可以給系統(tǒng)舉例說(shuō)明你希望它如何響應(yīng)，然后它就會(huì)服從你的指令。它的輸出取決于它看到的最后幾千個(gè)單詞，這樣的行為是由AI模型固定的內(nèi)部連接決定的——不過(guò)單詞序列提供了一定程度的可變性。整個(gè)互聯(lián)網(wǎng)都在致力于尋找讓模型“越獄”的提示詞，以此突破系統(tǒng)防護(hù)——例如，系統(tǒng)防護(hù)會(huì)阻止它告訴用戶(hù)如何制作管狀炸彈——這通常是通過(guò)引導(dǎo)模型“扮演”一個(gè)沒(méi)有防護(hù)的系統(tǒng)來(lái)實(shí)現(xiàn)的。有些人利用“越獄”來(lái)達(dá)成一些可疑意圖，而另一些人則是利用“越獄”來(lái)獲得更具創(chuàng)造性的答案。佛羅里達(dá)大西洋大學(xué)機(jī)器感知與認(rèn)知機(jī)器人實(shí)驗(yàn)室聯(lián)合主任威廉·哈恩表示，與不加“越獄”提示詞而直接詢(xún)問(wèn)AI科學(xué)問(wèn)題相比，加了以后可以表現(xiàn)得更好，“我認(rèn)為這將能更好地解決科學(xué)問(wèn)題?！睋Q句話說(shuō)，“越獄后的模型更擅長(zhǎng)學(xué)術(shù)問(wèn)題?！绷硪环N類(lèi)型的語(yǔ)境學(xué)習(xí)則是通過(guò)一種叫做“思維鏈”的提示方法實(shí)現(xiàn)的。這種方法要求神經(jīng)網(wǎng)絡(luò)闡明其推理過(guò)程中的每一步，從而使LLM在需要多步推理的邏輯或算術(shù)問(wèn)題上做得更好。值得一提的是，米利埃的研究并沒(méi)有使用類(lèi)似的提示方法，這也是它令人如此驚訝的原因之一。
2022年，由谷歌研究院和瑞士蘇黎世聯(lián)邦理工學(xué)院的研究人員組成的一支團(tuán)隊(duì)發(fā)現(xiàn)，語(yǔ)境學(xué)習(xí)與標(biāo)準(zhǔn)學(xué)習(xí)都遵循一種名為“梯度下降法”（Gradient Descent）的基本算法——該操作是AI系統(tǒng)在沒(méi)有人類(lèi)幫助下自行發(fā)現(xiàn)的?！斑@是AI習(xí)得的一種能力，”谷歌研究院副總裁布萊斯·阿圭拉-阿爾卡斯說(shuō)。事實(shí)上，他認(rèn)為L(zhǎng)LM可能還有其他尚未被發(fā)現(xiàn)的能力。
現(xiàn)在LLM還有相當(dāng)多的盲點(diǎn)，所以我們還不能把它稱(chēng)為通用人工智能（AGI，具備與生物大腦類(lèi)似智慧的機(jī)器），但一些研究人員認(rèn)為，它們這些涌現(xiàn)能力表明，科技公司距離AGI也許比樂(lè)觀主義者猜測(cè)的還要更近。今年3月，戈策爾在佛羅里達(dá)大西洋大學(xué)舉行的深度學(xué)習(xí)會(huì)議上說(shuō)：“它們間接證明我們離AGI可能并不遙遠(yuǎn)?！監(jiān)penAI的插件使生成式預(yù)訓(xùn)練聊天機(jī)器人具有了模塊化的架構(gòu)，與人類(lèi)大腦有些類(lèi)似。麻省理工學(xué)院的研究員安娜·伊萬(wàn)諾娃表示：“將GPT-4（為生成式預(yù)訓(xùn)練聊天機(jī)器人提供技術(shù)支持的最新版本的LLM）與各種插件相結(jié)合，可能是一條通往AGI的途徑?！钡c此同時(shí)，研究人員還擔(dān)心他們研究這些系統(tǒng)的機(jī)會(huì)窗口可能正在關(guān)閉。OpenAI沒(méi)有透露GPT-4設(shè)計(jì)和訓(xùn)練的細(xì)節(jié)，部分原因是它陷入了與谷歌等其他公司——且不說(shuō)其他國(guó)家的競(jìng)爭(zhēng)中。丹·羅伯茨是麻省理工學(xué)院的理論物理學(xué)家，主要運(yùn)用專(zhuān)業(yè)知識(shí)來(lái)理解人工智能。羅伯茨表示：“業(yè)界公開(kāi)的研究將可能會(huì)減少，而圍繞產(chǎn)品構(gòu)建的研究工作將變得更加孤立且組織化?！?/p>
缺乏透明度不只不利于研究的開(kāi)展，圣菲研究所的米切爾說(shuō)。它還會(huì)阻礙我們對(duì)AI熱潮所產(chǎn)生的社會(huì)影響的理解?！斑@些模型透明化是確保AI安全性最重要的一點(diǎn)?！?/p>
來(lái)源：《光明日?qǐng)?bào)》
