久久久91-久久久91精品国产一区二区-久久久91精品国产一区二区三区-久久久999国产精品-久久久999久久久精品

★中國(guó)自動(dòng)化學(xué)會(huì)專家咨詢工作委員會(huì) 孫柏林

1　什么是大模型

大模型是指具有龐大規(guī)模和復(fù)雜結(jié)構(gòu)的人工智能模型，它們具有數(shù)以億計(jì)的參數(shù)和深層次的神經(jīng)網(wǎng)絡(luò)架構(gòu)。這些模型通過海量數(shù)據(jù)的學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化，在各種任務(wù)上取得了令人矚目的成果。這些模型使用大量的多媒體數(shù)據(jù)資源作為輸入，并通過復(fù)雜的數(shù)學(xué)運(yùn)算和優(yōu)化算法來(lái)完成大規(guī)模的訓(xùn)練，以學(xué)習(xí)和理解到輸入數(shù)據(jù)的模式和特征。這些模式和特征最終通過大模型中龐大的參數(shù)進(jìn)行表征，以獲得與輸入數(shù)據(jù)和模型設(shè)計(jì)相匹配的能力，最終實(shí)現(xiàn)更復(fù)雜、更廣泛的任務(wù)，如語(yǔ)音識(shí)別、自然語(yǔ)言處理、計(jì)算機(jī)視覺等。

追尋大模型的起源，應(yīng)該從那篇《Attention is All You Need》開始，大模型的發(fā)展大致走上了兩條路：

一條路是舍棄Decoder部分，僅僅使用Encoder作為編碼器的預(yù)訓(xùn)練模型，其最出名的代表就是Bert家族。這些模型開始嘗試應(yīng)用“無(wú)監(jiān)督預(yù)訓(xùn)練”的方式來(lái)更好地利用相較其他數(shù)據(jù)而言更容易獲得的大規(guī)模的自然語(yǔ)言數(shù)據(jù)，而“無(wú)監(jiān)督”的方式就是Masked Language Model（MLM），通過Mask掉句子中的部分單詞，讓模型學(xué)習(xí)使用上下文去預(yù)測(cè)被Mask丟掉的單詞的能力。

另一條路，則是Bert的進(jìn)路沒能突破Scale Law，而這一點(diǎn)則由當(dāng)下大模型的主力軍，即通過舍棄Encoder部分而基于Decoder部分的GPT家族真正做到了。GPT家族的成功來(lái)源于一個(gè)研究人員驚異的發(fā)現(xiàn)：“擴(kuò)大語(yǔ)言模型的規(guī)模可以顯著提高零樣本（zero-shot）與小樣本（few-shot）學(xué)習(xí)的能力”，這一點(diǎn)與基于微調(diào)的Bert家族有很大的區(qū)別，也是當(dāng)下大規(guī)模語(yǔ)言模型神奇能力的來(lái)源。而從GPT-3開始，當(dāng)下的ChatGPT、GPT-4、Bard以及PaLM、LLaMA百家爭(zhēng)鳴，帶來(lái)了當(dāng)下的大模型盛世。

從模型發(fā)展來(lái)看，人工智能經(jīng)歷了機(jī)器學(xué)習(xí)模型、深度學(xué)習(xí)模型、預(yù)訓(xùn)練模型和大規(guī)模預(yù)訓(xùn)練模型四個(gè)階段。

歸根結(jié)底，大模型的神奇能力是來(lái)源于GPT么？答案是否定的。GPT家族幾乎每一次能力的躍遷，都在預(yù)訓(xùn)練數(shù)據(jù)的數(shù)量、質(zhì)量、多樣性等方面做出了重要的提升。大模型的訓(xùn)練數(shù)據(jù)包括書籍、文章、網(wǎng)站信息、代碼信息等，這些數(shù)據(jù)輸入到大模型中的目的，實(shí)質(zhì)在于全面準(zhǔn)確地反映“人類”這個(gè)東西，并通過告訴大模型單詞、語(yǔ)法、句法和語(yǔ)義的信息，讓模型獲得識(shí)別上下文并生成連貫響應(yīng)的能力，以捕捉人類的知識(shí)、語(yǔ)言、文化等方面。

一般而言，面對(duì)許多NLP的任務(wù)，我們可以從數(shù)據(jù)標(biāo)注信息的角度將其分類為零樣本、少樣本與多樣本。無(wú)疑，零樣本的任務(wù)LLMs是最合適的方法，幾乎沒有例外，大模型在零樣本任務(wù)上遙遙領(lǐng)先于其他的模型。同時(shí)，小樣本任務(wù)也十分適合大模型的應(yīng)用，通過為大模型展示“問題-答案”的模式，可以增強(qiáng)大模型的表現(xiàn)性能，這種方式我們一般也稱為上下文學(xué)習(xí)（In-Context Learning）。而多樣本任務(wù)盡管大模型也可以去覆蓋，但是微調(diào)可能仍然是最好的方法，當(dāng)然在一些如隱私、計(jì)算等約束條件下，大模型仍然有用武之地。

同時(shí)，微調(diào)的模型很有可能會(huì)面對(duì)訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)分布變化的問題，微調(diào)的模型在OOD數(shù)據(jù)上一般表現(xiàn)都非常差。而相應(yīng)的，LLMs由于并沒有一個(gè)顯式的擬合過程，因此表現(xiàn)要好許多。典型的ChatGPT基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）在大部分分布外的分類與翻譯任務(wù)中都表現(xiàn)優(yōu)異，在專為OOD評(píng)估設(shè)計(jì)的醫(yī)學(xué)診斷數(shù)據(jù)集DDXPlus上也表現(xiàn)出色。

從目前來(lái)看，不可能出現(xiàn)一家AI大模型一統(tǒng)天下的情況，因?yàn)锳I大模型是否能夠得到廣泛使用，一方面要看技術(shù)能力，另一方面則要看應(yīng)用場(chǎng)景和流量格局。

AI大模型百花齊放只是一個(gè)階段性現(xiàn)象。在演變的過程中，各家企業(yè)和機(jī)構(gòu)會(huì)逐漸找到自己的定位，走向細(xì)分市場(chǎng)。

百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏曾在演講中分析了大模型在技術(shù)方面的演進(jìn)：大模型之所以會(huì)改變?nèi)斯ぶ悄埽蚓驮谟诖笏懔Α⒋竽Ｐ汀⒋髷?shù)據(jù)，導(dǎo)致了智能涌現(xiàn)。他解釋了何為“智能涌現(xiàn)”：過去的人工智能是想讓機(jī)器學(xué)會(huì)什么技能，就教它什么技能。大模型導(dǎo)致智能涌現(xiàn)后，以前沒教過的技能，機(jī)器也會(huì)了。同時(shí)他還表示，人工智能發(fā)生了方向性改變，從辨別式AI走向生成式AI。回到大模型本身的應(yīng)用上，李彥宏在演講中表示，大模型會(huì)重新定義營(yíng)銷和客服。“道理很簡(jiǎn)單，就是誰(shuí)擁有最佳的跟客戶溝通的方式，誰(shuí)就會(huì)擁有這個(gè)客戶。”

當(dāng)下，大模型密集發(fā)布，各大廠商紛紛加碼人工智能，這樣的大模型“狂”潮還會(huì)持續(xù)多久，發(fā)展方向是什么？針對(duì)業(yè)界關(guān)注的熱點(diǎn)問題，《人民郵電》報(bào)記者采訪了北京郵電大學(xué)經(jīng)濟(jì)管理學(xué)院教授曾劍秋，他認(rèn)為大模型帶來(lái)的顛覆性創(chuàng)新可以總結(jié)為：規(guī)模大、速度快、場(chǎng)景全。

首先，參數(shù)規(guī)模上，從GPT-1的1.17億參數(shù)到GPT-3的1750億參數(shù)，大模型的參數(shù)規(guī)模動(dòng)輒上千億，能夠從海量數(shù)據(jù)和知識(shí)中學(xué)習(xí)，在不同領(lǐng)域和場(chǎng)景中“輕松”完成任務(wù)。

其次，得益于信息基礎(chǔ)設(shè)施穩(wěn)步推進(jìn)帶來(lái)的算力提升，大模型能夠在短時(shí)間內(nèi)響應(yīng)用戶并提供歸納整理后的內(nèi)容，從聊天機(jī)器人轉(zhuǎn)變?yōu)閿?shù)字助手。

其次，得益于信息基礎(chǔ)設(shè)施穩(wěn)步推進(jìn)帶來(lái)的算力提升，大模型能夠在短時(shí)間內(nèi)響應(yīng)用戶并提供歸納整理后的內(nèi)容，從聊天機(jī)器人轉(zhuǎn)變?yōu)閿?shù)字助手。

曾劍秋還認(rèn)為，大模型是建立在網(wǎng)絡(luò)能力、數(shù)據(jù)能力和計(jì)算能力三者之上的創(chuàng)新應(yīng)用。大模型需要在多個(gè)設(shè)備之間進(jìn)行數(shù)據(jù)傳輸和參數(shù)同步，而堅(jiān)實(shí)的網(wǎng)絡(luò)基礎(chǔ)為大模型提供了高效、穩(wěn)定、可擴(kuò)展的訓(xùn)練和部署環(huán)境。數(shù)據(jù)能力對(duì)于大模型的訓(xùn)練和應(yīng)用至關(guān)重要，因?yàn)榇竽Ｐ托枰獜暮Ａ繑?shù)據(jù)中學(xué)習(xí)和捕獲知識(shí)以提升泛化能力。在計(jì)算能力方面，大模型需要海量的計(jì)算資源來(lái)執(zhí)行復(fù)雜運(yùn)算和存儲(chǔ)巨量參數(shù)，需要使用高性能、低功耗、高度并行的計(jì)算設(shè)備和系統(tǒng)（如GPU）。可以說(shuō)，算力是大模型訓(xùn)練和人工智能發(fā)展的基礎(chǔ)設(shè)施。

曾劍秋談道，這三種能力是大模型發(fā)展、人工智能產(chǎn)業(yè)進(jìn)步和信息技術(shù)創(chuàng)新應(yīng)用的“沃土”。入局大模型的門檻主要包括基礎(chǔ)門檻、訓(xùn)練門檻和應(yīng)用門檻。基礎(chǔ)門檻包括網(wǎng)絡(luò)能力和數(shù)據(jù)處理能力，需要具備大模型訓(xùn)練計(jì)算所需的高性能服務(wù)器、GPU設(shè)備、高速網(wǎng)絡(luò)等。訓(xùn)練門檻是指大模型的“成長(zhǎng)”迭代需要不斷訓(xùn)練，需要提供符合一定標(biāo)準(zhǔn)的高質(zhì)量訓(xùn)練數(shù)據(jù)，因而需要花費(fèi)時(shí)間和計(jì)算資源來(lái)對(duì)數(shù)據(jù)進(jìn)行清洗和預(yù)處理，從而保障數(shù)據(jù)的質(zhì)量和準(zhǔn)確性。應(yīng)用門檻是指大模型的落地需要與垂直行業(yè)需求深度融合，同時(shí)，對(duì)于企業(yè)來(lái)說(shuō)需要權(quán)衡收益與研發(fā)成本。基于公有數(shù)據(jù)的大模型是通用底座，很難滿足專業(yè)場(chǎng)景的特定需求。

曾劍秋談到，如何打通大模型技術(shù)和產(chǎn)業(yè)應(yīng)用的“最后一公里”，找到計(jì)算資源和產(chǎn)業(yè)應(yīng)用效果之間的平衡，是需要關(guān)注的重點(diǎn)課題。大模型“熱”需要“冷”思考，要超前布局也要理性發(fā)展。曾劍秋表示，盲目跟風(fēng)研發(fā)大模型不可取，當(dāng)熱潮退去，留下的注定是推動(dòng)人工智能技術(shù)革新、深耕垂直行業(yè)應(yīng)用的數(shù)智實(shí)干家。同時(shí)，曾劍秋建議建立國(guó)家級(jí)的基礎(chǔ)大模型平臺(tái)，加強(qiáng)智算中心、超算中心等算力資源統(tǒng)籌，加強(qiáng)跨數(shù)據(jù)中心算力協(xié)同能力，從戰(zhàn)略高度著手，培育大模型發(fā)展基礎(chǔ)，構(gòu)筑人工智能發(fā)展優(yōu)勢(shì)。

當(dāng)前通用與行業(yè)大模型研發(fā)呈爆發(fā)式增長(zhǎng)。大模型對(duì)當(dāng)前產(chǎn)業(yè)發(fā)展將起到怎樣的作用？

中國(guó)移動(dòng)集團(tuán)級(jí)首席科學(xué)家、IEEE Fellow馮俊蘭認(rèn)為：

一是大模型帶來(lái)了人工智能技術(shù)范式的變革。正如牛頓定律之于物理學(xué)的意義一樣，大模型開啟了人工智能的“大一統(tǒng)時(shí)代”。

二是大模型帶來(lái)了人工智能研發(fā)模式的轉(zhuǎn)變，包括三個(gè)趨勢(shì)：第一，研發(fā)團(tuán)隊(duì)由小到大，需要以企業(yè)為主體的創(chuàng)新模式。大模型的打造是一個(gè)集大算力、大數(shù)據(jù)、算法和應(yīng)用于一體的系統(tǒng)工程，需要算法和工程兼?zhèn)涞膶＜倚腿瞬牛哂懈咄度搿⒏唛T檻和長(zhǎng)周期特性，企業(yè)在大模型研發(fā)上更具優(yōu)勢(shì)，這將催生以企業(yè)為主體的產(chǎn)學(xué)研合作的創(chuàng)新模式。第二，研發(fā)路徑由分方向、分領(lǐng)域到分層。傳統(tǒng)模型是面向特定場(chǎng)景、特定任務(wù)訓(xùn)練得到的，而大模型是面向多種任務(wù)的通用模型。第三，大模型訓(xùn)練推理需要將各要素統(tǒng)籌考慮，包括底層計(jì)算芯片、框架、算法、理論等在內(nèi)，進(jìn)行端到端優(yōu)化。

三是大模型還將催生人工智能新的業(yè)務(wù)賦能模式。

四是大模型也將引發(fā)產(chǎn)業(yè)范式的變化，形成新的產(chǎn)業(yè)生態(tài)結(jié)構(gòu)，推動(dòng)人工智能產(chǎn)業(yè)鏈分工更清晰，整個(gè)生態(tài)的研發(fā)效率得到顯著提升，產(chǎn)業(yè)鏈更加成熟。

2　大模型的分類

AI大模型根據(jù)不同維度有不同的分類方式，如根據(jù)任務(wù)類型可分為監(jiān)督學(xué)習(xí)模型、無(wú)監(jiān)督學(xué)習(xí)模型和強(qiáng)化學(xué)習(xí)模型；根據(jù)模型結(jié)構(gòu)可分為DNN深度神經(jīng)網(wǎng)絡(luò)、CNN卷積神經(jīng)網(wǎng)絡(luò)、RNN循環(huán)神經(jīng)網(wǎng)絡(luò)；根據(jù)模型規(guī)模可分為大規(guī)模模型和中小規(guī)模模型。下面我們重點(diǎn)從模型數(shù)據(jù)類型、模型工作模式和模型開發(fā)模式來(lái)分析AI大模型的分類。

（1）按模型數(shù)據(jù)的媒體類型，AI大模型可以分為語(yǔ)言模型（Language Models）、圖像模型（Image Models）以及多模態(tài)模型（Multimodal Models）；

（2）根據(jù)模型工作方式，AI大模型可以分為生成模型（GenerativeModels）和強(qiáng)化學(xué)習(xí)模型（Reinforcement Learning Models）；

（3）根據(jù)模型開發(fā)模式，AI大模型可以分為開源大模型（Open Source Models）和在線大模型（Online Models）。

上述對(duì)AI大模型的分類只是一些常見的示例，實(shí)際上，大模型的分類可以更加細(xì)分，根據(jù)具體任務(wù)和應(yīng)用領(lǐng)域的需求而定。

3　AI大模型的特點(diǎn)

AI大模型的特點(diǎn)如下：

一是大量的參數(shù)：大模型通常具有龐大的參數(shù)規(guī)模，這些參數(shù)可以存儲(chǔ)模型的知識(shí)和經(jīng)驗(yàn)。更多的參數(shù)意味著模型具有更強(qiáng)大的學(xué)習(xí)能力和表示能力，能夠更好地捕捉數(shù)據(jù)中的復(fù)雜模式和特征，以便進(jìn)行推理和預(yù)測(cè)。

二是上下文理解和生成：大模型能夠理解和生成更具上下文和語(yǔ)義的內(nèi)容，并通過注意力機(jī)制、上下文編碼器等關(guān)鍵技術(shù)來(lái)學(xué)習(xí)和訓(xùn)練大量的語(yǔ)言、圖像等輸入數(shù)據(jù)，可以從復(fù)雜的真實(shí)場(chǎng)景中提取有用的信息。

三是強(qiáng)大的泛化能力：大模型通過在大規(guī)模數(shù)據(jù)上進(jìn)行訓(xùn)練，具有強(qiáng)大的泛化能力。它們從大量的數(shù)據(jù)中學(xué)習(xí)到廣泛的特征和模式，并且能夠在未學(xué)習(xí)過、未見過的數(shù)據(jù)上也同樣表現(xiàn)良好。對(duì)未學(xué)知識(shí)的泛化能力也是評(píng)估大模型的重要指標(biāo)。

四是計(jì)算資源需求大：大模型對(duì)于數(shù)據(jù)和計(jì)算資源的需求非常大，需要強(qiáng)大的計(jì)算資源來(lái)進(jìn)行參數(shù)優(yōu)化和推理，這需要具備出色的并行計(jì)算能力的GPU、TPU處理器集群，這使得訓(xùn)練和使用這些模型成為一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

五是遷移學(xué)習(xí)能力：大模型在一個(gè)或多個(gè)領(lǐng)域上進(jìn)行預(yù)訓(xùn)練，并能夠?qū)W(xué)到的知識(shí)遷移到新任務(wù)或新領(lǐng)域中。這種遷移學(xué)習(xí)能力使得模型在新任務(wù)上的學(xué)習(xí)速度更快，同時(shí)也提高了模型在未知領(lǐng)域中的性能。

六是預(yù)訓(xùn)練與微調(diào)：大模型可以采用預(yù)訓(xùn)練和微調(diào)兩階段策略。在預(yù)訓(xùn)練階段，模型通過大規(guī)模無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行學(xué)習(xí)，學(xué)習(xí)到一種通用表示。在微調(diào)階段，模型使用有標(biāo)簽數(shù)據(jù)對(duì)模型進(jìn)行細(xì)化訓(xùn)練，以適應(yīng)具體的任務(wù)和領(lǐng)域。這種在大規(guī)模數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，再在具體任務(wù)上進(jìn)行微調(diào)，能夠讓大模型適應(yīng)不同的應(yīng)用場(chǎng)景。

七是多領(lǐng)域應(yīng)用：大模型應(yīng)用領(lǐng)域廣泛，能夠解決多種任務(wù)，如自然語(yǔ)言處理、計(jì)算機(jī)視覺、語(yǔ)音識(shí)別等。大模型不僅在單一模態(tài)領(lǐng)域中有很強(qiáng)的表現(xiàn)，也能夠進(jìn)行跨模態(tài)的任務(wù)處理。

4　大模型應(yīng)用案例

當(dāng)前人工智能領(lǐng)域涌現(xiàn)出了許多強(qiáng)大的AI大模型，下面列舉了一些目前備受矚目的AI大模型：

（1）OpenAI GPT大模型組

ChatGPT是OpenAI于2022年11月發(fā)布，它在自然語(yǔ)言的理解和生成上的卓越表現(xiàn)使得其在短短兩個(gè)月的時(shí)間用戶突破1億大關(guān)。它是基于GPT（Generative Pre-trained Transformer）架構(gòu)開發(fā)的大型語(yǔ)言模型，為對(duì)話式交互提供了更好的支持和響應(yīng)，并在社交對(duì)話、問題回答和一般性對(duì)話等場(chǎng)景中表現(xiàn)優(yōu)秀。

（2）Google PaLM&PaLM 2大模型組

PaLM（Pretraining and Fine-tuning Language Model）是在2020年由Google Research團(tuán)隊(duì)發(fā)布的一種用于自然語(yǔ)言處理任務(wù)的預(yù)訓(xùn)練和微調(diào)模型，它的第二個(gè)版本，最新的大型語(yǔ)言模型PaLM 2于2023年5月在Google I/O開發(fā)者大會(huì)上推出。它支持谷歌AI聊天機(jī)器人Bard，并憑借改進(jìn)的數(shù)學(xué)、邏輯和推理技能，可以幫助生成、解釋和調(diào)試20多種編程語(yǔ)言的代碼。且為了滿足更多的使用場(chǎng)景，PaLM2提供了4個(gè)模型：Gecko、Otter、Bison、Unicorn，其中最小的Gecko模型可以在移動(dòng)端運(yùn)行，并計(jì)劃在下一代Android系統(tǒng)中集成。

（3）百度文心大模型組

百度于2023年3月正式發(fā)布了AI大模型文心一言。這個(gè)基于百度智能云技術(shù)構(gòu)建的大模型被廣泛集成到百度的所有業(yè)務(wù)中，并且提供了多樣化的大模型API服務(wù)，可通過零代碼調(diào)用大模型能力，自由探索大模型技術(shù)如何滿足用戶需求。隨后百度還推出了文心NLP大模型、文心CV大模型、文心跨模態(tài)大模型、文心生物計(jì)算大模型、文心行業(yè)大模型。

（4）訊飛星火認(rèn)知大模型

科大訊飛于2023年5月正式發(fā)布了星火認(rèn)知大模型，其具有7大核心能力，即文本生成、語(yǔ)言理解、知識(shí)問答、邏輯推理、數(shù)學(xué)能力、代碼能力、多模態(tài)能力。

（5）阿里通義大模型

阿里通義大模型覆蓋語(yǔ)言、聽覺、多模態(tài)等領(lǐng)域，致力于實(shí)現(xiàn)接近人類智慧的通用智能，讓AI從“單一感官”到“五官全開”，并分別在2023年4月和6月推出了通義千問和通義聽悟。

（6）清華開源大模型ChatGLM

GLM-130B是清華智譜AI開源項(xiàng)目，其目的是訓(xùn)練出開源開放的高精度千億中英雙語(yǔ)模型，能夠讓更多研發(fā)者用上千億參數(shù)模型。在2023年3月，清華開源了更精簡(jiǎn)的低門檻大模型ChatGLM-6B，這是一個(gè)具有62億參數(shù)的中英文雙語(yǔ)語(yǔ)言模型。在6月份，清華推出了二代開源模型ChatGLM2-6B，它具有更強(qiáng)大的性能、更長(zhǎng)的上下文、更高效的推理（推理速度提升42%）和更開放的開源協(xié)議。

以上這些大模型只是當(dāng)前眾多AI大模型中的一小部分，隨著技術(shù)的不斷進(jìn)步和研究的不斷推進(jìn)，我們可以期待更多更強(qiáng)大的AI大模型的涌現(xiàn)。

5　小結(jié)

盡管存在著諸多問題和挑戰(zhàn)，但AI大模型的蓬勃發(fā)展已經(jīng)勢(shì)不可當(dāng)。大模型必然是未來(lái)很長(zhǎng)一段時(shí)間內(nèi)我們工作生活的一部分，而對(duì)于這樣一個(gè)與我們生活高度同頻互動(dòng)的“大家伙”，除了性能、效率、成本等問題外，大規(guī)模語(yǔ)言模型的安全問題幾乎是其面對(duì)的所有挑戰(zhàn)之中的重中之重。例如，機(jī)器幻覺是大模型目前還沒有極佳解決方案的主要問題，大模型輸出的有偏差或有害的幻覺將會(huì)對(duì)使用者造成嚴(yán)重后果。同時(shí)，隨著LLMs的“公信度”越來(lái)越高，用戶可能會(huì)過度依賴LLMs并相信它們能夠提供準(zhǔn)確的信息，這點(diǎn)可以預(yù)見的趨勢(shì)增加了大模型的安全風(fēng)險(xiǎn)。

除了誤導(dǎo)性信息外，由于LLMs生成文本的高質(zhì)量和低成本，它有可能被利用為進(jìn)行仇恨、歧視、暴力、造謠等攻擊的工具。據(jù)報(bào)道，三星員工使用ChatGPT處理工作時(shí)意外泄露了最新程序的源代碼屬性、與硬件有關(guān)的內(nèi)部會(huì)議記錄等絕密數(shù)據(jù)。

目前大模型主要面臨的挑戰(zhàn)可以被歸類如下：

實(shí)踐驗(yàn)證：當(dāng)前針對(duì)大模型的評(píng)估數(shù)據(jù)集往往是更像“玩具”的學(xué)術(shù)數(shù)據(jù)集，這些數(shù)據(jù)集無(wú)法完全反映現(xiàn)實(shí)世界中形形色色的問題與挑戰(zhàn)，因此亟需實(shí)際的數(shù)據(jù)集在多樣化、復(fù)雜的現(xiàn)實(shí)問題上對(duì)模型進(jìn)行評(píng)估，確保模型可以應(yīng)對(duì)現(xiàn)實(shí)世界的挑戰(zhàn)。

模型對(duì)齊：大模型的強(qiáng)大也引出了另一個(gè)問題：模型應(yīng)該與人類的價(jià)值觀選擇進(jìn)行對(duì)齊，確保模型行為符合預(yù)期，不會(huì)“強(qiáng)化”不良結(jié)果。作為一個(gè)高級(jí)的復(fù)雜系統(tǒng)，如果不認(rèn)真處理這種道德問題，有可能會(huì)為人類醞釀一場(chǎng)災(zāi)難。

安全隱患：大模型的研究要進(jìn)一步強(qiáng)調(diào)安全問題、消除安全隱患，這需要具體的研究以確保大模型的安全研發(fā)，并需要更多地做好模型的可解釋性、監(jiān)督管理工作。安全問題應(yīng)該是模型開發(fā)的重要組成部分，而非錦上添花可有可無(wú)的裝飾。

模型未來(lái)：模型的性能還會(huì)隨著模型規(guī)模的增加而增長(zhǎng)嗎？這個(gè)問題估計(jì)OpenAI也難以回答，我們對(duì)于大模型的神奇現(xiàn)象的了解仍然十分有限，針對(duì)大模型原理性的見解仍然十分珍貴。

作者簡(jiǎn)介：

孫柏林（1936-），男，湖北黃陂人，軍事科學(xué)院研究員，少將軍銜，我國(guó)自動(dòng)控制系統(tǒng)與軍事系統(tǒng)工程專家，中國(guó)自動(dòng)化學(xué)會(huì)專家咨詢工作委員會(huì)名譽(yù)主任。

參考文獻(xiàn)：

[1] 齊旭. 大模型叩響工業(yè)大門[N]. 中國(guó)電子報(bào), 2023.

[2] 趙熠如. "百模大戰(zhàn)"來(lái)了AI大模型市場(chǎng)百花齊放[N]. 中國(guó)商報(bào), 2023.

[3] 盧岳. AI教育大模型落地詞典筆[N]. 消費(fèi)日?qǐng)?bào), 2023.

[4] 楊子怡, 譚心琪. 大模型產(chǎn)業(yè)應(yīng)用將成未來(lái)焦點(diǎn)[N]. 人民郵電, 2023.

[5] 羅錦釗, 孫玉龍, 錢增志, 等. 人工智能大模型綜述及展望[J]. 無(wú)線電工程, 2023.

摘自《自動(dòng)化博覽》2023年10月刊