久久久91-久久久91精品国产一区二区-久久久91精品国产一区二区三区-久久久999国产精品-久久久999久久久精品

論文建立了世界首個知識與數(shù)據(jù)聯(lián)合驅(qū)動的多物種生命基礎(chǔ)大模型GeneCompass，同時處理了人類和小鼠兩個物種的轉(zhuǎn)錄組數(shù)據(jù)，包含了超過1.26億個單細胞并覆蓋3.6萬個基因，融合了啟動子序列、基因共表達關(guān)系、基因家族標注和基因調(diào)控關(guān)系等四種先驗知識。GeneCompass的參數(shù)量超過1.3億，實現(xiàn)了對基因表達調(diào)控規(guī)律的全景式學習理解，同時支持細胞狀態(tài)變化預測及多種生命過程的精準分析，展示了人工智能賦能生命科學研究的強大能力和巨大潛力。

GeneCompass是國際上首個融入先驗知識的預訓練基礎(chǔ)大模型，發(fā)展了知識與數(shù)據(jù)聯(lián)合驅(qū)動的新范式。GeneCompass采用gene2vec、DNABert等工具將啟動子序列、已知基因調(diào)控網(wǎng)絡(luò)、基因家族信息和基因共表達關(guān)系等四種生物學先驗知識進行編碼，在單細胞轉(zhuǎn)錄組的基因ID和表達值基礎(chǔ)上加入人類注釋信息編碼，提高了對生物數(shù)據(jù)間復雜特征關(guān)聯(lián)關(guān)系的理解。通過訓練整合了不同物種的數(shù)據(jù)信息及先驗知識，GeneCompass顯著提升了多種下游任務的性能，有望進一步提高傳統(tǒng)生物學研究的效率和精準性，為尚無法突破的復雜生命科學難題帶來新的切入點。

GeneCompass采用基于Transformer的深度學習架構(gòu)，通過擴展傳統(tǒng)的掩碼語言模型Masked Auto Encoder（MAE）方式進行預訓練，根據(jù)單細胞轉(zhuǎn)錄組的上下文同時預測掩碼的基因ID及其表達值，捕獲不同基因之間在不同細胞背景下的長程動態(tài)關(guān)聯(lián)，通過多任務聯(lián)合預訓練形成更加細粒度的生命基礎(chǔ)大模型。預訓練完成后，GeneCompass進一步應用于多種下游任務，對單細胞轉(zhuǎn)錄組數(shù)據(jù)進行編碼，支撐細胞類型標注、基因擾動預測、藥物反應預測和基因調(diào)控關(guān)系預測等多種任務。

GeneCompass模型架構(gòu)

研究人員對人類和小鼠同一細胞類型（心肌細胞）中同源基因和非同源基因的GeneCompass編碼進行了相似性分析，可以看出相較于非同源基因，不同物種的同源基因具有更相似的編碼，同源基因在人類和小鼠之間也具有相似的基因調(diào)控關(guān)系。

研究人員將GeneCompass編碼后的基因嵌入與跨物種細胞類型標注的當前最優(yōu)方法CAME進行結(jié)合，發(fā)現(xiàn)在多種細胞尤其是視網(wǎng)膜細胞中，GeneCompass能夠顯著提升跨物種細胞類型標注的精度。這些結(jié)果都展示了GeneCompass通過多物種聯(lián)合預訓練獲得了生命底層的共性規(guī)律，增強了基因表征的能力。

在基因擾動預測、藥物反應預測、基因調(diào)控預測、藥物劑量反應預測、劑量敏感基因預測等多種下游任務中GeneCompass模型均展現(xiàn)出強大的功能。

綜上所述，作為迄今為止最大規(guī)模的、具有知識嵌入的跨物種預訓練生命基礎(chǔ)大模型，GeneCompass可實現(xiàn)多個跨物種下游任務的遷移學習，并在細胞類型注釋、定量基因擾動預測、藥物敏感性分析等多個任務中取得比現(xiàn)有方法更優(yōu)的性能。這充分展示了基于多物種無標注大數(shù)據(jù)預訓練，再利用不同子任務數(shù)據(jù)進行模型微調(diào)的策略優(yōu)勢，有望成為實現(xiàn)基因-細胞特征相關(guān)聯(lián)的各種生物問題分析預測的通用解決方案。

中國科學院自動化所劉國樂和江潔與合作單位的楊曉東、馮桂海、卜德超、王鵬飛、陳述白、楊沁蒙等為文章共同第一作者。自動化所楊戈研究員，劉靜研究員與合作單位李鑫研究員、陳益強研究員、李非研究員、周元春研究員、趙屹研究員為共同通訊作者。