今日頭條
官方微信
官方抖音
資訊頻道構建更加通用的人工智能，讓模型具有更加廣泛和通用的認知能力，是當前人工智能（AI）領域發展的重要目標。目前流行的大模型路徑是基于Scaling Law(尺度定律)去構建更大、更深和更寬的神經網絡，可稱之為“基于外生復雜性”的通用智能實現方法。這一路徑面臨著計算資源及能源消耗難以為繼、可解釋性不足等問題。中國科學院自動化研究所李國齊、徐波研究團隊聯合清華大學、北京大學等借鑒大腦神經元復雜動力學特性，提出了“基于內生復雜性”的類腦神經元模型構建方法，改善了傳統模型通過向外拓展規模帶來的計算資源消耗問題，為有效利用神經科學發展人工智能提供了示例。
本研究首先展示了脈沖神經網絡神經元LIF（Leaky?Integrate and Fire）模型和HH（Hodgkin-Huxley）模型[1]在動力學特性上存在等效性，進一步從理論上證明了HH神經元可以和四個具有特定連接結構的時變參數LIF神經元（tv-LIF）動力學特性等效。基于這種等效性，團隊通過設計微架構提升計算單元的內生復雜性，使HH網絡模型能夠模擬更大規模LIF網絡模型的動力學特性，在更小的網絡架構上實現與之相似的計算功能。進一步，團隊將由四個tv-LIF神經元構建的“HH模型”（tv-LIF2HH）簡化為s-LIF2HH模型，通過仿真實驗驗證了這種簡化模型在捕捉復雜動力學行為方面的有效性。
實驗結果表明HH網絡模型和s-LIF2HH網絡模型在表示能力和魯棒性上具有相似的性能，驗證了內生復雜性模型在處理復雜任務時的有效性和可靠性。同時，研究發現HH網絡模型在計算資源消耗上更為高效，顯著減少了內存和計算時間的使用，從而提高了整體的運算效率。研究團隊通過信息瓶頸理論對上述研究結果進行了解釋。
為將神經科學的復雜動力學特性融入人工智能，為構筑人工智能與神經科學的橋梁提供了新的方法和理論支持，為實際應用中的AI模型優化和性能提升提供了可行的解決方案。目前，研究團隊已開展對更大規模HH網絡，以及具備更大內生復雜性的多分支多房室神經元的研究，有望進一步提升大模型計算效率與任務處理能力，實現在實際應用場景中的快速落地。
該工作發表在《Nature Computational Science》，共同通訊作者是中國科學院自動化所李國齊研究員、徐波研究員，北京大學田永鴻教授。共同一作是清華大學錢學森班的本科生何林軒（自動化所實習生），數理基科班本科生徐蘊輝（自動化所實習生），清華大學精儀系博士生何煒華和林逸晗。
論文鏈接：https://www.nature.com/articles/s43588-024-00674-9
評論鏈接：https://www.nature.com/articles/s43588-024-00677-6
[1] HH神經元模型，全稱為Hodgkin-Huxley模型，由英國生理學家Alan Hodgkin和Andrew Huxley在1952年基于魷魚巨型軸突的電生理實驗數據提出，用以描述神經脈沖的產生和傳導，并因此獲得了1963年的諾貝爾醫學或生理學獎。該模型是一組描述神經元細胞膜電生理現象的非線性微分方程，直接反映了細胞膜上離子通道的開閉情況及其與膜電位變化之間的關系。HH模型是神經科學領域中的一個重要里程碑，它首次從分子水平上解釋了動作電位的產生機制，為后續神經元電生理研究奠定了基礎。
來源：中國科學院自動化研究所
北京市公安局海淀分局備案號：11010802023656號