深度學(xué)習(xí)近些年來迅猛發(fā)展，在人工智能（AI）領(lǐng)域顯現(xiàn)出了強(qiáng)大的威力。然而這一切是有代價(jià)的。為了完成日益復(fù)雜的AI任務(wù)，神經(jīng)網(wǎng)絡(luò)模型體量暴增，對服務(wù)器的儲存和算力要求也水漲船高，由此產(chǎn)生的經(jīng)濟(jì)成本、耗費(fèi)的電量、對環(huán)境的污染正困擾著這個(gè)行業(yè)。
AI這場“游戲”正變得越來越“笨拙”，也越來越奢侈。于是，輕量化人工智能（Tiny AI）被寄予厚望，通過對AI模型及其計(jì)算載體的“瘦身”，提升效率、降低能耗。2020年，《麻省理工科技評論》將“Tiny AI”列為“全球十大突破性技術(shù)”。
中科院自動(dòng)化研究所（以下簡稱自動(dòng)化所）是國際上最早開展AI輕量化設(shè)計(jì)的機(jī)構(gòu)之一。“十三五”期間，自動(dòng)化所研究團(tuán)隊(duì)在“AI芯片—平臺—算法”全棧輕量化AI技術(shù)中取得了一系列成果，成為新一代AI的“先行者”。
降低AI應(yīng)用門檻
2014年左右，自動(dòng)化所研究員、主要從事圖像和視頻內(nèi)容分析的程健在利用日益活躍的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像與視頻的智能識別、搜索時(shí)，感受到了一種前所未有的“慢”。
識別和搜索是一項(xiàng)對速度、效率要求非常高的任務(wù)。但隨著神經(jīng)網(wǎng)絡(luò)模型的體形越來越大、參數(shù)越來越多、計(jì)算越來越復(fù)雜，必須依靠專門的服務(wù)器或者連接云端才能運(yùn)行模型，它是以犧牲效率為代價(jià)的。
自動(dòng)化所研究員張一帆表示，這也抬高了AI應(yīng)用普及的門檻。由于與人們?nèi)粘Ｉ钕⑾⑾嚓P(guān)的一些低配置、低成本的終端平臺根本無法支撐龐大的神經(jīng)網(wǎng)絡(luò)模型的運(yùn)行，因此很難實(shí)現(xiàn)AI賦能。
盡管模型越大意味著性能越強(qiáng)，但程健想到，也許應(yīng)該換一種思路，在確保精度接近無損的前提下，給AI模型及其計(jì)算載體“瘦身”，比如減少計(jì)算量、降低模型復(fù)雜度等，從而提升終端運(yùn)行的效率。但這是一個(gè)極具挑戰(zhàn)性的任務(wù)。
2015年，程健帶領(lǐng)團(tuán)隊(duì)進(jìn)行了第一次嘗試，把此前無法在手機(jī)端搭載的龐大的深度卷積神經(jīng)網(wǎng)絡(luò)VGG，壓縮了20多倍，使之第一次在手機(jī)上完成了快速運(yùn)行。借助經(jīng)過輕量化“加工”的神經(jīng)網(wǎng)絡(luò)模型，研究人員加載了一個(gè)圖像分類識別的應(yīng)用，當(dāng)時(shí)智能化程度還較低的手機(jī)就已經(jīng)可以實(shí)現(xiàn)對日常生活中1000多類物體的快速識別，而不需要依靠云端計(jì)算。
這次成功的嘗試讓程健相信，Tiny AI這條路不僅走得通，而且很有可能成為未來AI發(fā)展的主干道。因?yàn)椋梢允笰I應(yīng)用的門檻大大降低，使之成為普惠民生的智能生態(tài)。
在此之后，自動(dòng)化所研究團(tuán)隊(duì)在國際AI會議發(fā)表了多篇神經(jīng)網(wǎng)絡(luò)模型輕量化領(lǐng)域的重要論文，成為國際上最早開始Tiny AI研究的團(tuán)隊(duì)之一。“選擇這個(gè)方向，既是問題驅(qū)動(dòng)的，也是社會需求推動(dòng)的。”程健表示。
軟硬件協(xié)同設(shè)計(jì)
Tiny AI是以一系列輕量化技術(shù)為驅(qū)動(dòng)提高算法、平臺和芯片的效率，在更緊密的物理空間上實(shí)現(xiàn)低功耗的AI訓(xùn)練和應(yīng)用部署，不需要依賴于云端交互就能實(shí)現(xiàn)智能化操作，被視為AI的重要應(yīng)用方向。自動(dòng)化所團(tuán)隊(duì)在“十三五”期間，分別從軟件和硬件兩方面進(jìn)行攻關(guān)。
自動(dòng)化所副研究員王培松介紹，研究團(tuán)隊(duì)首先從最上層的算法入手，提出了稀疏表示、量化計(jì)算等一系列技術(shù)手段，把神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜度以及存儲復(fù)雜度大大降低。
但問題隨之而來。“我們發(fā)現(xiàn)，要使推理和算法從云端遷移到終端成為可能，需要一個(gè)合適的工具或者框架提供支撐，因此必須在移動(dòng)端或設(shè)備端定制一個(gè)推理框架。”自動(dòng)化所博士胡慶浩提到，研究團(tuán)隊(duì)用一年半時(shí)間自主設(shè)計(jì)開發(fā)出了一個(gè)Tiny AI平臺QEngine。
而后，研究人員對模型進(jìn)行輕量化設(shè)計(jì)，輔以合適的平臺提供支持，但運(yùn)行速度依然不達(dá)標(biāo)，這才讓他們下定決心從底層硬件尋求突破。AI芯片作為AI的硬件載體，要能達(dá)到更高的性能、更高的效率、更低的功耗和更小的體積，最大化發(fā)掘硬件的能力。
讓王培松信心倍增的是，2019年，在國際神經(jīng)信息處理系統(tǒng)大會（NeurIPS）上舉行的神經(jīng)網(wǎng)絡(luò)壓縮與加速競賽中，團(tuán)隊(duì)與國際一流高校、芯片公司同場競技，其設(shè)計(jì)的輕量化神經(jīng)網(wǎng)絡(luò)架構(gòu)獲得了圖像類賽道雙料冠軍。2020年，自動(dòng)化所自主研發(fā)的極低比特量化神經(jīng)處理芯片（QNPU）也成功流片。
新一代AI逐浪者
自動(dòng)化所軟硬協(xié)同輕量化的技術(shù)研究一直走在國際前列。Tiny AI平臺QEngine及輕量化算法已經(jīng)在數(shù)十萬終端上部署。國內(nèi)的很多企業(yè)產(chǎn)品都應(yīng)用了自動(dòng)化所的Tiny AI技術(shù)。
比如，基于Tiny AI研制的自主巡檢無人機(jī)、缺陷識別分析便攜終端、通道可視化智能感知攝像頭等，具備多種智能識別、檢測和分析功能，可有效保障輸配電線路的安全和電力系統(tǒng)穩(wěn)定；在消費(fèi)電子行業(yè)，輕量化的算法及輕量化神經(jīng)網(wǎng)絡(luò)計(jì)算架構(gòu)可有效實(shí)現(xiàn)暗光增強(qiáng)、超分辨率等，為手機(jī)終端、安防終端提供了影像增強(qiáng)效果；在教育終端的人機(jī)互動(dòng)領(lǐng)域，“輕量化指尖點(diǎn)讀解決方案”賦予了低端硬件平臺高端AI算力……
程健表示，Tiny AI一直默默地服務(wù)于人們?nèi)粘Ｉ钪泻芏郃I應(yīng)用需求，但遠(yuǎn)遠(yuǎn)沒有走到頭。特別是在計(jì)算性能極弱的單片機(jī)，以及在各種空調(diào)、冰箱等家電中算力較弱的計(jì)算芯片上，實(shí)現(xiàn)比較復(fù)雜的AI任務(wù)任重道遠(yuǎn)。除此之外，目前Tiny AI基于的軟件和硬件平臺，大多還是針對大模型、云端開發(fā)來搭建的。未來要能最大化實(shí)現(xiàn)極致效率，還要進(jìn)一步完善軟硬件的協(xié)同設(shè)計(jì)。
博士階段就跟著程健初涉Tiny AI領(lǐng)域的王培松和胡慶浩是與這一前沿領(lǐng)域共同成長起來的，目前已經(jīng)是團(tuán)隊(duì)的核心成員。“能趕上新一代AI的歷史潮流，并勇立潮頭，對我們年輕科研人員來說是一件很幸運(yùn)且自豪的事。”
胡慶浩也坦言，新一代AI的角逐中，國際競爭激烈，特別是在輕量化算法設(shè)計(jì)和AI芯片領(lǐng)域，誰能突出重圍，謎底有待揭曉。
來源:《中國科學(xué)報(bào)》
