“到2030年,所有高端計(jì)算設(shè)備將自帶人工智能(AI)支持功能,高性能計(jì)算仿真將利用人工智能平臺(tái)提高性能,人工智能也將重塑計(jì)算仿真。”近日在德國(guó)法蘭克福舉辦的國(guó)際超算大會(huì)(ISC19)上,國(guó)家超級(jí)計(jì)算廣州中心主任盧宇彤在談到未來(lái)高性能計(jì)算機(jī)(HPC)與AI的融合時(shí)表示,未來(lái)高性能計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能將實(shí)現(xiàn)深度融合。
“計(jì)算是引擎,數(shù)據(jù)是燃料。”盧宇彤認(rèn)為,到那時(shí),高性能計(jì)算將不再比拼“肌肉”、只追求規(guī)模和性能,更加智慧的高性能計(jì)算系統(tǒng)將成為主流。
AI對(duì)計(jì)算的需求潛力大
“目前AI的發(fā)展還在智能感知階段,在智能認(rèn)知方面還沒有很成熟的研究。從這個(gè)角度而言,AI對(duì)計(jì)算能力的需求,潛力非常大。”國(guó)家并行計(jì)算機(jī)工程技術(shù)研究中心總工程師、中國(guó)工程院院士陳左寧曾在2018年10月下旬舉辦的第十四屆全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì)上專門探討“云端AI高性能計(jì)算計(jì)算能力及計(jì)算環(huán)境研究”,在會(huì)上她提出,現(xiàn)階段HPC與AI融合問題的關(guān)鍵在于,在HPC體系結(jié)構(gòu)發(fā)生改變的過渡階段,如何在AI的演進(jìn)階段支撐其計(jì)算能力需求,“這是目前HPC應(yīng)該考慮的問題”。
“加大對(duì)大數(shù)據(jù)與人工智能等新興超算應(yīng)用的支撐,也是中國(guó)超算未來(lái)的目標(biāo)之一。”在ISC19的焦點(diǎn)論壇“E級(jí)計(jì)算機(jī)面臨的挑戰(zhàn)與愿景”上,國(guó)家重點(diǎn)研發(fā)計(jì)劃“高性能計(jì)算重點(diǎn)專項(xiàng)”總體專家組組長(zhǎng)、中山大學(xué)數(shù)據(jù)科學(xué)與計(jì)算機(jī)學(xué)院院長(zhǎng)錢德沛表示。他認(rèn)為,目前來(lái)看,AI與HPC之間的聯(lián)系還處于一個(gè)“初級(jí)狀態(tài)”。
“AI有大量的數(shù)據(jù)、訓(xùn)練任務(wù)需要超級(jí)計(jì)算的支持,同時(shí)HPC也可以把AI應(yīng)用到新的領(lǐng)域,比如利用人工智能更精準(zhǔn)地完成天氣預(yù)報(bào)等。但從長(zhǎng)遠(yuǎn)來(lái)看,AI與HPC可能還存在更深層的關(guān)系,轉(zhuǎn)變?nèi)斯ぶ悄艿某踔跃褪菑娜说闹悄芟蛴?jì)算轉(zhuǎn)變的一個(gè)啟發(fā),它對(duì)未來(lái)的計(jì)算模式可能會(huì)帶來(lái)非常重要的影響。”錢德沛表示。
擁有“支撐AI的能力”成趨勢(shì)
HPC與AI的深度融合,已經(jīng)是大勢(shì)所趨。自2018年6月以來(lái),新上榜TOP500的超級(jí)計(jì)算機(jī),前十名都聲稱有支持AI的能力。“從這里能夠看出,對(duì)于云端AI的支撐能力,已經(jīng)是HPC界比較關(guān)注的一點(diǎn)。”陳左寧表示。
目前排名TOP500第一位的Summit超級(jí)計(jì)算機(jī),就是“非常典型支撐AI”的HPC。“其胖節(jié)點(diǎn)的設(shè)計(jì)使其單節(jié)點(diǎn)存儲(chǔ)容量相當(dāng)大,GPU的訪存也非常可觀,綜合下來(lái)一個(gè)胖節(jié)點(diǎn)的計(jì)算能力相當(dāng)強(qiáng),基本可滿足大多AI‘一個(gè)模型放在里邊做’的需求了。”陳左寧解釋說(shuō)。
據(jù)了解,Summit支撐AI的能力已經(jīng)達(dá)到3.3E,高性能的胖節(jié)點(diǎn)設(shè)計(jì)使系統(tǒng)總節(jié)點(diǎn)數(shù)減少,從而降低了應(yīng)用擴(kuò)展難度,大容量的多級(jí)高效存儲(chǔ)及其間的硬件一致性支持,加之高速好用的本地存儲(chǔ)等的綜合作用下,使其局部的計(jì)算能力非常強(qiáng),非常適合深度神經(jīng)網(wǎng)絡(luò)(DNN)這類AI應(yīng)用的提升。另外,來(lái)自中科院、清華大學(xué)等單位的超算團(tuán)隊(duì)在“神威·太湖之光”上也運(yùn)行了許多AI應(yīng)用,并在其上提供完整的AI軟件。
中科曙光高性能計(jì)算產(chǎn)品事業(yè)部首席科學(xué)家吉青在接受《中國(guó)科學(xué)報(bào)》關(guān)于類似問題的采訪時(shí)說(shuō),AI與HPC將會(huì)相互促進(jìn)、共同生長(zhǎng)。她認(rèn)為,AI是信息化發(fā)展到一定階段的必然。AI伴隨著海量數(shù)據(jù),大數(shù)據(jù)處理往往通過AI實(shí)現(xiàn)。“人工智能本質(zhì)之一是大數(shù)據(jù)的一種處理技術(shù),它的出現(xiàn)也在改變傳統(tǒng)的高性能計(jì)算。”
“比如架構(gòu)的改變,其實(shí)是計(jì)算核心的改變。從原來(lái)的純CPU變成CPU+GPU,就是隨著應(yīng)用需求的改變而衍生的架構(gòu)改變。”吉青說(shuō),曙光目前還在探索CPU+GPU+AI芯片的架構(gòu)革新,比如支持寒武紀(jì)AI芯片卡組等比較流行的AI芯片,以匹配廣泛的AI+行業(yè)應(yīng)用。
在勞倫斯伯克利國(guó)家實(shí)驗(yàn)室超算科學(xué)家、超算TOP500榜單聯(lián)合創(chuàng)始人埃里奇·斯特羅邁爾看來(lái),HPC并不天然適合AI計(jì)算,但傳統(tǒng)的HPC架構(gòu),有必要隨著AI計(jì)算的需要,調(diào)優(yōu)和改變。
“改變的發(fā)生,可能會(huì)影響未來(lái)TOP500的測(cè)評(píng)規(guī)則——事實(shí)上,我們也正在考慮測(cè)評(píng)手段的與時(shí)俱進(jìn)。”埃里奇·斯特羅邁爾表示。
陳左寧也表示,目前HPC對(duì)AI計(jì)算支持的評(píng)價(jià),光靠Linpack測(cè)試是不夠的,還要看能效、性價(jià)比等指標(biāo)。
仍待進(jìn)一步探究
不過,回顧國(guó)內(nèi)外較為關(guān)注的E級(jí)計(jì)算機(jī),E級(jí)計(jì)算機(jī)對(duì)云端AI、對(duì)與訓(xùn)練有關(guān)的計(jì)算能力的支撐,到底要不要做,做到什么程度,目前還沒有結(jié)論。
“從我國(guó)發(fā)布的將要建設(shè)的E級(jí)計(jì)算機(jī)的要求來(lái)看,并沒有專門對(duì)AI計(jì)算支撐的標(biāo)準(zhǔn)或要求。國(guó)內(nèi)研制E級(jí)計(jì)算的3家單位,現(xiàn)在對(duì)云端AI計(jì)算的支持還在探索。”陳左寧表示。
不過陳左寧表示,AI對(duì)計(jì)算能力的需求潛力已毋庸置疑。但由于AI發(fā)展的歷史尚短,自身無(wú)論計(jì)算理論、方法算法都尚不完整,特別是數(shù)學(xué)理論的基礎(chǔ)還很不堅(jiān)實(shí),因此,還不能如傳統(tǒng)的數(shù)值模擬一樣,能夠非常明確地提出對(duì)HPC計(jì)算能力的要求。
“也就是說(shuō),AI的計(jì)算理論還沒有發(fā)展到它能對(duì)HPC明確提出很高的需求階段。但反過來(lái)看,如果AI能夠達(dá)到人的智能水平,肯定會(huì)對(duì)計(jì)算能力、存儲(chǔ)能力等的需求非常高。”陳左寧說(shuō),還應(yīng)注意到,深度學(xué)習(xí)僅僅是AI算法的一個(gè)分支,面向AI的云端高性能計(jì)算環(huán)境需要廣泛適應(yīng)包括深度學(xué)習(xí)在內(nèi)的多種應(yīng)用模式,未來(lái)的應(yīng)用需求仍有待進(jìn)一步研究。
摘自《中國(guó)科學(xué)報(bào)》