今日頭條
官方微信
官方抖音
資訊頻道近日，此芯科技與百度聯(lián)合發(fā)布基于此芯P1處理器和百度ERNIE4.5的Edge AI端到端解決方案，實(shí)現(xiàn)國產(chǎn)高性能SoC與大模型的深度協(xié)同。該方案以此芯自研P1處理器（6nm制程/12核Armv9 CPU/30TOPS算力NPU/45TOPS綜合算力)為異構(gòu)計(jì)算基座，深度融合百度ERNIE4.5技術(shù)生態(tài)，成功構(gòu)建從芯片層到模型層以及應(yīng)用層的全棧閉環(huán)，為邊緣端側(cè)AI的落地樹立全新標(biāo)桿。
ERNIE 4.5開源即落地，端側(cè)性能卓越領(lǐng)先
在ERNIE 4.5開源首日，此芯科技率先完成多個(gè)模型端側(cè)適配，實(shí)測(cè)性能實(shí)現(xiàn)兩大突破：
· 百億級(jí)模型流暢運(yùn)行：
ERNIE-4.5-21B-A3B（210億參數(shù)）在此芯P1處理器上推理速度近20tokens/s，可支撐復(fù)雜語義理解與多輪對(duì)話場景；實(shí)時(shí)生成100字文本僅需5秒。
· 超輕量化模型極致效能：
ERNIE-4.5-0.3B（3億參數(shù)） 推理速度飆升至122tokens/s，為移動(dòng)/IoT設(shè)備提供“無感級(jí)”AI交互體驗(yàn)。
此外，依托NPU的異構(gòu)加速，PaddleOCR經(jīng)量化后，可以有效識(shí)別多語種文本，在端側(cè)AI的部署實(shí)現(xiàn)數(shù)據(jù)零外傳、響應(yīng)超低延遲，可以為金融、醫(yī)療、政務(wù)等高敏場景提供安全智能基座。
加碼ERNIE 4.5應(yīng)用引擎，重構(gòu)終端AI體驗(yàn)
基于此芯P1處理器與ERNIE 4.5，雙方構(gòu)建端側(cè)AI全棧解決方案：
圖：Chatbot
此芯科技和百度文心、飛槳的“硬件+模型”協(xié)同優(yōu)化，融合了異構(gòu)計(jì)算架構(gòu)、量化壓縮技術(shù)、端云協(xié)同推理，實(shí)現(xiàn)動(dòng)態(tài)分配計(jì)算任務(wù)，提高復(fù)雜場景的響應(yīng)速度。
此芯產(chǎn)品介紹
此芯P1處理器是此芯科技推出的首款SoC芯片，異構(gòu)集成Armv9.2指令集的12核心CPU、10核心Immortalis G720 GPU和30TOPS（INT8）算力NPU。此芯P1處理器制程工藝為6nm，綜合算力45TOPS（INT8），支持最大64GB共享內(nèi)存，提供高帶寬IO，可滿足端側(cè)AI方案的高性能和擴(kuò)展性要求。此芯科技聚焦于高性能桌面PC產(chǎn)品、智能座艙、具身智能、邊緣計(jì)算等通用智能解決方案
未來已來，共筑端云協(xié)同智能體
此芯科技與百度將持續(xù)深化合作，包括ERNIE 4.5更多模型在此芯P1處理器上的輕量化適配、聯(lián)合舉辦開發(fā)者大賽，共建大模型端側(cè)開源社區(qū)，賦能廣大開發(fā)者，并推動(dòng)AI產(chǎn)業(yè)的普惠化進(jìn)程。
此芯產(chǎn)品采購渠道：
https://radxa.com/products/orion/o6/#buy
ERNIE 4.5下載地址：
https://github.com/PaddlePaddle/ERNIE
直播預(yù)告
來源：飛槳PaddlePaddle
北京市公安局海淀分局備案號(hào)：11010802023656號(hào)