1、目標(biāo)和概述
全球已經(jīng)掀起行業(yè)數(shù)字化轉(zhuǎn)型的浪潮,數(shù)字化是基礎(chǔ)、網(wǎng)絡(luò)化是支撐、智能化是目標(biāo)。智能化社會(huì)的一個(gè)典型特征即物理世界和數(shù)字世界的深度融合,未來(lái)數(shù)字世界通過(guò)IoT、AR等技術(shù)提供的傳感器、執(zhí)行器,與真實(shí)世界產(chǎn)生互動(dòng)。網(wǎng)絡(luò)作為物理世界和數(shù)字世界的連接的橋梁實(shí)現(xiàn)數(shù)據(jù)流動(dòng)。網(wǎng)絡(luò)連接的一側(cè)是IoT的傳感器和執(zhí)行器的I/O,作為物理世界和數(shù)字世界的接口產(chǎn)生海量數(shù)據(jù),對(duì)網(wǎng)絡(luò)提出更高帶寬、更低時(shí)延、更強(qiáng)安全的需求;另一側(cè)是人工智能運(yùn)算所需要的數(shù)據(jù)、算力、算法,實(shí)現(xiàn)數(shù)據(jù)價(jià)值化。海量數(shù)據(jù)的傳輸、分析和存儲(chǔ)對(duì)傳統(tǒng)網(wǎng)絡(luò)和云計(jì)算提出了巨大挑戰(zhàn),使云計(jì)算和網(wǎng)絡(luò)面臨“傳不暢、算不動(dòng)、存不下”的局面, 所以為了滿足大數(shù)據(jù)傳輸,或者低時(shí)延、高安全的業(yè)務(wù)需求,驅(qū)動(dòng)計(jì)算從云端下移到接近數(shù)據(jù)源的邊緣近處理和分析數(shù)據(jù)。從云計(jì)算、邊緣計(jì)算乃至到普適計(jì)算的發(fā)展大趨勢(shì)下,未來(lái)社會(huì)中會(huì)在靠近用戶的不同距離遍布許多不同規(guī)模的算力,通過(guò)全球網(wǎng)絡(luò)為用戶提供各類個(gè)性化的服務(wù)。從百億量級(jí)的智能終端,到全球十億量級(jí)的家庭網(wǎng)關(guān),再到每個(gè)城市中未來(lái)MEC帶來(lái)的數(shù)千個(gè)具備計(jì)算能力的基站,以及數(shù)百個(gè)NFV化帶來(lái)的Cloud CO機(jī)房,以及每個(gè)國(guó)家數(shù)十個(gè)大型的云DC,形成海量的泛在算力從各處接入互聯(lián)網(wǎng),形成計(jì)算和網(wǎng)絡(luò)深度融合的趨勢(shì)。面對(duì)網(wǎng)絡(luò)計(jì)算融合的新網(wǎng)絡(luò)趨勢(shì),邊緣計(jì)算乃至泛在計(jì)算場(chǎng)景中,由于單個(gè)站點(diǎn)的算力資源有限,需要多個(gè)分布式邊緣計(jì)算站點(diǎn)互聯(lián),組成松散耦合的邊緣云集群協(xié)同工作,現(xiàn)有架構(gòu)一般通過(guò)集中式編排層來(lái)管理和調(diào)度,存在可擴(kuò)展和調(diào)度性能差的問(wèn)題。
傳統(tǒng)基于客戶端/服務(wù)器客戶端與長(zhǎng)生存周期的服務(wù)端進(jìn)程通信,服務(wù)端處理大部分業(yè)務(wù)邏輯。隨著微服務(wù)的發(fā)展,傳統(tǒng)的客戶端/服務(wù)器模式被解構(gòu),服務(wù)器側(cè)的應(yīng)用解構(gòu)成功能組件部署在云平臺(tái)上,由API網(wǎng)關(guān)統(tǒng)一調(diào)度,可以做到按需動(dòng)態(tài)實(shí)例化,服務(wù)器中的業(yè)務(wù)邏輯轉(zhuǎn)移到客戶側(cè),客戶只需要關(guān)心計(jì)算功能本身,而無(wú)需關(guān)心服務(wù)器、虛擬機(jī)、容器等計(jì)算資源,聚焦業(yè)務(wù)邏輯,從而實(shí)現(xiàn)函數(shù)即服務(wù)。 而當(dāng)前互聯(lián)網(wǎng)的假設(shè)是靜態(tài)的server加上移動(dòng)的client,傳統(tǒng)基于DNS解析的IP尋址,以及建立TCP/TLS會(huì)話的網(wǎng)絡(luò)模式,也難以發(fā)揮動(dòng)態(tài)、微服務(wù)、泛在計(jì)算的優(yōu)勢(shì),不能保證計(jì)算效率最大化。未來(lái)網(wǎng)絡(luò)需要能夠支持不同的計(jì)算類應(yīng)用,根據(jù)不同的業(yè)務(wù)需求,網(wǎng)絡(luò)實(shí)時(shí)狀況,計(jì)算資源實(shí)時(shí)狀況,可以動(dòng)態(tài)地路由到離client不同距離的計(jì)算節(jié)點(diǎn)上執(zhí)行計(jì)算任務(wù),實(shí)現(xiàn)用戶體驗(yàn)最優(yōu)、計(jì)算資源利用率最優(yōu)、網(wǎng)絡(luò)效率最優(yōu)。
該方案主體目標(biāo)為面向網(wǎng)絡(luò)計(jì)算融合趨勢(shì),以無(wú)所不在的網(wǎng)絡(luò)連接為基礎(chǔ),基于分布式的邊緣計(jì)算節(jié)點(diǎn),通過(guò)服務(wù)的自動(dòng)化最優(yōu)路由和負(fù)載均衡,構(gòu)建算力感知的全新的網(wǎng)絡(luò)基礎(chǔ)設(shè)施,真正實(shí)現(xiàn)網(wǎng)絡(luò)無(wú)所不達(dá),算力無(wú)處不在,智能無(wú)所不及。 幫助海量應(yīng)用、海量功能函數(shù)、海量計(jì)算資源構(gòu)成一個(gè)開(kāi)放的生態(tài); 海量的應(yīng)用能夠按需、實(shí)時(shí)調(diào)用不同地方的計(jì)算資源,提高計(jì)算資源利用效率實(shí)現(xiàn)用戶體驗(yàn)最優(yōu)、計(jì)算資源利用率最優(yōu)、網(wǎng)絡(luò)效率最優(yōu)。
圖1 算力感知網(wǎng)絡(luò)總體架構(gòu)
2、解決方案介紹
2.1 面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò)解決方案系統(tǒng)架構(gòu)
面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò)解決方案系統(tǒng)架構(gòu)如圖2所示,主要包括以下部分:
入口節(jié)點(diǎn)功能:面向客戶端,負(fù)責(zé)服務(wù)的實(shí)時(shí)尋址和流量調(diào)度。
出口節(jié)點(diǎn)功能:面向服務(wù)端,負(fù)責(zé)服務(wù)狀態(tài)的查詢、匯聚和全網(wǎng)發(fā)布。
算力感知網(wǎng)絡(luò)節(jié)點(diǎn)(CAN節(jié)點(diǎn)):主要互聯(lián)分布式的邊緣計(jì)算節(jié)點(diǎn),并對(duì)算力可感知、可度量以及可控制的網(wǎng)絡(luò)節(jié)點(diǎn)。
圖2 面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò)解決方案系統(tǒng)架構(gòu)
2.2 面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò)解決方案
面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò)解決方案,即基于當(dāng)前網(wǎng)絡(luò)可用的算力和服務(wù),結(jié)合網(wǎng)絡(luò)實(shí)時(shí)狀況,靈活匹配、動(dòng)態(tài)調(diào)度計(jì)算資源,將終端的計(jì)算卸載到合適計(jì)算節(jié)點(diǎn),邊緣或者中心云,支撐業(yè)務(wù)的計(jì)算需求,保證業(yè)務(wù)的用戶體驗(yàn)。面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò)解決方案技術(shù)方案具體包括算力服務(wù)感知協(xié)議與流程交互、邊云協(xié)同調(diào)度機(jī)制、邊云協(xié)同的數(shù)據(jù)通信等部分。
(1)算力服務(wù)感知協(xié)議與流程交互
通過(guò)在路由表中增加計(jì)算性能評(píng)估參數(shù),如計(jì)算剩余能力、計(jì)算時(shí)延、以及其他可擴(kuò)展參數(shù),加權(quán)計(jì)算網(wǎng)絡(luò)性能與計(jì)算性能之和,綜合考量網(wǎng)絡(luò)與計(jì)算性能,選出最優(yōu)執(zhí)行節(jié)點(diǎn),為計(jì)算業(yè)務(wù)做路由轉(zhuǎn)發(fā)。由于所選路由以計(jì)算優(yōu)先為原則,使其時(shí)延大大降低,配合邊緣算力可以滿足低時(shí)延應(yīng)用需求。路由表中包含計(jì)算性能數(shù)據(jù)和網(wǎng)絡(luò)性能數(shù)據(jù),路由節(jié)點(diǎn)周期性發(fā)送網(wǎng)絡(luò)性能探測(cè)包、計(jì)算性能探測(cè)包,收集本地及臨近路由節(jié)點(diǎn)網(wǎng)絡(luò)與計(jì)算性能數(shù)據(jù),用以更新路由表。路由節(jié)點(diǎn)收到業(yè)務(wù)請(qǐng)求后,根據(jù)服務(wù)ID、網(wǎng)絡(luò)與計(jì)算性能加權(quán)結(jié)果確定業(yè)務(wù)路由。計(jì)算和網(wǎng)絡(luò)信息可以通過(guò)擴(kuò)展現(xiàn)有BGP、IGP協(xié)議在CFN網(wǎng)絡(luò)進(jìn)行擴(kuò)散和同步。
同一個(gè)service,對(duì)應(yīng)唯一的service ID,在網(wǎng)絡(luò)中不同節(jié)點(diǎn)部署該service時(shí),即在網(wǎng)絡(luò)中散布服務(wù)多副本,對(duì)應(yīng)多個(gè)不同的service IP地址,將同一個(gè)service的多副本映射為同一個(gè)service ID。為與現(xiàn)有業(yè)務(wù)層兼容,service ID使用業(yè)務(wù)層定義的業(yè)務(wù)ID(即以IP格式轉(zhuǎn)意的業(yè)務(wù)ID)。Age是路由項(xiàng)老化時(shí)間。
圖3 算力服務(wù)感知協(xié)議交互流程
(2)云邊協(xié)同的分布式調(diào)度機(jī)制
當(dāng)本地路由節(jié)點(diǎn)收到計(jì)算任務(wù)的數(shù)據(jù)包時(shí),首先確定該數(shù)據(jù)包的計(jì)算任務(wù)類型,計(jì)算任務(wù)類型包含服務(wù) ID、流粘性需求屬性等,基于預(yù)先獲取的計(jì)算任務(wù)類型、其他計(jì)算節(jié)點(diǎn)和計(jì)算性能的對(duì)應(yīng)關(guān)系,確定該計(jì)算任務(wù)類型對(duì)應(yīng)的至少一個(gè)其他節(jié)點(diǎn)和其對(duì)應(yīng)的計(jì)算性能。基于其他節(jié)點(diǎn)的計(jì)算性能,以及本地節(jié)點(diǎn)與其他節(jié)點(diǎn)之間的網(wǎng)絡(luò)性能如鏈路狀態(tài),綜合考量確定執(zhí)行的目標(biāo)節(jié)點(diǎn)。目標(biāo)節(jié)點(diǎn)的地址即數(shù)據(jù)包的路由目的地址,而后基于目標(biāo)地址對(duì)數(shù)據(jù)包進(jìn)行轉(zhuǎn)發(fā)。計(jì)算和網(wǎng)絡(luò)性能信息可以通過(guò)擴(kuò)展現(xiàn)有BGP、IGP協(xié)議在CFN網(wǎng)絡(luò)進(jìn)行擴(kuò)散和同步。
(3)邊云協(xié)同的數(shù)據(jù)面通信過(guò)程
對(duì)于實(shí)時(shí)性,可靠性要求更高的業(yè)務(wù),可以在接收到首個(gè)服務(wù)報(bào)文后, 選擇基于隨路查詢進(jìn)一步選擇最佳節(jié)點(diǎn)來(lái)提供服務(wù): 入口節(jié)點(diǎn)功能模塊(ingressnode)接收用戶設(shè)備發(fā)往目標(biāo)服務(wù)節(jié)點(diǎn)的首個(gè)報(bào)文后將原始報(bào)文復(fù)制多份并隨路發(fā)送服務(wù)以及網(wǎng)絡(luò)查詢測(cè)量報(bào)文(即OAM報(bào)文,OAM查詢測(cè)量報(bào)文可以在原始報(bào)文頭部或單獨(dú)發(fā)送),同時(shí)發(fā)送給多個(gè)出口節(jié)點(diǎn)功能模塊(egress node),通過(guò)查詢測(cè)量獲取取其計(jì)算性能(如服務(wù)負(fù)載)和/或網(wǎng)絡(luò)性能(如時(shí)延)。egressnode收到后根據(jù)本地計(jì)算和網(wǎng)絡(luò)的實(shí)時(shí)信息通過(guò)OAM應(yīng)答ingress node,并將原始首包繼續(xù)轉(zhuǎn)發(fā)到服務(wù)計(jì)算節(jié)點(diǎn),ingress node基于egress node返回的計(jì)算性能和/或網(wǎng)絡(luò)性能確定目標(biāo)路由節(jié)點(diǎn)并建立轉(zhuǎn)發(fā)流表FIB,由該目標(biāo)路由節(jié)點(diǎn)連接的一個(gè)目標(biāo)服務(wù)節(jié)點(diǎn)為用戶設(shè)備提供服務(wù)。
圖4 跨邊緣計(jì)算節(jié)點(diǎn)的數(shù)據(jù)面通信過(guò)程
2.3 基于中國(guó)移動(dòng)邊緣計(jì)算自研SIGMA平臺(tái)的應(yīng)用
中國(guó)移動(dòng)的Sigma平臺(tái)是面向邊緣計(jì)算的PaaS平臺(tái),基于云原生的架構(gòu),支持不同功能模塊的運(yùn)行,為應(yīng)用提供管理、網(wǎng)絡(luò)和行業(yè)特色API能力。面向邊緣應(yīng)用開(kāi)放的能力API需要支持統(tǒng)一管理,構(gòu)建統(tǒng)一的能力API注冊(cè)、注銷、激活、去激活、發(fā)布、訂閱更新以及更新通知等機(jī)制,方便應(yīng)用調(diào)用并支持統(tǒng)一運(yùn)營(yíng)與維護(hù)。滿足互聯(lián)網(wǎng)和行業(yè)用戶業(yè)務(wù)使用邊緣能力的需求,提供邊緣計(jì)算集群管理、應(yīng)用多集群的部署、第三方PaaS能力引入等云能力。具備集群可擴(kuò)展和多集群等特征,適配將來(lái)大規(guī)模邊緣計(jì)算集群PaaS管理。Simga平臺(tái)支持“智慧城市”、“智能制造”、“車聯(lián)網(wǎng)”、“醫(yī)療教育”、“游戲直播”等行業(yè),提供運(yùn)營(yíng)商特有的無(wú)線能力和核心網(wǎng)能力包括位置服務(wù)、帶寬管理服務(wù)、無(wú)線網(wǎng)絡(luò)信息服務(wù)。
本技術(shù)方案已經(jīng)集成在中國(guó)移動(dòng)移動(dòng)邊緣計(jì)算自研SIGMA平臺(tái),作為Sigma網(wǎng)絡(luò)特色能力,進(jìn)行邊跨緣計(jì)算站點(diǎn)之間的云邊協(xié)同,實(shí)現(xiàn)計(jì)算任務(wù)的按需匹配和靈活調(diào)度。目前已經(jīng)聯(lián)合浙江移動(dòng)啟動(dòng)邊緣計(jì)算試點(diǎn)進(jìn)行現(xiàn)網(wǎng)實(shí)驗(yàn)局概念驗(yàn)證,從集成測(cè)試、功能測(cè)試和性能測(cè)試不同維度驗(yàn)證本技術(shù)方案的可行性和性能,推動(dòng)本技術(shù)方案的標(biāo)準(zhǔn)和規(guī)模化部署。
圖5 測(cè)試拓?fù)鋱D
3、代表性及推廣價(jià)值
(1)面向敏捷邊云協(xié)同的算力感知網(wǎng)絡(luò)解決方案將分散的邊緣計(jì)算站點(diǎn)互聯(lián),組成松散耦合的邊緣云集群協(xié)同工作以提高系統(tǒng)的可伸縮性和健壯性,構(gòu)建邊緣與中心云的一體化生態(tài);提供分布化計(jì)算和存儲(chǔ)系統(tǒng)的全局優(yōu)化,內(nèi)建計(jì)算任務(wù)動(dòng)態(tài)路由的能力,根據(jù)業(yè)務(wù)需求,基于實(shí)時(shí)的計(jì)算資源性能、網(wǎng)絡(luò)性能、成本等多維因素,動(dòng)態(tài)、靈活地調(diào)度計(jì)算任務(wù),從而提高資源利用率,網(wǎng)絡(luò)利用效率,提高業(yè)務(wù)用戶體驗(yàn)。
(2)本技術(shù)方案通過(guò)互聯(lián)分布化的邊緣計(jì)算站點(diǎn),拉通不同位置的邊緣云和中心云構(gòu)成融合業(yè)務(wù)網(wǎng)絡(luò),實(shí)現(xiàn)“網(wǎng)絡(luò)云(In-network Cloud)”基礎(chǔ)設(shè)施,實(shí)現(xiàn)計(jì)算資源即插即用,解決服務(wù)多副本、服務(wù)動(dòng)態(tài)性問(wèn)題。
(3)面向OTT提供開(kāi)放的計(jì)算和存儲(chǔ)能力,助力傳統(tǒng)運(yùn)營(yíng)商向In-Net Cloud轉(zhuǎn)型。
(4)通過(guò)計(jì)算資源統(tǒng)計(jì)復(fù)用,及組播等技術(shù),實(shí)現(xiàn)計(jì)算資源、網(wǎng)絡(luò)資源最大化利用。
(5)新的交易模式催生網(wǎng)絡(luò)貨幣化,資源提供者變現(xiàn),助力運(yùn)營(yíng)商實(shí)現(xiàn)網(wǎng)絡(luò)即服務(wù)功能。
圖6 基于算力感知網(wǎng)絡(luò)的邊邊協(xié)同應(yīng)用場(chǎng)景
摘自《自動(dòng)化博覽》2020年7月刊