★ 固博機(jī)器人(重慶)有限公司
1 方案目標(biāo)概述
1.1 建設(shè)背景及行業(yè)面臨的挑戰(zhàn)
(1)監(jiān)控系統(tǒng)發(fā)展需求:在監(jiān)控系統(tǒng)的發(fā)展過程中,從前端攝像頭到信號傳輸?shù)胶笈_存儲再到后臺對前端設(shè)備的控制,各種技術(shù)和設(shè)備一直在進(jìn)行著突飛猛進(jìn)的發(fā)展,然而絕大部分存量的公共空間分散應(yīng)用系統(tǒng)依然要靠24小時(shí)人為不間斷通過大屏幕觀察解決異常情況的監(jiān)控問題。
(2)工業(yè)智能化的需求:隨著智慧水電站、智慧電站、智慧工廠等各工業(yè)領(lǐng)域智能化建設(shè)的推進(jìn),對智慧安防監(jiān)控技術(shù)的需求旺盛,通過系統(tǒng)將原來的工業(yè)攝像頭數(shù)據(jù)進(jìn)行接入,獲取數(shù)據(jù)信息,進(jìn)行統(tǒng)一識別分析,對原有監(jiān)控系統(tǒng)進(jìn)行智能升級。
(3)在很多工業(yè)現(xiàn)場,目前仍采用傳統(tǒng)的人工作業(yè)方式,存在效率偏低,及時(shí)性、安全性不高,可靠性、穩(wěn)定性偏弱,誤報(bào)、漏報(bào)現(xiàn)象時(shí)有發(fā)生,無法及時(shí)快速追蹤現(xiàn)場情況等諸多問題。引入工業(yè)智慧運(yùn)維系統(tǒng)輔助、替代人工檢查,提高檢查效率和運(yùn)行可靠性。
1.2 主要目標(biāo)
工業(yè)智慧運(yùn)維系統(tǒng)以智慧監(jiān)控為基礎(chǔ),充分將云計(jì)算、人工智能、深度學(xué)習(xí)算法、大數(shù)據(jù)等各項(xiàng)技術(shù)高度融合,在監(jiān)控中心遠(yuǎn)程操控,實(shí)現(xiàn)定時(shí)、周期遙控巡檢,監(jiān)控及數(shù)據(jù)報(bào)表分析、及時(shí)識別各種報(bào)警和異常等數(shù)字化、智能化的管理與反饋機(jī)制,助力智慧工業(yè)的建設(shè)。
1.3 總體概述
工業(yè)智慧運(yùn)維系統(tǒng)是基于傳統(tǒng)視頻監(jiān)控系統(tǒng)的智能識別+報(bào)警系統(tǒng),通過硬件承載軟件系統(tǒng)組成。工業(yè)智慧運(yùn)維系統(tǒng)產(chǎn)品架構(gòu)圖如圖1所示。
圖1 工業(yè)智慧運(yùn)維系統(tǒng)產(chǎn)品架構(gòu)圖
工業(yè)智慧運(yùn)維系統(tǒng)主要通過工業(yè)現(xiàn)場現(xiàn)有的監(jiān)控設(shè)備,采用國內(nèi)領(lǐng)先的深度學(xué)習(xí)算法、大數(shù)據(jù)處理和分布式集群管理技術(shù),實(shí)現(xiàn)并發(fā)不少于240路1080P實(shí)時(shí)視頻實(shí)戰(zhàn)平臺分析或不少于240路離線高清視頻的目標(biāo)結(jié)構(gòu)化分析,實(shí)現(xiàn)在海量歷史視頻文件和圖片中快速查找目標(biāo)完成工業(yè)場景預(yù)警或者嫌疑人鎖定。可實(shí)時(shí)輸入?yún)^(qū)域內(nèi)的所有監(jiān)控點(diǎn)的視頻監(jiān)控抽幀圖片,運(yùn)用深度學(xué)習(xí)算法分析出所有行人特征、車輛特征以及公共場合內(nèi)行人行為、設(shè)備運(yùn)行狀態(tài)分析。其識別類型主要分為:
(1)人員違規(guī)行為識別
對監(jiān)控視頻中人員的行為規(guī)范方面進(jìn)行識別,如有無正確佩戴安全帽,著裝是否規(guī)范、是否存在睡覺、看手機(jī)等異常行為。
(2)設(shè)備運(yùn)行狀態(tài)類識別
對監(jiān)控視頻中設(shè)備是否存在跑、冒、滴、漏等異常現(xiàn)象,以及設(shè)備是否存在缺陷進(jìn)行識別并報(bào)警。
(3)作業(yè)結(jié)果類識別
針對自動(dòng)化或半自動(dòng)化作業(yè)的結(jié)果進(jìn)行無人檢查并反饋結(jié)果。
(4)作業(yè)過程類識別
對作業(yè)過程情況進(jìn)行無人化檢查。如輸煤系統(tǒng)皮帶停止、皮帶跑偏、皮帶堆料等異常進(jìn)行識別報(bào)警。
2 方案介紹
2.1 系統(tǒng)架構(gòu)
系統(tǒng)采用分布式系統(tǒng)構(gòu)架,主要由大數(shù)據(jù)接入、大數(shù)據(jù)結(jié)構(gòu)化及存儲、大數(shù)據(jù)應(yīng)用平臺三部分組成。
大數(shù)據(jù)接入負(fù)責(zé)接入現(xiàn)場各個(gè)監(jiān)控視頻資源,同時(shí)支持直接導(dǎo)入離線視頻;大數(shù)據(jù)處理采用深度學(xué)習(xí)算法,負(fù)責(zé)對視頻、圖片數(shù)據(jù)進(jìn)行轉(zhuǎn)換、分析處理,將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)的結(jié)構(gòu)化數(shù)據(jù)集,供挖掘和分析使用。目前可以支持對視頻中的人、車輛及人的行為、設(shè)備運(yùn)行狀態(tài)進(jìn)行分析,形成以上目標(biāo)的矢量特征。大數(shù)據(jù)存儲中心構(gòu)建在成熟的云存儲體系之上,具備存儲的復(fù)雜均衡,軟硬件的動(dòng)態(tài)擴(kuò)展和刪除以及數(shù)據(jù)的自動(dòng)備份和恢復(fù)功能,負(fù)責(zé)對結(jié)構(gòu)化數(shù)據(jù)集進(jìn)行管理,同時(shí)負(fù)責(zé)維護(hù)系統(tǒng)建立的各種專題庫。大數(shù)據(jù)應(yīng)用以IE客戶端方式提供各類視頻流和圖片的可視化展示,諸如統(tǒng)計(jì)、報(bào)表、報(bào)警信息可視化展示,配備聲光報(bào)警設(shè)備等服務(wù)應(yīng)用。
工業(yè)智慧運(yùn)維系統(tǒng)架構(gòu)如圖2所示。
圖2 工業(yè)智慧運(yùn)維系統(tǒng)架構(gòu)
2.2 硬件平臺
(1)PC桌面電腦帶顯卡
(2)NVR數(shù)字硬盤錄像機(jī)(用戶現(xiàn)場提供)
(3)運(yùn)行環(huán)境
接口系統(tǒng):獨(dú)立服務(wù)器Web端;
CPU:雙核1.5G以上;
顯卡:1024*768,16位色以上。
2.3 軟件平臺
(1)系統(tǒng)開發(fā)
操作系統(tǒng):windows、linux;
集成開發(fā)環(huán)境為eclipse、Myeclipse、IDEA,碼云作為源代碼管理工具。
(2)系統(tǒng)運(yùn)行
系統(tǒng)采用基于web平臺的java技術(shù)作為主要的開發(fā)技術(shù),jdk版本為1.8.0以上,兼容瀏覽器IE(7.0以上)、360SE、Chrome、Safari、QuikTime、FireFox。
2.4 數(shù)據(jù)通信
本系統(tǒng)的數(shù)據(jù)、命令通信協(xié)議采用TCP/IP(Socket)、SOAP、HTTP等協(xié)議。接口系統(tǒng)與web端采用json格式數(shù)據(jù)進(jìn)行通信。
2.5 安全措施
(1)系統(tǒng)應(yīng)用于特殊巡檢,故重點(diǎn)考慮數(shù)據(jù)儲存、數(shù)據(jù)傳輸?shù)陌踩裕约跋到y(tǒng)的物理安全和管理安全。采用成熟、先進(jìn)的技術(shù)開發(fā),確保系統(tǒng)的穩(wěn)定性。
(2)工業(yè)智慧運(yùn)維系統(tǒng)滿足“技術(shù)先進(jìn),安全可靠;功能完善,使用簡便;靈活機(jī)動(dòng),部署快捷”的應(yīng)用要求,通過專業(yè)化、規(guī)范化的運(yùn)維服務(wù),達(dá)到行業(yè)規(guī)范和標(biāo)準(zhǔn)的要求,保證設(shè)備和系統(tǒng)處于最佳運(yùn)行狀態(tài),發(fā)揮系統(tǒng)的最大效能。
(3)系統(tǒng)設(shè)有安全權(quán)限管理。不同范圍的人員對不同功能模塊有不同的使用權(quán)。
3 應(yīng)用情況
工業(yè)智慧運(yùn)維系統(tǒng)已在輸煤皮帶廊、鋼廠(四高及精整包裝線)、熱電廠(零米汽機(jī)、GIS室、控制室)等場景下開展應(yīng)用,且運(yùn)行效果俱佳,切實(shí)提高了工業(yè)領(lǐng)域的設(shè)備健康水平和管理水平,取得良好示范效應(yīng)。
下面以輸煤皮帶廊智慧運(yùn)維系統(tǒng)為例具體說明解決方案。
輸煤皮帶智慧運(yùn)維系統(tǒng)為輸煤系統(tǒng)提供一套完整的無人值守巡檢解決方案,具備輸煤系統(tǒng)無人化檢查、輸煤系統(tǒng)皮帶停止、皮帶跑偏、皮帶堆料識別報(bào)警等核心功能,配套輸煤系統(tǒng)集控軟件能夠?qū)φ麄€(gè)輸送帶監(jiān)控設(shè)備控制、并能夠?qū)Υ罅康妮斔蛶到y(tǒng)數(shù)據(jù)進(jìn)行采集與大數(shù)據(jù)分析、系統(tǒng)報(bào)警為一體的智能化運(yùn)維。
輸煤皮帶智慧運(yùn)維系統(tǒng)提供了完整的解決方案,可提高工作人員的巡檢進(jìn)度,對巡檢質(zhì)量實(shí)現(xiàn)由人工管理到電子化管理的轉(zhuǎn)變,并進(jìn)行考評,保證檢查工作的正常開展。管理者可以通過該系統(tǒng)對閥門、各管道、線路等設(shè)施的巡檢實(shí)現(xiàn)科學(xué)化的管理,同時(shí)依托大數(shù)據(jù)計(jì)算技術(shù),能夠?qū)Ξ惓顩r進(jìn)行提前預(yù)判分析,在辦公室內(nèi)足不出戶即可通過各類電子報(bào)表掌握巡檢的實(shí)施質(zhì)量和設(shè)施的運(yùn)行狀況。
(1)系統(tǒng)采用多種通用協(xié)議:WebSocket協(xié)議、HTTP協(xié)議、TCP/UDP協(xié)議、FTP文件傳輸協(xié)議、RTSP實(shí)時(shí)流傳輸協(xié)議,可接入其他系統(tǒng)及接收其他設(shè)備數(shù)據(jù)。
(2)具有可視化地圖管理模塊,可實(shí)現(xiàn)地圖創(chuàng)建、地圖編輯、巡檢點(diǎn)采集等基本功能,便于巡檢任務(wù)的指定。
(3)后臺界面可根據(jù)采集到的數(shù)據(jù)自動(dòng)產(chǎn)生巡檢報(bào)告,分為日、周、月、年和監(jiān)控報(bào)表,并支持對報(bào)表的管理、查詢、自定義。
(4)多巡檢任務(wù)進(jìn)行管理,巡檢列表中包括巡檢點(diǎn)設(shè)置、巡檢任務(wù)計(jì)劃制定、巡檢任務(wù)瀏覽和巡檢任務(wù)跟蹤等任務(wù)。
(5)提供所有巡檢數(shù)據(jù)日志報(bào)告的導(dǎo)出。
(6)監(jiān)控后臺能攝像頭進(jìn)行手動(dòng)操作。
(7)服務(wù)器存儲不少于3個(gè)月的設(shè)備巡檢圖片。系統(tǒng)定期自動(dòng)備份數(shù)據(jù)庫數(shù)據(jù),防止數(shù)據(jù)丟失。
(8)集控平臺建設(shè)遵循“統(tǒng)一規(guī)劃、分級應(yīng)用”的建設(shè)思路,制定一體化的系統(tǒng)架構(gòu),實(shí)現(xiàn)數(shù)據(jù)規(guī)范、功能模塊的統(tǒng)一與標(biāo)準(zhǔn)化,具備標(biāo)準(zhǔn)化的數(shù)據(jù)接口,實(shí)現(xiàn)數(shù)據(jù)高速交互,數(shù)據(jù)能夠與運(yùn)維自動(dòng)化系統(tǒng)等專業(yè)系統(tǒng)互聯(lián)互通。同時(shí),系統(tǒng)設(shè)計(jì)具備良好的功能擴(kuò)展性,既滿足現(xiàn)階段生產(chǎn)需求,又考慮未來功能升級或網(wǎng)級巡檢中心的數(shù)據(jù)采集要求。
(9)能將站內(nèi)已有的安防系統(tǒng)、視頻系統(tǒng)、監(jiān)控系統(tǒng)融合到我們的機(jī)器人進(jìn)行識別分析,并將識別結(jié)果存到數(shù)據(jù)庫,可在管理界面查看,并將故障展示到顯示界面。
(10)平臺架構(gòu)采用B/S模式,實(shí)現(xiàn)與其他系統(tǒng)的數(shù)據(jù)通信,按照數(shù)據(jù)類型將數(shù)據(jù)層劃分為多個(gè)獨(dú)立模塊,增加數(shù)據(jù)的處理效率和提高穩(wěn)定性。
(11)與第三方平臺進(jìn)行數(shù)據(jù)對接
操作方式有三種:
一是把系統(tǒng)的單個(gè)功能網(wǎng)頁給用戶,用戶把網(wǎng)頁嵌入到用戶已有系統(tǒng),進(jìn)行對應(yīng)的數(shù)據(jù)展示;
二是給用戶提供數(shù)據(jù)接口,用戶可以通過接口獲取巡檢系統(tǒng)相應(yīng)的數(shù)據(jù);
三是甲方提供數(shù)據(jù)接口,可以向用戶的數(shù)據(jù)接口寫入相應(yīng)巡檢的數(shù)據(jù),進(jìn)行對應(yīng)的數(shù)據(jù)展示。
①歷史數(shù)據(jù)查看功能
可以查看近一年的所有巡檢歷史數(shù)據(jù)、圖片等。可以從時(shí)間和檢測對象兩個(gè)維度進(jìn)行查看。
②報(bào)表功能
巡檢數(shù)據(jù)可自動(dòng)形成巡檢報(bào)告,并可導(dǎo)出巡檢報(bào)表和故障報(bào)表。
③報(bào)警功能
具備設(shè)備檢測數(shù)據(jù)的分析、診斷、預(yù)判及報(bào)警功能;報(bào)警發(fā)生時(shí),立即發(fā)出報(bào)警信息,并伴有聲光提示,并能人工退出/恢復(fù);報(bào)警信號能遠(yuǎn)傳。
識別流程圖如圖3所示。
圖3 識別流程圖
4 代表性及推廣價(jià)值
4.1 技術(shù)亮點(diǎn)
(1)智慧能力庫建設(shè):已建立了工業(yè)領(lǐng)域的能力庫,借助圖像視頻采集、標(biāo)注、深度學(xué)習(xí)算法,讓“工業(yè)智慧巡檢系統(tǒng)”在各類工業(yè)應(yīng)用場景中快速應(yīng)用,持續(xù)優(yōu)化演進(jìn)。
(2)全信息感知:系統(tǒng)自動(dòng)監(jiān)控,全信息感知;用戶可進(jìn)行定制化、全天候持續(xù)不間斷地?cái)?shù)據(jù)采集。
(3)靈活易用:借助APP工具,對任何一個(gè)攝像頭可進(jìn)行靈活部署和識別能力的賦能,用戶可進(jìn)行任意的更改,擴(kuò)展性強(qiáng),操作簡單方便。
(4)協(xié)同共享:針對NVR\DVR一個(gè)系統(tǒng)范圍內(nèi)裝一臺工業(yè)智慧巡檢系統(tǒng),多臺可匯集共享一個(gè)后臺系統(tǒng)。
(5)邊緣智能+云智能
工業(yè)智慧運(yùn)維系統(tǒng)通過搭載具有高可用高穩(wěn)定性的智能算法板,對實(shí)時(shí)產(chǎn)生的巡檢數(shù)據(jù)做實(shí)時(shí)智能AI運(yùn)算處理及數(shù)據(jù)分析。同時(shí)判斷告警系統(tǒng)是否產(chǎn)生了預(yù)警信息,如果產(chǎn)生了預(yù)警信息告警系統(tǒng)會(huì)通過聲音,亮燈等方式進(jìn)行實(shí)時(shí)預(yù)警。同時(shí)會(huì)把處理好的數(shù)據(jù)結(jié)果保存到系統(tǒng)服務(wù)當(dāng)中,如果告警系統(tǒng)當(dāng)前和云服務(wù)已經(jīng)聯(lián)通,通過邊緣智能處理的數(shù)據(jù)會(huì)實(shí)時(shí)地傳輸至云服務(wù)器,云服務(wù)器可以對數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析,分析每個(gè)點(diǎn)位出現(xiàn)預(yù)警頻率,在數(shù)據(jù)足夠充分的情況下甚至能分析出哪些設(shè)備將要出現(xiàn)預(yù)警,可以提前告知工作人員,提前進(jìn)行查看維護(hù)。
邊緣智能,將云計(jì)算能力拓展至用戶現(xiàn)場,可以提供臨時(shí)離線、低延時(shí)的計(jì)算服務(wù),包括消息規(guī)則、函數(shù)計(jì)算、AI推斷。隨著收集數(shù)據(jù)并將其轉(zhuǎn)換到云端進(jìn)行處理的物聯(lián)網(wǎng)設(shè)備數(shù)量增加,邊緣智能應(yīng)運(yùn)而生。基于邊緣計(jì)算這一新型的計(jì)算模式,邊緣智能在更加靠近用戶和數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè)這一位置訓(xùn)練和部署深度學(xué)習(xí)模型,從而改善人工智能應(yīng)用的性能、成本和隱私性。
作為云計(jì)算向網(wǎng)絡(luò)邊緣和終端用戶的擴(kuò)展,邊緣計(jì)算將計(jì)算資源和服務(wù)從遠(yuǎn)離用戶的云端下沉到網(wǎng)絡(luò)邊緣側(cè),從而有效降低網(wǎng)絡(luò)延遲和帶寬消耗,并加強(qiáng)隱私保護(hù)。相比于傳統(tǒng)應(yīng)用,物聯(lián)網(wǎng)場景下的基于視頻分析、圖像和語音識別技術(shù)等新興人工智能應(yīng)用的計(jì)算和數(shù)據(jù)都更為密集,對延遲和隱私保護(hù)要求也更為嚴(yán)苛。同時(shí)大大地降低了用戶在服務(wù)器集中進(jìn)行運(yùn)算的硬件成本。
(6)巡檢點(diǎn)位智能快速部署
自動(dòng)獲取NVR的監(jiān)控設(shè)備信息,并對監(jiān)控設(shè)備當(dāng)前位置進(jìn)點(diǎn)位行初始化。
4.2 經(jīng)濟(jì)效益/商業(yè)價(jià)值
“工業(yè)智慧運(yùn)維系統(tǒng)”直接替代目前部分(大部分)人工觀察大屏幕監(jiān)控職責(zé);其二是進(jìn)行異常圖片智慧保存,建立快速檢索機(jī)制,進(jìn)一步提升存量系統(tǒng)的建設(shè)價(jià)值、解放大量低級無趣工作下的勞動(dòng)力并對新構(gòu)建的分散性監(jiān)控系統(tǒng)提升價(jià)值。在大數(shù)據(jù)技術(shù)支持下,對公共空間的安全風(fēng)險(xiǎn)進(jìn)行預(yù)測和警報(bào),真正提升公共空間的安全性降低各種安全風(fēng)險(xiǎn)。
“工業(yè)智慧運(yùn)維系統(tǒng)”產(chǎn)品具有存儲輕量化(視頻數(shù)據(jù)經(jīng)過結(jié)構(gòu)化處理,輸出形式為圖片甚至文本,極大地降低了占用的存儲空間和傳輸壓力)、處理高效化(具有高性能并行處理能力,并支多線程圖片幀抓取,能成倍提高視頻數(shù)據(jù)的結(jié)構(gòu)化處理能力)、應(yīng)用多樣化(系統(tǒng)內(nèi)嵌應(yīng)用管理系統(tǒng),能夠提供統(tǒng)計(jì)、報(bào)表、報(bào)警信息可視化展示,配備聲光報(bào)警設(shè)備等各類豐富應(yīng)用)特點(diǎn),其應(yīng)用面廣,用戶接受度高,商業(yè)價(jià)值高。
4.3 社會(huì)價(jià)值
“工業(yè)智慧運(yùn)維系統(tǒng)”充分將云計(jì)算、人工智能、深度學(xué)習(xí)算法、大數(shù)據(jù)處理等各項(xiàng)技術(shù)高度融合,實(shí)現(xiàn)定時(shí)、周期遙控巡檢,監(jiān)控及數(shù)據(jù)報(bào)表分析、及時(shí)識別各種報(bào)警和異常等數(shù)字化、智能化的管理與反饋機(jī)制,解決現(xiàn)有監(jiān)控系統(tǒng)的痛點(diǎn)問題(如系統(tǒng)自身無法提前預(yù)警、人工監(jiān)視存在遺漏、人式監(jiān)視低效枯燥、事后取證復(fù)雜、存儲時(shí)間受限、存儲數(shù)據(jù)價(jià)值無開發(fā)等),減輕(替代)人工作業(yè)(檢查、監(jiān)視)勞動(dòng)強(qiáng)度,提高作業(yè)效率、解決及時(shí)性、安全性、可靠性及穩(wěn)定性問題。
隨著智慧水電站、智慧電站、智慧工廠等各工業(yè)領(lǐng)域智能化建設(shè)的推進(jìn),以及智慧城市、智慧醫(yī)院、智慧學(xué)校等其它領(lǐng)域智能化建設(shè)從概念走向落地,對智慧安防監(jiān)控技術(shù)的需求旺盛,通過系統(tǒng)將原來的工業(yè)攝像頭數(shù)據(jù)進(jìn)行接入,獲取數(shù)據(jù)信息,進(jìn)行統(tǒng)一識別分析,形成智慧運(yùn)維系統(tǒng)(智慧化視頻監(jiān)控),解決公共空間監(jiān)控系統(tǒng)的直接升級。
摘自《自動(dòng)化博覽》2022年10月刊