東方網力科技股份有限公司副總裁 蔣宗文
海量視頻催生智能視頻分析應用大
數據集記錄數眾多(億級以上),容量巨大(TB乃至PB級別),導致在采集、傳輸、存儲、處理、檢索、共享、分析、顯示數據集時產生巨大障礙,無法采用傳統(tǒng)的基于單機或小規(guī)模服務器集群的數據庫、文件存儲、分布式處理技術,而必須采用基于大規(guī)模計算集群或數據中心的可靈活擴展可容錯的大規(guī)模分布式并行處理技術。大數據最早出現在科學計算和政府的信息處理領域,隨著互聯(lián)網業(yè)務的發(fā)展,互聯(lián)網公司廣泛采用了大數據處理技術,使得大數據的概念廣為人知。當前大數據的應用熱點是巨量數據中挖掘相關性,比如消費者行為分析、相關商品推薦等。
隨著各地城市級聯(lián)網視頻監(jiān)控系統(tǒng)以及高清攝像頭的普及,視頻錄像數據正在快速增加。以一個部署了10000個攝像頭的典型中等城市為例,假定每個攝像頭每秒壓縮視頻數據量為1M比特,則一天產生108TB的視頻錄像,一個月產生約3PB的視頻錄像。
如此巨量的視頻錄像,用戶很難從海量的視頻錄像文件中查閱和檢索到所需的信息。因此可以通過視頻內容智能分析技術,從原始視頻中提取有意義的信息,主要是人車物等可能運動的目標事件。保守估計平均每個攝像頭每10秒發(fā)生2個事件(人、車、物),則每天產生事件記錄2000x3600x24=1.73億條,每年產生約630億條,假設保存3年,將產生1890億條;假設每條記錄的索引信息需要100字節(jié)存儲,則需要19TB的磁盤空間;另外涉及的圖片和視頻剪輯的存儲量更為浩大,保守的估算也需要5PB磁盤空間。
大數據的智能應用
可見,視頻監(jiān)控已經進入了大數據時代。
有了這些大數據,就可以做到很多以前無法做到的應用:實時交通狀況分析:通過視頻實時分析道路交通流量,然后綜合分析統(tǒng)計出全城市的交通狀況;套牌分析:通過視頻進行車牌識別,按照一定的規(guī)則(如最近時間內一定距離以外)在全城市中檢索相同車牌的汽車;犯罪嫌疑人追查:輸入嫌疑人照片進行人臉特征識別并在所有視頻中尋找該人臉;犯罪嫌疑車輛追查:輸入嫌疑車的照片或顏色車型等相關特征在所有視頻中尋找;人車物的軌跡分析:在所有視頻中按照特征查找指定的人車物并繪制其時空軌跡;車輛的首次入城分析等。
與科學計算、互聯(lián)網相比,視頻監(jiān)控的大數據處理難度尤大,首先,視頻錄像是更原始的非文本非結構化的數據,必須經過復雜繁重的分析處理才能提取出文本結構化的數據進行下一步處理;其次視頻錄像相對其它形式數據的容量要大幾個數量級,對傳輸、存儲和計算的帶寬要求大。
如何處理如此巨大的數據記錄?唯一的解決方案就是采用“云計算”(大規(guī)模集群分布式并行計算技術)。因此我們推出了智能視頻云計算系統(tǒng)基于業(yè)界HadoopHDFS/HBASE/MapReduce云計算框架,結合自行開發(fā)的POSA組件式對象和服務架構,構成一個完整的視頻采集、傳輸、存儲、智能索引分析、檢索的視頻大數據處理系統(tǒng)。
隨著視頻監(jiān)控應用的不斷深化發(fā)展,目前各地已經開始集成大量不同子系統(tǒng)。作為智慧城市物聯(lián)網應用的一部分,云計算視頻大數據處理將為系統(tǒng)聯(lián)網實戰(zhàn)應用帶來前所未有的用戶體驗。
推薦閱讀:
安防大數據時代,海量信息的事后分析與處理
大數據時代,提升“統(tǒng)一監(jiān)控”平臺的門檻
安防領域的大數據時代尚未到來