在過去很多年中,智能技術贏得了目光和人氣,卻沒有獲得大的市場進展,令人困惑。這篇文章將探討如何把智能視頻技術的應用從行業(yè)化解決方案和系統(tǒng)化的角度來看待,才能使其走向大規(guī)模應用。
大規(guī)模智能視頻監(jiān)控技術應用的必由之路
在過去很多年中,智能技術贏得了目光和人氣,卻沒有獲得大的市場進展,令人困惑。這篇文章將探討如何把智能視頻技術的應用從行業(yè)化解決方案和系統(tǒng)化的角度來看待,才能使其走向大規(guī)模應用。
智能視頻分析技術的發(fā)展制約因素
隨著用戶對操作自動化水平要求的日漸增高,智能技術逐漸聚集了市場的目光,成為工程商、集成商、生產商和終端用戶的寵兒。但是,在過去很多年中,智能技術贏得了目光和人氣,卻沒有獲得大的市場進展。
智能視頻分析技術來源于計算機視覺與模式識別學科,是一種非標準的技術,業(yè)界沒有一個所謂智能視頻分析技術的標準。非標準技術要想獲得大規(guī)模的應用很困難,因為不同行業(yè)用戶的需求千奇百怪,而且沒有獨立、可靠與公眾一致認知的衡量標準,測評顯得非常困難,難以形成規(guī)模性的生產來降低成本,系統(tǒng)的互聯互通也無法實現。如此一來,很難令用戶對智能技術的應用慷慨解囊。
筆者認為,智能視頻分析技術如果要想較快發(fā)展進入大規(guī)模應用的階段,必須要解決三大問題:提出行業(yè)化智能技術應用解決方案、解決智能化的平臺軟件問題、進行行業(yè)化智能技術深度研發(fā)。
提出行業(yè)化智能技術應用解決方案
行業(yè)化解決方案是實現智能視頻分析功能“標準化”的唯一途徑。經過在整個監(jiān)控領域對智能化技術做標準化是不現實的,但在眾多重要而專業(yè)的領域中經過不斷實踐、提煉和深度研發(fā),在該行業(yè)內部形成具有行業(yè)共識的“標準功能模塊”是可行的,有利于將智能視頻在該領域推向大規(guī)模應用。
解決智能化的平臺軟件問題
傳統(tǒng)的平臺軟件無法操作智能設備,這是因為有幾個重要的原因:1、智能視頻分析系統(tǒng)與傳統(tǒng)系統(tǒng)在報警信號的來源上有非常大的差異,前者來自視頻內容本身的分析,而后者需要來自其它的傳感器,如紅外探頭等。如何從視頻內容中獲得、處理、傳遞、存儲、搜索以及視覺表達這些報警信息是智能系統(tǒng)必須要解決的問題,而傳統(tǒng)的平臺軟件顯然無法直接兼容性地解決這些問題。2、做智能研發(fā)的公司往往規(guī)模比較小而鮮有參與大型行業(yè)工程實踐的經驗和機會,難以有研發(fā)并完善平臺軟件的機會。而做平臺軟件的公司往往經過多年工程項目的積累,在傳統(tǒng)的平臺軟件上已經做得很成熟,但是這些工程性的公司卻缺少了智能核心技術。因此無法直接在自己的平臺軟件上添加對智能設備的控制,或者無法在平臺軟件后臺進行直接的智能化處理,即使一定程度上可以在后臺軟件做一些基本的智能處理功能,也無法進行大規(guī)模的智能功能部署,因為后端的智能處理方式需要把前端圖像通過數字化傳輸回來之后,經過數字圖像的解壓縮、智能處理、再壓縮和存儲的過程,非常消耗計算資源,因此實際上無法進行大容量的智能視頻分析部署。由此可見,智能化的平臺軟件必須要獲得解決。
行業(yè)化智能技術深度研發(fā)
行業(yè)應用過程中,不斷涌現新的智能視頻分析需求,這些需求和行業(yè)的應用緊密相關,未來的智能絕對不是簡單的入侵報警、絆線檢測之類的基本智能分析,例如可靠的人類行為分析、社會公眾事件的識別、跨越場景的跟蹤以及360度全景拼接技術等都成為智能技術深度研發(fā)的典范,深度研發(fā)的需求從本質上要求智能系統(tǒng)可以做到人眼和大腦協(xié)同工作相類似的效果。例如,在地鐵的智能應用中,分析扶手電梯的運動方向、模糊估計人流堵塞程度以及在大型人臉數據庫中做人臉的搜索識別等將成為主流需求。因此行業(yè)化的智能技術深度研發(fā)將是智能技術獲得行業(yè)推廣和廣泛應用必須要完成的艱巨任務。
通過以上分析,我們可以看到,智能技術的非標準化特性正是阻礙它獲得大規(guī)模應用的重要原因。要想在短期內解決上述問題,就必須通過行業(yè)化需求的提煉來把智能技術進行行業(yè)性的“標準化”,并解決智能平臺軟件問題,形成統(tǒng)一的智能化應用接口來連接前端智能設備與后端的智能化平臺軟件,同時需要不斷解決行業(yè)應用中出現的深度智能需求,這樣才有可能迎來智能技術大規(guī)模應用的春天。下文將分別從行業(yè)解決方案、智能平臺軟件與整合以及深度智能技術研發(fā)三個方面來做具體探討。
智能解決方案
一個系統(tǒng)化的智能解決方案,需要從行業(yè)需求分析、產品形態(tài)、系統(tǒng)構架、平臺軟件四個方面來考慮解決。
從行業(yè)需求看解決方案
要提出一個解決方案,首先要理解清楚這個方案到底要解決這個行業(yè)的哪些需求。我們在應用過程中會遇到非常豐富的需求,每個客戶都有不同的應用場景和期待。研發(fā)廠家不可能有足夠的資源可以對所有的需求進行支持,但是我們經過長時間的分析發(fā)現,行業(yè)的客戶需求有很高程度的重疊性,把這些重疊性加以提煉,就會得到“主流需求”,而且“主流需求”往往具備如下的特征:報警實時性的需要、要在某種事件觸發(fā)的狀態(tài)下獲得更加細節(jié)信息的需要、自動化數據挖掘與共享的需要。因此,分析行業(yè)化需求的最有效方法是分析需求最多的應用場景,以及在這些場景中具有上述特征的“主流需求”,表1和表2以智能交通和智能安防為例對應用需求進行了分析。
表1 智能交通應用需求分析
表2 智能安防應用需求分析
[nextpage]
從產品形態(tài)看解決方案
產品形態(tài)要解決的問題包括根據“主流需求”的特征來選取不同的產品形態(tài),同時產品形態(tài)的選擇兼顧考慮安裝的便利性、性價比、技術實現的難度等。
1、嵌入式智能視頻分析服務器:可以選擇不同的攝像機來做配合,是用戶對已建成的系統(tǒng)進行智能升級的最佳選擇,并且是不同特殊智能分析應用下的靈活之選(如煙火檢測下需要攝像機具有良好的色彩還原能力時可以有更多的攝像機來源選擇)。在較為分散的智能監(jiān)控點中廣泛使用,支持各種不同的通信方式,如WIFI和3G等,并支持前端存儲、智能事件搜索和點播等。
2、一體化智能攝像機:可以支持高清智能化應用、安裝簡單方便、設計緊湊、方便維護,在功能上大體與嵌入式智能視頻分析服務器相當。
3、多路混合型智能視頻分析服務器:具有強大的多路處理能力,可以同時進行模擬和數字視頻輸入信號的智能處理、支持對高清IP攝像機信號源的智能分析、支持多路球機的智能分析功能,內置車牌識別和PTZ跟蹤軟件。這種設備具備多路處理能力而大大提供了性價比,并且支持模數混合型的智能化處理,對于工程商而言,在處理混合型監(jiān)控系統(tǒng)的智能升級時具有不可比擬的優(yōu)越性。同時由于連接了眾多類型的設備,使得這些設備之間的融合變得簡單容易,對于諸如跨越場景的跟蹤、多路視頻的實時拼接、協(xié)同式智能工作模式的支持具有非常良好的效果。
當提出一個系統(tǒng)解決方案的時候,必然要考慮不同的硬件產品形態(tài)來獲得最終的產品功能、性價比、技術實現的可能性等。
從系統(tǒng)構架看解決方案
一個良好的解決方案,需要從如下的幾個方面考慮系統(tǒng)構架可能涉及的技術與產品形態(tài)的選擇。
第一,前端智能還是后端智能?
前端智能分析具有很強的優(yōu)勢,比如可以支持前端存儲,無需進行圖像的遠程傳輸,并因此可以對圖像進行高質量的前端存儲,如果用戶需要獲得圖像信息,則可以通過分布式事件搜索完成,并通過點播獲得高質量現場畫面。更重要的一點是,前端智能分析讓每個獨立的分析單元可以成為單獨的智能監(jiān)控單元,即使整個系統(tǒng)的網絡都癱瘓了,這些獨立的前端單元還可以繼續(xù)獨立工作、進行存儲和報警,避開了系統(tǒng)網絡通信癱瘓所帶來的監(jiān)控癱瘓的風險。
后端存儲往往將智能視頻分析功能嵌入在平臺軟件上,雖然這種方式可以通過以比較低成本的方式來輪詢進行智能視頻分析,但是有兩個較為嚴重的問題:要在后端進行智能視頻分析就必須對前端傳來的圖像進行解壓再分析,這個過程占用了大量的平臺軟件終端設備的資源,實際上并沒有降低成本,反而使得作為觀看與瀏覽圖像的平臺軟件運行終端運行效率大幅下降,甚至無法支持很多路的視頻解壓和顯示。
也因為如此,從圖像處理質量、智能分析的效率、實時性以及性價比上看,在后端進行大規(guī)模的智能視頻分析是不合理的。并且,視頻內容搜索時無法實現大規(guī)模場景下的視頻事件搜索,這和前端分布式存儲與搜索的理念是無法比擬的。因此后端智能分析的模式,只有在智能分析視頻路數較少、存儲和搜索規(guī)模要求不高的情況下才適合。
第二,DSP還是工控機?
智能算法在DSP和工控機上的實現各有優(yōu)勢,需要靈活選用。一方面DSP的實現方式非常緊湊、穩(wěn)定,而且在監(jiān)控點比較分散的時候具有非常高的性價比,安裝調試與維護都方便;另一方面,工控機平臺相對來說具有較為強大的運算能力,在硬件的設計與實現、智能算法的編程實現上相對容易很多,因此在多路分析、降低成本、運行復雜算法、支持高清分析等方面具有明顯的優(yōu)勢。但是工控機平臺在較為分散的監(jiān)控場合不是很合適,會失去成本優(yōu)勢,而且其穩(wěn)定性、散熱設計等都必須加以考慮。值得注意的是,工控機方式的實現,既可以在前端使用,也可以在后端使用。
第三,分布式存儲搜索與網絡存儲搜索
如前文所述,分布式存儲搜索與網絡存儲搜索相比來說,前者在圖像質量、搜索效率、帶寬成本上具有無法比擬的優(yōu)勢,但是對于那些具有專用通信系統(tǒng),無需擔心網絡帶寬的用戶來說,網絡中心存儲的方式具有較為安全的特點。
第四,一體化智能攝像機與嵌入式智能分析服務器。前文已經比較過這兩種不同的產品形態(tài)可以根據不同的需要出現在系統(tǒng)的構架中。
第五,球機的智能
球機的智能視頻分析功能一直是業(yè)界的一個難點,涉及到視覺技術中的運動計算以及智能廠家與球機廠家的技術開放與配合問題。球機的智能獲得解決之后,將大大促進智能應用的廣度和深度。大范圍、寬廣視野內進行智能化的應用成為可能,并且,復雜的跟蹤技術、自動獲取遠程目標的視覺內容細節(jié)等都可以順利實現。
第六,混合的智能處理
混合的智能處理,包括模擬與數字的混合、高清與標清的混合、固定攝像機與球機的混合、獨立分析與協(xié)同智能的混合。這對于工程商與集成商來說是非常重要的,因為在工程實現中,不同情況的混合非常常見,特別是對現有已建系統(tǒng)進行智能升級的時候這種需求特別明顯。
第七,高清與智能的結合
高清與智能的結合,是未來發(fā)展的主流,已經有不少廠家在高清攝像機上移植智能視頻分析模塊,在目前看來,CMOS高清智能設備在性價比上占有較強的優(yōu)勢,而基于CCD的高清設備內嵌智能視頻分析功能時,在性價比上難以滿足市場的需求。
第八,平臺軟件:智能視頻的專業(yè)化與行業(yè)化
沒有平臺軟件的支持,智能設備就不可能獲得大規(guī)模的工程應用,道理很簡單,如果用戶無法通過平臺軟件去操作智能設備的話,大的工程項目上就不會看到智能視頻分析技術與設備的影子!要想智能技術獲得大規(guī)模應用,它必須要和專業(yè)化與行業(yè)化的平臺軟件“聯姻”!
智能平臺軟件
兼容智能視頻分析技術與設備的軟件平臺可以通過兩種方式來實現:智能設備廠商研發(fā)專業(yè)化的平臺軟件、智能廠商向大型平臺軟件商提供整合方案與SDK。
智能設備廠商研發(fā)專業(yè)化的平臺軟件
從長遠來看,智能技術研發(fā)廠商必須要實現專業(yè)化平臺軟件的研發(fā),如果不能做到這一點,不但在市場上將會因為對第三方平臺軟件的依賴而陷入困境,而且難以迅速主動切入大規(guī)模應用的市場。
但現實的情況不容樂觀,目前大部分的智能設備研發(fā)廠家規(guī)模都比較小,資金與技術力量都難以支撐從頭開始做行業(yè)化的大型平臺軟件,而如果沒有大型項目的支撐,這些平臺軟件的研發(fā)和完善幾乎是不可能做到的。目前,一些領先的智能廠商,憑借強大的研發(fā)力量,以及良好的項目合作關系,已經開始了智能化平臺軟件的研發(fā)(圖1為智能交通平臺軟件示意圖)。
圖1 智能交通平臺軟件 [nextpage]
智能廠商向平臺軟件商提供整合方案與SDK
大型平臺軟件商難以接受智能廠商的平臺軟件,基于兩個重要原因:一是在技術上,大型平臺軟件往往經過了極長時間的研發(fā)和工程實踐,在應用上已經非常完善和成熟,并形成了較好的品牌; 二是在商務利益上,平臺軟件商難以接受智能廠商提出的另外一套價格。想想看,大型的非智能平臺軟件已經很昂貴,何況智能的平臺軟件?如果雙方合作,在智能設備與傳統(tǒng)的平臺軟件上實現互聯互通是雙贏與明智的選擇。
一般來說,智能廠商提出開放式的平臺整合方案比智能設備自身去兼容各家的平臺軟件要容易很多,以某智能設備廠商為例,開放式智能協(xié)議構架包括設備接入SDK、報警管理SDK、算法設置SDK、流媒體SDK(見圖2)。
圖2 智能視頻分析系統(tǒng)整合協(xié)議構架
設備接入SDK:提供智能前端向平臺軟件接入的標準通信方式與接口,往往與第三方平臺軟件的設備接入服務器進行對接。
報警管理SDK:提供基于智能分析結果的事件及報警信息的表達方式、數據描述方式、存儲與搜索模式等,往往與第三方平臺軟件的業(yè)務管理服務器進行對接。
算法設置SDK:提供智能算法不同的參數設置、與前端設備信號流的交換方式等內容,往往與第三方平臺軟件做直接的融合對接。
流媒體SDK:提供流媒體傳輸接收、解壓、存儲以及基于時間、地點和事件搜索的接口,往往與第三方平臺軟件做直接的融合對接。
深度智能研發(fā)
如果可以檢測車輛非法拐彎,而不能做車牌自動識別;如果看到有人入侵,但卻無法看到入侵者的相貌和身材;如果可以跟蹤一個對象,但是超越了一個攝像機場景之后就不能再進行持續(xù)性的跟蹤;如果可以檢測到人的流量,卻無法判斷是不是真正形成人流的堵塞這些都表明,如果沒有在各個行業(yè)中展開深入的智能應用研發(fā),現有的很多智能技術還只是“半吊子”,用戶將無法從智能技術中獲得完整的解決方案。以下來分析兩個典型的智能研發(fā)需求的實例。
一、人流堵塞程度檢測,這個功能在很多應用場合中廣泛應用,特別典型的是在地鐵中的應用。地鐵月臺或者過道,具有突然人流增加和高度堵塞的安全隱患。如果要在人流非常密集的地方做人數的精確統(tǒng)計是不現實的,因為不一定可以獲得理想的攝像機安裝位置,即使安裝位置比較理想,由于遮擋、粘連、長時間擁擠、局部人流變化等原因,將難以精確估算人流數量。同時業(yè)主可能對堵塞程度的關心遠遠大于人流密度,因為人流密度很高而保持通暢流動的時候表示會是一個可接受的安全范圍。因此必須把堵塞和密度兩種智能分析判斷做綜合性的檢驗,這部分的工作需要做深入的研發(fā)和現場調試才有可能滿足工程應用的需要。
二、圖像拼接與跨越場景的智能協(xié)同分析,這個功能在許多場合中有巨大的市場價值,特別是在平安城市的應用中。在寬廣的監(jiān)控地帶,如廣場、邊界、大樓門口、高速公路、大型十字路口等,一方面需要具備對寬廣視野的全局把握,另一方面用戶也希望對具備細節(jié)具有“無極放大”的能力,可以完成這個任務的一個技術方案就是使用多路圖像的實時拼接技術與協(xié)同式智能視頻分析技術來做應用整合,如圖3所示。
圖3 基于多路視頻全景拼接與協(xié)同式智能跟蹤
深度的智能研發(fā)需要具有獨立自主的研發(fā)能力,需要強大的團隊研發(fā)力量做保障。目前,大部分智能廠家還沒有實現智能設備與功能上的創(chuàng)新,還停留在入侵檢測、絆線、翻墻檢測等等。不過,一些有遠見和能力的行業(yè)領先者,如桂林遠望智能通信科技有限公司等也已經開始了最新技術的研發(fā)包括高清智能化、模數混合分析、協(xié)同式智能、 模式識別、復雜跟蹤、實時圖像融合等。當然,要想真正實現中國“智”造,還需要所有國內智能視頻分析廠家不斷分析用戶需求,從不同角度不斷深化智能技術的研發(fā)。