數(shù)智時代的安全風險

　　在安防行業(yè)，談起安全，人們自然會想到數(shù)據(jù)安全、傳輸安全、網(wǎng)絡安全等話題，但其實隨著安防行業(yè)進入智能化時代，人工智能安全已經(jīng)是行業(yè)目前必須面對的新挑戰(zhàn)。

　　近年來，在大算力和海量大數(shù)據(jù)的驅動下，以深度學習為代表的AI技術飛速發(fā)展，以計算機視覺技術為例，依托廣闊的應用場景從理論研究走向大規(guī)模的應用落地，人臉識別、目標檢測等技術被廣泛應用于公共安全、城市交通等領域，推動城市治理的智能化升級。

　　但在數(shù)據(jù)驅動智能化發(fā)展的背后，安全隱患也不容忽視。瑞萊智慧副總裁唐家渝指出，數(shù)據(jù)驅動的深度學習算法存在不可靠、不可解釋等局限性，即便是開發(fā)者也難以理解其內在的運行邏輯，這就導致系統(tǒng)可能遭受到難以被察覺的惡意攻擊。

　　McAfee曾做過一個實驗，針對護照的人臉識別系統(tǒng)進行攻擊，結合禁飛人員與正常飛行人員的特征，生成對抗樣本圖案，禁飛人員可憑包含這張生成的虛假照片的護照，順利通過人臉識別護照系統(tǒng)的檢測，順利登機。這種潛在漏洞在國內安防門禁、考勤系統(tǒng)和手機解鎖應用中同樣存在。

　　唐家渝表示，這是深度學習范式下AI應用存在的結構性缺陷，貫穿于AI全生命周期。除了在運行環(huán)節(jié)對輸入數(shù)據(jù)添加“擾動”，在最開始的模型設計環(huán)節(jié)，通過在訓練數(shù)據(jù)中添加“污染數(shù)據(jù)”進行“投毒”，導致模型被埋藏后門，再通過預先設定的觸發(fā)器激發(fā)后門，模型也將輸出事先設定的錯誤結果。

　　通過數(shù)據(jù)污染、惡意樣本攻擊等方式對算法進行深層次攻擊已經(jīng)成為趨勢，隨著AI技術尤其是計算機視覺技術的廣泛應用，這一安全風險的真實威脅開始顯現(xiàn)。例如，公共安全領域，視頻監(jiān)控、安檢閘機等智能安防設備被不法分子攻擊，用于躲避追蹤、冒充他人等；交通領域，自動駕駛汽車被干擾“致盲”，引發(fā)安全事故等；在金融領域，線上銀行的人臉認證被破解，用于非法轉賬等詐騙行為。

　　唐家渝介紹，除了算法漏洞，“數(shù)據(jù)驅動”衍生的安全風險還遠不止于此。海量人臉數(shù)據(jù)被惡意采集、濫用，導致用戶隱私泄漏；泄露的人臉照片在表情驅動算法下生成偽造視頻，用于攻破人臉核驗系統(tǒng)等……如何有效應對人工智能安全風險，保障人工智能安全可控的應用落地成為行業(yè)未來發(fā)展的一項重要課題。

圖：AI版“隱身衣”演示

　　AI安全風險如何應對

　　隨著智能化場景的深入，人工智能的風險問題將更加的嚴峻。目前圍繞AI的核心要素與環(huán)節(jié)來看，算法的漏洞、數(shù)據(jù)的濫用、隱私的泄露，以及技術濫用等問題都日漸嚴峻。如此，圍繞算法、數(shù)據(jù)、應用等環(huán)節(jié)的AI治理問題也亟待解決。

　　針對以上問題，瑞萊智慧圍繞“算法可靠、數(shù)據(jù)安全、應用可控”三大方向展開布局，在算法方面，其推出了業(yè)內首個業(yè)務級人工智能安全平臺“RealSafe”，提供模型安全性測評及防御加固的端到端解決方案；在數(shù)據(jù)方面，其基于安全多方計算、聯(lián)邦學習、匿蹤查詢等技術打造了數(shù)據(jù)安全共享基礎平臺隱私保護計算平臺“RealSecure”；在應用治理領域，針對“AI換臉”等深度偽造技術濫用現(xiàn)象，瑞萊智慧推出深度偽造內容檢測平臺“DeepReal”，目前，該公司商業(yè)化產品已在政務、金融、能源、互聯(lián)網(wǎng)等領域落地。

　　唐家渝認為，人工智能應用是集業(yè)務、算法、數(shù)據(jù)于一體的有機整體，涉及訓練、檢驗、運行等生命周期階段，所以應面向所有關鍵流程，布局全面且有針對性地安全防御措施。同時他強調，人工智能安全攻防技術在快速演變過程中，新的攻擊手段不斷出現(xiàn)，除了要解決“近憂”，更要著眼于“遠慮”，對于未知威脅進行研判和防范，因此需打造動態(tài)升級、科學前瞻的防御理論及技術體系。

　　基于此，瑞萊智慧提出了兼顧“被動”和“主動”的防御機制。唐家渝解釋道，被動防御為AI應用部署靜態(tài)的安全能力，防范已知安全風險，比如對外部訪問、輸入數(shù)據(jù)、行為決策等進行檢測，為算法模型部署加固防護組件等，提升系統(tǒng)抵御攻擊的能力。主動防御則是為補充被動式防御的局限，引入和強化人工智能安全團隊力量，以動態(tài)防御對未知威脅進行風險預判，構建自適應、自生長的安全能力。

　　AI市場新賽道

　　AI安全是新興領域，雖然Google、Open AI、BAT等科技巨頭都有布局人工智能安全領域技術研究，但實際聚焦并將其商業(yè)化落地的企業(yè)寥寥無幾。

　　作為市場的先行者，唐家渝認為這個領域除了部署技術體系外，更需要框架指導、標準規(guī)范、法律合規(guī)等多個維度協(xié)同推進。據(jù)悉目前瑞萊智慧已經(jīng)與國家工信安全中心、中國信通院、國家互聯(lián)網(wǎng)應急中心、公安部第三研究所等單位開展合作，聯(lián)合落地標準制定、測試評估等工作，推動AI安全從“試點示范”走向“推廣應用”。

　　唐家渝表示，目前整個AI產業(yè)已經(jīng)從之前粗放式的高速發(fā)展進入到高質量發(fā)展的階段，隨著公眾對于AI安全性的關注度提升，以及監(jiān)管政策的出臺和引導，未來AI行業(yè)將是發(fā)展與治理協(xié)同的階段，如何保證AI應用的安全性是一個重要命題。安全AI這一新興領域，比如AI安全防火墻、基于隱私計算的人臉識別方案等會很快迎來爆發(fā)。

　　安博會期間，安防知識網(wǎng)等媒體與唐家渝進行了一次深度對話。本次訪談中，唐家渝談到AI安全的落地以及對AI產業(yè)的思考。

　　Q：整個展會看下來，瑞萊智慧非常的特殊，能否為我們簡單介紹下企業(yè)？

　　唐家渝：瑞萊智慧孵化自清華大學人工智能研究院，致力于提供基于第三代人工智能技術的AI基礎設施，加速安全、可靠、可信的產業(yè)智能化升級。核心聚焦安全AI領域，比如數(shù)據(jù)安全治理、算法可靠性提升，以及保障AI技術應用的安全可控。

　　Q：人工智能安全的最大挑戰(zhàn)是什么？

　　唐家渝：安全問題的本質是攻防較量，是對抗升級的過程，我們需要永遠比對手“快一步”。例如我們的AI防火墻能夠檢測到現(xiàn)有的一些新型攻擊，但是攻擊方也在不斷更新算法，一旦他們比我們更快找到了新的漏洞，如果不能及時防御，后果可能會比較嚴重。這個對抗博弈的過程非常艱辛，背后的技術投入與技術難度是非常大的，但也只有這樣才能制衡住對方。

　　Q：用戶如何評估瑞萊智慧安全解決方案的效果？

　　唐家渝：安全的評估難以完全量化，主要通過兩類場景來體現(xiàn)：一是用戶已經(jīng)遭受攻擊產生損失，利用我們的系統(tǒng)能夠將漏洞具體檢測出來，同時基于我們的方案避免類似的損失發(fā)生；二是如果有更加新型的攻擊方式出現(xiàn)，已經(jīng)部署我們系統(tǒng)的用戶通常能夠更早地發(fā)現(xiàn)風險以及抵御風險，降低損失。

　　Q：目前哪些用戶比較關心人工智能安全？

　　唐家渝：主要有三類，一是行業(yè)屬性對場景及業(yè)務安全性關注度較高的群體，例如銀行等金融機構，與財產安全直接掛鉤；二是國家重大基礎設施服務群體，例如電網(wǎng)，一旦有被攻擊的風險將造成國家重大財產損失和社會安全問題；最后是監(jiān)管類國家政府機構，因為部門職能要求，需要利用相應的技術工具對市面上的人工智能產品的安全性進行監(jiān)管與評測。這是目前比較典型的客戶群體，我們覺得，類似于互聯(lián)網(wǎng)時代網(wǎng)絡安全的出現(xiàn)，未來人工智能會像互聯(lián)網(wǎng)一樣，普及是未來趨勢，相應的人工智能安全應對也將成為必需。

　　Q：與互聯(lián)網(wǎng)安全廠商如360、奇安信等會有合作嗎，還是業(yè)務是各自分開的？

　　唐家渝：我們之間屬于合作的關系，人工智能安全與網(wǎng)絡安全相比，兩者針對的目標對象和風險類型是完全不同的，網(wǎng)絡安全主要是針對計算機網(wǎng)絡系統(tǒng)的安全防護，人工智能安全主要關注的是人工智能系統(tǒng)模型、數(shù)據(jù)、框架等方面的安全，兩者技術點與場景點是不一樣的。因此通過開展合作，各自發(fā)揮所長，推動全方位的安全服務落地。

　　Q：安防行業(yè)強調的安全是數(shù)據(jù)存儲與數(shù)據(jù)傳輸?shù)陌踩?，但瑞萊智慧強調的是用算法去推進安全的應用，對于傳統(tǒng)用戶而言，目前的接受程度如何？

　　唐家渝：現(xiàn)階段看，市場仍需要一個培育的過程，但部分領域的客戶已經(jīng)有這方面的意識。比如我們與公安客戶交流，他們對于人工智能安全必要性的認知還是非常高的。當前捕捉在逃嫌疑人的人臉識別系統(tǒng)、視頻結構化系統(tǒng)的識別算法會被一些不法分子繞過，因此針對這些安全系統(tǒng)的升級也迫在眉睫。同樣的，金融行業(yè)的用戶接受度也更高，雖然針對AI系統(tǒng)的攻擊仍是比較新的，但在利益的驅使下，已經(jīng)有不少黑產分子在利用這些技術手段實施攻擊，頭部的銀行客戶也正在我們的幫助下加速建立完善的人工智能安全體系。另外，我們除了布局算法安全外，也涉及數(shù)據(jù)安全領域，比如基于隱私計算的數(shù)據(jù)治理方案，為用戶提供全面的安全保障。

　　Q：瑞萊智慧這類型的企業(yè)出現(xiàn)，也意味著AI產業(yè)的野蠻生長已經(jīng)結束，開始進入理性化的階段，站在您的角度，如何看待AI企業(yè)未來的發(fā)展？

　　唐家渝：之前的安防展，AI企業(yè)展現(xiàn)的內容還大多聚焦在人臉識別與視頻結構化等應用，企業(yè)拼到最后也是在數(shù)據(jù)收集以及場景深耕上競爭。但今年來看的話，AI安全治理開始受到重視，隨著數(shù)據(jù)安全法、算法治理規(guī)范等相關條例的出臺，以及公眾輿論的討論，使用人臉識別產品的企業(yè)對安全問題的關注度越來越高，業(yè)界開始出現(xiàn)探索安全可信的AI方案，比如后端治理上，數(shù)據(jù)采集后的脫敏存儲、結合隱私計算的人臉識別方案等。從大環(huán)境來看，AI企業(yè)的算法效果的差異化已經(jīng)沒那么明顯了，未來市場的趨勢一定是在追求算法落地效果的基礎上要保障算法與數(shù)據(jù)的安全可控，這有助于整個AI產業(yè)的健康發(fā)展，同時對我們而言也是個利好的趨勢。

　　Q：除了公安，未來瑞萊智慧會切入其他安防場景，如交通、社區(qū)等場景嗎？

　　唐家渝：這些場景我們都有在布局，因為AI安全性問題屬于底層的通用問題，當前安全問題的產生源自于深度學習算法的結構性缺陷，我們首先切入公安的人臉識別場景是因為其應用最為廣泛，面臨的風險也最為嚴峻。但像智能交通的車牌識別、社區(qū)安防的人臉識別和ReID跟蹤等場景，同樣存在安全風險，我們也在跟這些領域的廠商與主管部門展開合作，共同推進相關場景的AI系統(tǒng)安全性升級。

　　Q：所有的智能化應用落地都會有困難，那么人工智能安全方案在落地之前會遇到挑戰(zhàn)嗎？

　　唐家渝：會的，核心是安全與效果之間的平衡，因為安全方案的引入，或多或少都會對系統(tǒng)的效果產生影響。舉一個例子，一些視頻結構化系統(tǒng)具有較好的識別效果，但同時容易被攻擊誤導，這種情況下，我們核心要突破的挑戰(zhàn)便是如何最大程度降低被惡意攻擊的概率，同時保證系統(tǒng)的識別效果盡可能不受影響，這需要我們對識別算法、攻防算法的技術理論以及實際的業(yè)務邏輯都要有深入的理解。