ObjectNet是由MIT和IBM研究人員創(chuàng)建的照片數(shù)據(jù)集,它以不同的角度顯示對象,并具有不同的背景,以更好地表示3D對象的復(fù)雜性。研究人員希望數(shù)據(jù)集能夠帶來在現(xiàn)實生活中表現(xiàn)更好的新計算機視覺技術(shù)。
圖片來源:麻省理工學(xué)院
計算機視覺模型已經(jīng)學(xué)會了準(zhǔn)確地識別照片中的對象,從而使某些對象在某些數(shù)據(jù)集上的表現(xiàn)優(yōu)于人類。但是,當(dāng)那些相同的物體檢測器在現(xiàn)實世界中變得松懈時,它們的性能會明顯下降,這會給自動駕駛汽車和其他使用機器視覺的對安全至關(guān)重要的系統(tǒng)帶來可靠性方面的擔(dān)憂。
為了彌合這種性能差距,麻省理工學(xué)院和IBM研究人員組成的團隊著手創(chuàng)建一種非常不同的對象識別數(shù)據(jù)集。它被稱為ObjectNet,是ImageNet上的一部戲,ImageNet是眾包的照片數(shù)據(jù)庫,負(fù)責(zé)引發(fā)現(xiàn)代人工智能的繁榮。
與ImageNet具有從Flickr和其他社交媒體網(wǎng)站拍攝的照片不同,ObjectNet具有由付費自由職業(yè)者拍攝的照片。顯示的對象是側(cè)面傾斜的,以奇數(shù)角度拍攝,并顯示在雜亂的房間中。當(dāng)在ObjectNet上測試領(lǐng)先的對象檢測模型時,其準(zhǔn)確率從ImageNet上的97%的高位下降到50-55%。
麻省理工學(xué)院計算機科學(xué)與人工智能實驗室(CSAIL)和腦,腦與機器中心(CBMM)的研究科學(xué)家鮑里斯·卡茨(Boris Katz)說:“我們創(chuàng)建了這個數(shù)據(jù)集來告訴人們對象識別問題仍然是一個難題?!??!拔覀冃枰?,更智能的算法。” Katz和他的同事將在神經(jīng)信息處理系統(tǒng)會議(NeurIPS)上介紹ObjectNet及其結(jié)果。
深度學(xué)習(xí)是推動AI最新發(fā)展的技術(shù),它使用人工“神經(jīng)元”層在大量原始數(shù)據(jù)中查找模式。在訓(xùn)練了數(shù)百至數(shù)千個示例之后,它學(xué)會在照片中挑選椅子。但是,即使具有數(shù)百萬個圖像的數(shù)據(jù)集也無法以每個可能的方向和設(shè)置顯示每個對象,這在模型在現(xiàn)實生活中遇到這些對象時也會造成問題。
ObjectNet在另一個重要方面與常規(guī)圖像數(shù)據(jù)集不同:它不包含訓(xùn)練圖像。大多數(shù)數(shù)據(jù)集都分為用于訓(xùn)練模型和測試其性能的數(shù)據(jù)。但是訓(xùn)練集通常與測試集有著細微的相似之處,實際上使模型在測試時達到了潛行高峰。
乍看之下,擁有 1400萬張圖像的ImageNet看起來是巨大的。但是,如果不包括訓(xùn)練集,則其大小可與ObjectNet媲美(50,000張照片)。
研究合著者CSAIL和CBMM的研究作者Andrei Barbu說:“如果我們想知道算法在現(xiàn)實世界中的表現(xiàn)如何,我們應(yīng)該在無偏見且從未見過的圖像上對其進行測試。” 。
試圖捕獲現(xiàn)實世界對象的復(fù)雜性的數(shù)據(jù)集
很少有人會考慮與他們的朋友分享ObjectNet的照片,這就是重點。研究人員從Amazon Mechanical Turk聘請了自由職業(yè)者,為數(shù)百張隨機擺放的家用物品拍照。工人們在應(yīng)用程序上收到了照片分配,并帶有動畫說明,告訴他們?nèi)绾味ㄏ蚍峙涞膶ο?,從哪個角度拍攝以及是否將對象擺放在廚房,浴室,臥室或客廳中。
他們希望消除三個常見的偏見:正面朝上,在標(biāo)志性位置和高度相關(guān)的設(shè)置中顯示的對象,例如廚房中堆疊的盤子。
花費了三年的時間來構(gòu)思數(shù)據(jù)集并設(shè)計一個可標(biāo)準(zhǔn)化數(shù)據(jù)收集過程的應(yīng)用程序。研究合著者,麻省理工學(xué)院電氣工程和計算機科學(xué)系研究生David Mayo說:“發(fā)現(xiàn)如何以控制各種偏差的方式收集數(shù)據(jù)是非常棘手的?!?“我們還必須進行實驗,以確保我們的指示清晰明了,并確保工人確切知道他們的要求?!?/p>
又花了一年的時間收集實際數(shù)據(jù),最后,由于不符合研究人員的要求,所有自由職業(yè)者提交的照片中有一半被丟棄了。為了提供幫助,一些工人在他們的物體上添加了標(biāo)簽,將它們放在白色背景上,或者試圖改善分配給他們拍攝的照片的美觀性。
許多照片是在美國以外拍攝的,因此,有些物體可能看起來很陌生。成熟的橘子是綠色的,香蕉的大小不同,衣服的形狀和質(zhì)地也各不相同。
Object Net與ImageNet:領(lǐng)先的對象識別模型的比較
當(dāng)研究人員在ObjectNet上測試最新的計算機視覺模型時,他們發(fā)現(xiàn)ImageNet的性能下降了40-45個百分點。研究人員說,結(jié)果表明,物體檢測器仍然難以理解物體是三維的并且可以旋轉(zhuǎn)并移動到新的環(huán)境中。研究合著者,IBM研究人員Dan Gutfreund說:“這些概念并未內(nèi)置在現(xiàn)代物體檢測器的體系結(jié)構(gòu)中?!?/p>
為了證明ObjectNet很難精確地歸因于如何查看和定位對象,研究人員允許模型訓(xùn)練ObjectNet數(shù)據(jù)的一半,然后再對其余一半進行測試。在同一數(shù)據(jù)集上進行訓(xùn)練和測試通??梢蕴岣咝阅?,但此處的模型僅稍有改善,這表明對象檢測器尚未完全理解現(xiàn)實世界中對象的存在方式。
自2012年以來,計算機視覺模型已逐步得到改善,當(dāng)時稱為AlexNet的物體檢測器在年度ImageNet競賽中擊敗了比賽。隨著數(shù)據(jù)集變得越來越大,性能也得到了提高。
但是研究人員警告說,設(shè)計更大版本的ObjectNet并增加視角和方向并不一定會帶來更好的結(jié)果。ObjectNet的目的是激勵研究人員提出下一波革命性技術(shù),就像ImageNet挑戰(zhàn)最初的啟動一樣。
卡茲說:“人們?yōu)檫@些探測器提供了大量數(shù)據(jù),但是回報卻在減少?!? “您不能從任何角度和每種情況下查看一個對象。我們希望這個新的數(shù)據(jù)集將產(chǎn)生強大的計算機視覺,而不會在現(xiàn)實世界中造成令人驚訝的故障。”
注:本文編譯自外網(wǎng)