繼神經(jīng)網(wǎng)絡(luò)推理框架ncnn、TNN，動(dòng)作檢測(cè)算法DBG，通用目標(biāo)檢測(cè)算法OSD，人臉檢測(cè)算法DSFD、人臉屬性算法FAN等眾多優(yōu)秀的框架、算法開(kāi)源后，騰訊優(yōu)圖實(shí)驗(yàn)室又有一項(xiàng)人臉識(shí)別算法研究項(xiàng)目——TFace正式擁抱開(kāi)源。

　　項(xiàng)目背景

　　TFace是由騰訊優(yōu)圖實(shí)驗(yàn)室研發(fā)的人臉識(shí)別算法研究項(xiàng)目，其中TFace中的T意為“trusty”，表達(dá)了團(tuán)隊(duì)在可信人臉識(shí)別技術(shù)方向上的愿景。

　　人臉識(shí)別算法是指在檢測(cè)到人臉并定位面部關(guān)鍵特征點(diǎn)之后，裁剪出主要的人臉區(qū)域，并經(jīng)過(guò)預(yù)處理后饋入后端的識(shí)別算法。因?yàn)橛兄奖阌押谩⒁子诮邮?、不易偽造等一系列?yōu)點(diǎn)，在過(guò)去30多年里，人臉識(shí)別一直都是人工智能領(lǐng)域的研究熱點(diǎn)。并被廣泛應(yīng)用在公共安全、身份驗(yàn)證、門禁考勤、金融支付等領(lǐng)域。隨著人臉識(shí)別技術(shù)的大規(guī)模應(yīng)用，進(jìn)入“看臉時(shí)代”的同時(shí)，人臉識(shí)別也正在一步步向著“可信”發(fā)展。

　　基于可信人臉識(shí)別的理念，TFace重點(diǎn)關(guān)注人臉識(shí)別領(lǐng)域的四個(gè)研究方向：精準(zhǔn)、公平、可解釋以及隱私。經(jīng)過(guò)多年的行業(yè)實(shí)戰(zhàn)經(jīng)驗(yàn)，優(yōu)圖在每個(gè)方向都積累了大量硬核技術(shù)，其中很多提煉后作為學(xué)術(shù)成果發(fā)表在相關(guān)頂級(jí)CV會(huì)議中。為了方便研究人員快速?gòu)?fù)現(xiàn)我們的工作，已發(fā)表文章的代碼全部在TFace中開(kāi)源;

　　在研究工作開(kāi)展的過(guò)程中，我們開(kāi)發(fā)了一套成熟的算法訓(xùn)練和測(cè)試框架，框架主要由數(shù)據(jù)增強(qiáng)、骨干網(wǎng)絡(luò)模型庫(kù)、模型評(píng)估、訓(xùn)練范式等高度抽象化模塊組成，通過(guò)簡(jiǎn)單的修改配置文件就可以開(kāi)展相應(yīng)的實(shí)驗(yàn)，支持多種骨干網(wǎng)絡(luò)結(jié)構(gòu)和heads,復(fù)現(xiàn)了學(xué)術(shù)界主流的SOTA方法和效果，同時(shí)也利用工業(yè)界主流的推理框架測(cè)試了不同模型的推理耗時(shí)。

　　1、在數(shù)據(jù)預(yù)增強(qiáng)模塊中，除了傳統(tǒng)的圖像處理操作外，針對(duì)困難場(chǎng)景下識(shí)別精度低這一難題，TFace采用從2D和3D兩條路線進(jìn)行數(shù)據(jù)增強(qiáng)，目前已開(kāi)放2D數(shù)據(jù)增強(qiáng)代碼，可以擴(kuò)增成戴口罩、戴眼鏡、戴頭巾等樣本，后續(xù)TFace也會(huì)逐漸開(kāi)放對(duì)于光線、表情、姿態(tài)這些細(xì)粒度屬性的3D增強(qiáng)代碼;

　　2、在骨干網(wǎng)絡(luò)模型庫(kù)中，TFace實(shí)現(xiàn)了十余種學(xué)術(shù)界常見(jiàn)的人臉識(shí)別提特征網(wǎng)絡(luò)結(jié)構(gòu)，可以滿足終端和后臺(tái)等常用場(chǎng)景下的耗時(shí)需求;

　　3、模型評(píng)估模塊主要包括了推理耗時(shí)評(píng)估和精度評(píng)估，推理耗時(shí)評(píng)估主要測(cè)試了不同模型在X86 CPU,ARM CPU,GPU具體設(shè)備上的推理速度，精度評(píng)估主要提供了在常見(jiàn)學(xué)術(shù)測(cè)試集上的評(píng)估工具以及不同模型的結(jié)果，這些可以供開(kāi)發(fā)者選擇模型結(jié)構(gòu)時(shí)參考;

　　4、在訓(xùn)練范式上，TFace支持常見(jiàn)的數(shù)據(jù)并行+模型并行以及混合精度訓(xùn)練，提升大規(guī)模訓(xùn)練的效率，支持多數(shù)據(jù)分支訓(xùn)練，采用類似多任務(wù)學(xué)習(xí)的方式同時(shí)訓(xùn)練多個(gè)數(shù)據(jù)集，提升模型的精度，此外TFace后續(xù)將會(huì)開(kāi)放量化感知訓(xùn)練、模型蒸餾、聯(lián)邦訓(xùn)練等代碼。

　　算法介紹(CurricularFace)

　　一種用于人臉識(shí)別基礎(chǔ)模型訓(xùn)練的損失函數(shù)，發(fā)表于CVPR2020，主要的思路是將課程學(xué)習(xí)的思想結(jié)合到常用的人臉識(shí)別損失函數(shù)，訓(xùn)練過(guò)程中自動(dòng)挖掘困難樣本，先易后難漸進(jìn)學(xué)習(xí)，提升識(shí)別模型訓(xùn)練魯棒性及難樣本識(shí)別性能。

　　DDL

　　一種用于提升特定場(chǎng)景下人臉識(shí)別性能的方法，發(fā)表于ECCV2020，主要的思路是針對(duì)某一特定場(chǎng)景的難樣本，為其尋找一個(gè)合適的教師場(chǎng)景，通過(guò)拉近兩種場(chǎng)景下的人臉相似度分布，從而提升該場(chǎng)景下困難樣本的識(shí)別性能。

　　CIFP

　　提升個(gè)體識(shí)別公平性的方法，發(fā)表于CVPR2021，提出了基于誤報(bào)率懲罰的損失函數(shù)，即通過(guò)增加實(shí)例誤報(bào)率(FPR)的一致性來(lái)減輕人臉識(shí)別偏差。

　　SDD-FIQA

　　一種基于人臉識(shí)別相似度分布的無(wú)監(jiān)督人臉質(zhì)量評(píng)估方法，發(fā)表于CVPR2021，通過(guò)計(jì)算同人和非同人相似度分布的韋氏距離作為目標(biāo)圖像的質(zhì)量分偽標(biāo)簽，最終通過(guò)圖像+質(zhì)量偽標(biāo)簽訓(xùn)練得到質(zhì)量分模型。

　　SCF

　　一種基于人臉特征置信度的人臉識(shí)別方法，發(fā)表于CVPR2021,核心思想包含兩點(diǎn)：a.將人臉樣本特征從確定向量升級(jí)為概率分布，從而獲得額外刻畫樣本識(shí)別置信度的能力;b.提出適配于超球流形r-radius von Mises Fisher分布建模特征，理論可解釋性與方法收斂性較PFE更佳。

　　目前，TFace項(xiàng)目中的算法能力已應(yīng)用在內(nèi)外多個(gè)業(yè)務(wù)中，對(duì)內(nèi)廣泛支撐了騰訊內(nèi)部如微信，QQ中的身份識(shí)別需求，對(duì)外則通過(guò)騰訊云服務(wù)的形式，提供了ToC、ToB的相關(guān)能力，典型應(yīng)用案例如跨年齡尋人、人臉核身、刷臉支付等?，F(xiàn)在，TFace已在GitHub(https://github.com/Tencent/TFace)上正式開(kāi)源。