人工智能時(shí)代下,中國(guó)智慧視覺(jué)產(chǎn)業(yè)迎來(lái)發(fā)展機(jī)遇,根據(jù)艾瑞咨詢發(fā)布的《2020年中國(guó)人工智能產(chǎn)業(yè)研究報(bào)告III》,2020年我國(guó)智慧視覺(jué)核心產(chǎn)品的市場(chǎng)規(guī)模占整個(gè)人工智能行業(yè)的57%,達(dá)到862.1億元。一款高性能、高能效比、低成本的端側(cè)智能視覺(jué)芯片,是各類應(yīng)用所需要的。
在日前舉辦的第十一屆松山湖中國(guó) IC 創(chuàng)新高峰論壇上,時(shí)擎智能科技帶來(lái)了自主研發(fā)的新一代 RISC-V架構(gòu)的端側(cè)智慧視覺(jué)芯片 AT5055。
時(shí)擎智能科技(上海)有限公司總裁于欣
據(jù)時(shí)擎智能科技總裁于欣介紹,AT5055搭載時(shí)擎科技自研RV32 IMCF的TM800處理器@800MHz,2.3DMIPS/MHZ,3.8 CoreMark/MHz;存儲(chǔ)上32-bit DDR2/DDR3,安全支持AES/ECC/SHA/TRNG/OTP,支持安全啟動(dòng);具備Ethernet/USB/SDIO/UART/I2C/SPI/ADC/PWM等外設(shè)。封裝規(guī)格為QFN128,12mm x 12mm,合封DDR。
AI能力上,搭載Timesformer Bumblebee 600V處理器,完成整網(wǎng)神經(jīng)網(wǎng)絡(luò)處理,包括前處理、后處理,無(wú)需額外CPU輔助,減少調(diào)度、通信開(kāi)銷。更豐富、靈活的算子,減少CPU操作。通過(guò)向量加速、專用處理器進(jìn)一步提升卷積以外的性能。支持權(quán)重、數(shù)據(jù)壓縮和靜態(tài)/動(dòng)態(tài)數(shù)據(jù)流調(diào)度。節(jié)省DDR帶寬,提高數(shù)據(jù)搬運(yùn)效率。
超高硬件利用率,僅以0.6T算力即可支持競(jìng)品需要1T以上算力的實(shí)時(shí)人臉檢測(cè)、人形檢測(cè)等典型應(yīng)用,同時(shí)支持各類主流網(wǎng)絡(luò)結(jié)構(gòu)和各類神經(jīng)網(wǎng)絡(luò)后處理tensorflow/pytorch框架以及CV圖像處理和語(yǔ)音聲學(xué)前處理DSP算法。
多媒體處理上,AT5055支持雙目視覺(jué)的完整視頻通路,包括支持TOF sensor及TOF ISP,可應(yīng)用于各類3D視覺(jué)應(yīng)用;高性能ISP、H.265視頻編解碼和1080P顯示的解決方案,支持4+2麥克風(fēng)陣列,并內(nèi)置多麥降噪和本地語(yǔ)音識(shí)別算法。另外,AT5055支持多路mipi/dvp的圖像傳感器輸入的數(shù)據(jù)通路,根據(jù)Sensor類型和應(yīng)用需求進(jìn)行靈活組合,滿足雙目視覺(jué),活體檢測(cè)等各類應(yīng)用需求。提供豐富的輸出顯示支持,適配3-10寸各類MIPI/RGB接口的主流屏幕,適配HDMI圖像調(diào)試接口。
在ISP圖像處理中,如果采用傳統(tǒng)單幀寬動(dòng)態(tài)技術(shù),sensor輸出高bit數(shù)據(jù)全局映射到低比特輸出,可以大幅改善高對(duì)比度場(chǎng)景以及夜晚暗部場(chǎng)景的亮度表現(xiàn),同時(shí)不會(huì)引入太多色彩噪聲。
如果采用單幀非局部去噪方法。先使用本幀內(nèi)像素匹配形成基礎(chǔ)噪聲估計(jì),再通過(guò)原圖和基礎(chǔ)估計(jì)進(jìn)行更細(xì)致的去噪。可以大幅改善夜晚等暗光場(chǎng)景的亮度表現(xiàn)、
使用基于場(chǎng)景的調(diào)色模塊,可以在識(shí)別場(chǎng)景語(yǔ)義的先驗(yàn)信息的情況下,智能的調(diào)節(jié)WB、AE、LUT等參數(shù),達(dá)到輸出影像級(jí)的色彩效果。
如使用基于場(chǎng)景的暗光增強(qiáng)模塊,在不顯著增加噪聲的情況下,大幅提升圖像觀感。使用豐富的訓(xùn)練場(chǎng)景,可以使ISP在暗光增強(qiáng)的同時(shí),學(xué)習(xí)特殊的色彩風(fēng)格。
對(duì)比傳統(tǒng)多處理器開(kāi)發(fā)方案,時(shí)擎科技基于全部自研的RISC-V處理器可以提供“一站式”開(kāi)發(fā)環(huán)境大幅簡(jiǎn)化異構(gòu)芯片編程、調(diào)試,提高開(kāi)發(fā)效率,無(wú)需開(kāi)發(fā)者過(guò)多關(guān)注異構(gòu)多核之間的通信交互和任務(wù)調(diào)度。
于欣表示,市面上大多數(shù)芯片廠商需要license第三方的算法以及第三方的IP, 算法適配時(shí)開(kāi)發(fā)效率低下,甚至無(wú)法有效發(fā)揮硬件性能。而時(shí)擎芯片+處理IP全自研可以大幅提高算法、方案開(kāi)發(fā)效率并充分發(fā)揮芯片性能。
功耗設(shè)計(jì)上,AT5055 具有uA級(jí)的待機(jī)功耗,配合RTOS的系統(tǒng)快速啟動(dòng)方案,可以支持各類電池供電的設(shè)備;支持包括人聲(VAD)喚醒,RTC喚醒,GPIO喚醒等多樣的喚醒模式,支持多級(jí)喚醒,適配不同場(chǎng)景的喚醒要求;多電源域設(shè)計(jì)支持6個(gè)主要電源域,可以根據(jù)不同應(yīng)用不同需求組合出最優(yōu)的功耗管理方案;定制的LDO、PowerSwitch。超低漏電IO、VAD等專用Macro,在底層進(jìn)行功耗的精細(xì)控制。
時(shí)擎智能科技(上海)有限公司 (Timesintelli Technology) 成立于2018年,是一家專注于自然人機(jī)交互的端側(cè)智能芯片提供商,成立以來(lái)先后獲得過(guò)SIG海納亞洲、浦東科創(chuàng)等知名投資機(jī)構(gòu)的投資。
時(shí)擎科技致力于從落地場(chǎng)景的需求出發(fā),通過(guò)架構(gòu)創(chuàng)新和定制化芯片設(shè)計(jì),為廣泛的端側(cè)設(shè)備提供支持語(yǔ)音、視覺(jué)、影像、顯示等多模態(tài)智能人機(jī)交互和數(shù)據(jù)處理的芯片產(chǎn)品及完整的系統(tǒng)級(jí)解決方案。