技術(shù)
導(dǎo)讀:在第26屆中國(guó)國(guó)際光電博覽會(huì)(CIOE 2025)上,聯(lián)合影像與日本新唐(Nuvoton Japan)聯(lián)合發(fā)布了全球首款RGB x TOF融合相機(jī),其以突破性的技術(shù)重構(gòu)3D視覺(jué)感知的底層邏輯。
當(dāng)色彩遇見(jiàn)深度,影像革命悄然開(kāi)啟。
在人工智能與物聯(lián)網(wǎng)深度融合的時(shí)代浪潮中,3D視覺(jué)技術(shù)正經(jīng)歷著從“感知”到“認(rèn)知”的跨越式進(jìn)化,已然站在了爆發(fā)的前夜。從智能手機(jī)的人臉識(shí)別到自動(dòng)駕駛的環(huán)境感知,從工業(yè)生產(chǎn)的質(zhì)量檢測(cè)到醫(yī)療行業(yè)的影像診斷,3D視覺(jué)的需求正呈現(xiàn)出指數(shù)級(jí)的增長(zhǎng)態(tài)勢(shì)。
3D視覺(jué):百億市場(chǎng)的增長(zhǎng)邏輯與技術(shù)困局
近年來(lái),隨著人工智能、物聯(lián)網(wǎng)等前沿科技的蓬勃發(fā)展,3D視覺(jué)感知技術(shù)迎來(lái)了前所未有的創(chuàng)新浪潮。它不斷突破傳統(tǒng)認(rèn)知的邊界,在精準(zhǔn)捕捉、快速處理以及清晰呈現(xiàn)等方面實(shí)現(xiàn)質(zhì)的飛躍,給影像領(lǐng)域帶來(lái)了翻天覆地的變化。
據(jù)Yole group統(tǒng)計(jì)數(shù)據(jù)顯示,2022年全球3D感知市場(chǎng)規(guī)模為82億美元。隨著智能駕駛、無(wú)人機(jī)、智能家居等應(yīng)用領(lǐng)域的蓬勃發(fā)展,預(yù)計(jì)到2028年,全球3D視覺(jué)感知市場(chǎng)規(guī)模將擴(kuò)張至172億美元,期間年復(fù)合增長(zhǎng)率達(dá)13.2%。
當(dāng)前,3D視覺(jué)正步入高速發(fā)展階段,在消費(fèi)電子、生物識(shí)別、機(jī)器人和汽車(chē)等眾多領(lǐng)域得到廣泛應(yīng)用。
然而繁榮背后,技術(shù)瓶頸如影隨形,制約著行業(yè)的進(jìn)一步發(fā)展。現(xiàn)有的3D視覺(jué)解決方案,在色彩與深度之間難以找到平衡。傳統(tǒng)RGB相機(jī)能夠捕捉豐富的色彩信息,提供高分辨率的彩色圖像,但卻缺乏物體的深度數(shù)據(jù),無(wú)法直接獲取物體的距離、形狀等三維信息;而ToF技術(shù)雖然可以獲取深度信息,卻會(huì)丟失色彩細(xì)節(jié);結(jié)構(gòu)光技術(shù)雖精度較高,但受限于短距離測(cè)量與復(fù)雜的光源設(shè)計(jì)。
更關(guān)鍵的是,現(xiàn)有的方案大多需要分別部署RGB傳感器和深度傳感器。這不僅推高了硬件成本,更帶來(lái)多設(shè)備同步時(shí)出現(xiàn)延遲、強(qiáng)光環(huán)境下深度精度衰減、多幀合成導(dǎo)致運(yùn)動(dòng)模糊、數(shù)據(jù)對(duì)齊存在偏差等問(wèn)題,成為制約3D視覺(jué)大規(guī)模普及的“最后一公里”障礙。
當(dāng)RGB遇見(jiàn)TOF,從二維到三維的跨越式突破
正是在這樣的行業(yè)背景下,一場(chǎng)由底層傳感器架構(gòu)革新所引發(fā)的產(chǎn)業(yè)變革,正在悄然上演。
日前,在第26屆中國(guó)國(guó)際光電博覽會(huì)(CIOE 2025)上,聯(lián)合影像與日本新唐(Nuvoton Japan)聯(lián)合發(fā)布了全球首款RGB x TOF融合相機(jī),其以突破性的技術(shù)重構(gòu)3D視覺(jué)感知的底層邏輯。
據(jù)介紹,這是一款無(wú)機(jī)械結(jié)構(gòu)的2D/3D傳感器,將長(zhǎng)距離、物體檢測(cè)和識(shí)別功能集成到一個(gè)傳感器中。同時(shí),該產(chǎn)品集成RGB高清成像與TOF深度感知能力,這標(biāo)志著聯(lián)合影像在視覺(jué)融合技術(shù)上的又一次重大突破。
RGB x TOF融合相機(jī)具備了一系列顯著優(yōu)勢(shì)。在抗干擾性能方面,其抗陽(yáng)光干擾能力極為出色。依托獨(dú)特的技術(shù)設(shè)計(jì),即便在陽(yáng)光照射以及高溫環(huán)境下,其深度精度誤差仍能控制在1%以?xún)?nèi),遠(yuǎn)超其他同類(lèi)產(chǎn)品。這一特性使得它在戶外強(qiáng)光等復(fù)雜光照?qǐng)鼍跋?,依舊能夠保持穩(wěn)定、精準(zhǔn)地工作狀態(tài),有效解決了傳統(tǒng)3D傳感器在強(qiáng)光下精度大幅下降的難題,無(wú)論是戶外3D重建,還是窗邊等陽(yáng)光直射場(chǎng)景下的深度檢測(cè),都能輕松應(yīng)對(duì)。
運(yùn)動(dòng)模糊抑制也是RGB x TOF融合相機(jī)的一大亮點(diǎn)。新唐的TOF傳感器基于其專(zhuān)利技術(shù),單幀即可生成1幅圖像并完成深度計(jì)算。而其他同類(lèi)產(chǎn)品往往需要4幀才能生成1幅圖像,多幀采集過(guò)程極易導(dǎo)致運(yùn)動(dòng)模糊現(xiàn)象的產(chǎn)生。相比之下,這款相機(jī)的單幀深度計(jì)算特性,使其運(yùn)動(dòng)模糊程度極低,尤其適用于快速運(yùn)動(dòng)物體的成像與檢測(cè)。例如,在節(jié)拍器深度圖像視頻測(cè)試中,成像無(wú)模糊且深度信息準(zhǔn)確,充分彰顯了其在動(dòng)態(tài)場(chǎng)景下的卓越性能。
在功耗與成本控制方面,RGB x TOF融合相機(jī)同樣有著優(yōu)異的表現(xiàn)。該產(chǎn)品內(nèi)置了深度計(jì)算功能,傳感器集成了圖像處理芯片(ISP),無(wú)需額外GPU支持,相較于其他同類(lèi)產(chǎn)品需在昂貴系統(tǒng)級(jí)芯片(SoC)上搭載GPU運(yùn)行ISP的方案,大大減少了對(duì)外部硬件的依賴(lài)。這不僅實(shí)現(xiàn)了低延遲、低功耗的運(yùn)行效果,還顯著降低了整體系統(tǒng)成本。
從核心技術(shù)層面深入剖析,RGB x TOF傳感器在像素布局與工作原理上也是獨(dú)具匠心。它采用RGB - IR(TOF)像素布局,分辨率為VGA(0.3 Mg像素),可同時(shí)輸出3D深度圖像、2D紅外圖像以及2D RGB圖像。在像素工作時(shí),光電二極管與臨時(shí)存儲(chǔ)單元緊密配合,單幀內(nèi)即可完成A0、A1、A2、A3信號(hào)的采集與處理,并直接輸出圖像。
此外,在光學(xué)設(shè)計(jì)方面,該傳感器也進(jìn)行了精心優(yōu)化。它采用灰色抗反射層抵消布線層漫反射,利用堆疊式深光電二極管抑制串?dāng)_,通過(guò)深溝槽隔離進(jìn)一步減少像素間信號(hào)串?dāng)_,從而實(shí)現(xiàn)了高調(diào)制傳遞函數(shù)(MTF),其紅外圖像MTF達(dá)到0.63 @74線對(duì)/毫米(LP/mm),細(xì)節(jié)還原能力更強(qiáng),為高精度AI識(shí)別與深度檢測(cè)提供了堅(jiān)實(shí)可靠的基礎(chǔ)。
全場(chǎng)景適配,解鎖三維視覺(jué)的無(wú)限潛能
RGB x TOF融合相機(jī)憑借其卓越的技術(shù)特性,展現(xiàn)出強(qiáng)勁的場(chǎng)景適配能力,精準(zhǔn)覆蓋多個(gè)領(lǐng)域的核心需求,在智能家居、工業(yè)自動(dòng)化、增強(qiáng)現(xiàn)實(shí)(AR)、無(wú)人駕駛等前沿場(chǎng)景中展現(xiàn)出巨大的應(yīng)用價(jià)值,為各行業(yè)的智能化升級(jí)注入強(qiáng)勁動(dòng)力。
在智能家居領(lǐng)域,RGB x TOF融合相機(jī)成為了掃地機(jī)器人、割草機(jī)、AGV等智能設(shè)備的理想視覺(jué)解決方案,前者借其集成化檢測(cè)、精準(zhǔn)識(shí)別與全天候工作能力提升清掃效率,后者憑高抗光干擾特性保障強(qiáng)光環(huán)境下的安全監(jiān)控。
在工業(yè)自動(dòng)化領(lǐng)域,RGB x TOF融合相機(jī)可助力精密裝配線零部件定位與機(jī)械臂高精度操作,大大提高了生產(chǎn)的一致性和穩(wěn)定性;也能為物流AGV提供智能導(dǎo)航避障支持,有效提升物流倉(cāng)儲(chǔ)的生產(chǎn)效率。
在增強(qiáng)現(xiàn)實(shí)(AR)領(lǐng)域,RGB x TOF融合相機(jī)憑借其快速精準(zhǔn)的環(huán)境識(shí)別能力與虛實(shí)融合能力,強(qiáng)化了AR應(yīng)用的沉浸式體驗(yàn)。
在無(wú)人駕駛領(lǐng)域,依托RGB x TOF融合相機(jī)強(qiáng)抗陽(yáng)光干擾的優(yōu)勢(shì),能夠?yàn)檐?chē)輛提供實(shí)時(shí)精準(zhǔn)的環(huán)境感知,輔助識(shí)別路況與障礙物,提升自動(dòng)駕駛的安全性,為無(wú)人駕駛技術(shù)的商業(yè)化落地提供了有力保障。
RGB x TOF融合相機(jī)以其全場(chǎng)景適配的能力,為智能家居、工業(yè)自動(dòng)化、增強(qiáng)現(xiàn)實(shí)(AR)、無(wú)人駕駛等多個(gè)領(lǐng)域帶來(lái)了創(chuàng)新解決方案,解鎖了三維視覺(jué)的無(wú)限潛能。
寫(xiě)在最后
從二維到三維,從“看見(jiàn)”到“理解”,聯(lián)合影像與新唐科技的跨界創(chuàng)新,不僅帶來(lái)一款產(chǎn)品的突破,更促進(jìn)了視覺(jué)技術(shù)從“功能實(shí)現(xiàn)”邁向“體驗(yàn)革命”的新階段。隨著技術(shù)的不斷發(fā)展和應(yīng)用場(chǎng)景的不斷拓展,RGB x TOF融合相機(jī)將在更多領(lǐng)域發(fā)揮重要作用,推動(dòng)各行業(yè)的智能化升級(jí)和變革。