自動(dòng)駕駛需要用到多種傳感器，比如攝像頭、毫米波雷達(dá)、激光雷達(dá)以及超聲波雷達(dá)。不同傳感器的工作原理不同所以它們產(chǎn)生的數(shù)據(jù)類型也不一樣。

如果車輛在自動(dòng)駕駛過程中發(fā)現(xiàn)前面飄來一個(gè)塑料袋，攝像頭可能會(huì)識(shí)別出它是個(gè)塑料袋或者白色的皮球，甚至是白色的飛鳥(如果光線不好)，而毫米波雷達(dá)很可能會(huì)認(rèn)為它是個(gè)石頭或者相同尺寸的障礙物。

這時(shí)候不同傳感器發(fā)出了截然相反的指令，攝像頭建議減速而雷達(dá)建議緊急制動(dòng)。兩個(gè)互相沖突的指令必須引入第三個(gè)傳感器介入打破平衡，或根據(jù)系統(tǒng)預(yù)設(shè)優(yōu)先級(jí)直接判定緊急制動(dòng)。

但無論哪一種方案，都不是自動(dòng)駕駛最優(yōu)的解決方案。因?yàn)閺?fù)雜的邏輯判定流程會(huì)造成延遲以及算力的浪費(fèi)，甚至不必要的執(zhí)行動(dòng)作，而這還僅僅是一個(gè)塑料袋。如果兩個(gè)塑料袋飄過來，就是兩倍的工作量。

這就是目標(biāo)數(shù)據(jù)融合的尷尬。

而原始數(shù)據(jù)融合則是所有傳感器直接描繪完整環(huán)境，事實(shí)運(yùn)算并對(duì)每個(gè)像素進(jìn)行動(dòng)態(tài)信息標(biāo)注。根據(jù)塑料袋的動(dòng)態(tài)方式計(jì)算出它的重量，直接得到它是塑料袋這個(gè)答案，并配合做出相應(yīng)駕駛動(dòng)作。原始數(shù)據(jù)融合能夠在使用更少能源(和計(jì)算)的情況下，以更高的分辨率探測(cè)環(huán)境。當(dāng)來自不同傳感器的所有原始數(shù)據(jù)在處理之前被混合在一起時(shí)，深度神經(jīng)網(wǎng)絡(luò)(DNN)可以創(chuàng)建一個(gè)更完整的環(huán)境圖像。

這里說一下行業(yè)中比較有代表性的公司方便大家理解傳感融合公司的產(chǎn)品模式和服務(wù)對(duì)象。以色列的初創(chuàng)公司VAYAVISION就是一家提供自動(dòng)駕駛車輛原始數(shù)據(jù)融合和感知軟件解決方案的供應(yīng)商，2018年10月這家公司拿到了800萬美元的融資(投資方包括三菱HFJ金融、LG電子等)，該公司2019年5月于EcoMotion智能交通峰會(huì)上展示了其最新的自動(dòng)駕駛環(huán)境感知軟件VAYADrive 2.0。

該軟件對(duì)距離傳感器進(jìn)行稀疏采樣，并將距離信息分配給高分辨率相機(jī)圖像中的每個(gè)像素。這使得自動(dòng)駕駛汽車能夠接收到關(guān)于物體大小和形狀的關(guān)鍵信息，能夠?qū)⒌缆飞系拿恳粋€(gè)小障礙物分開，并準(zhǔn)確地定義道路上的車輛、人和其他物體的形狀。

在 UBC 研究員設(shè)計(jì)了水凝膠傳感器，其中包含不同大小的正離子和負(fù)離子的鹽。他和 UBC 物理和化學(xué)系的合作者應(yīng)用磁場(chǎng)來精確跟蹤當(dāng)向傳感器施加壓力時(shí)離子是如何移動(dòng)的。

“當(dāng)對(duì)凝膠施加壓力時(shí)，該壓力會(huì)以不同的速度分散液體中的離子，從而產(chǎn)生電信號(hào)。通常較小的正離子比較大的負(fù)離子移動(dòng)得更快。這會(huì)導(dǎo)致離子不均勻產(chǎn)生電場(chǎng)的分布，這就是壓電傳感器工作的原因。”

研究人員說，這一新知識(shí)證實(shí)了水凝膠的工作方式與人類檢測(cè)壓力的方式相似，這也是通過移動(dòng)離子來響應(yīng)壓力，激發(fā)了離子皮膚的潛在新應(yīng)用。

“顯而易見的應(yīng)用是制造直接與細(xì)胞和神經(jīng)系統(tǒng)相互作用的傳感器，因?yàn)殡妷?、電流和響?yīng)時(shí)間就像跨細(xì)胞膜的那些，”UBC 應(yīng)用科學(xué)學(xué)院電氣和計(jì)算機(jī)工程教授 Madden 博士說. “當(dāng)我們將傳感器連接到神經(jīng)時(shí)，它會(huì)在神經(jīng)中產(chǎn)生信號(hào)。反過來，神經(jīng)會(huì)激活肌肉收縮?！?/p>

“你可以想象一個(gè)覆蓋著離子皮膚的假肢。皮膚通過觸摸或壓力感知物體，通過神經(jīng)將信息傳遞給大腦，然后大腦激活提升或握住物體所需的馬達(dá)。進(jìn)一步傳感器皮膚和神經(jīng)接口的開發(fā)，這種仿生接口是可以想象的?！?/p>

另一個(gè)應(yīng)用是佩戴在皮膚上的軟水凝膠傳感器，它可以監(jiān)測(cè)患者的生命體征，同時(shí)完全不顯眼并自行發(fā)電。

說完以上的傳感器，我們?cè)賮碚f說攝像頭。攝像頭——也即是鏡頭，也分為很多類型，比如不同的廠商使用的鏡頭卡口完全不同，比如佳能單反是EF卡口，佳能微單是RF卡口，尼康微單是Z卡口，尺寸都不一樣。

不僅鏡頭卡口有區(qū)別，而且鏡頭的光圈也有恒定光圈和可變光圈，鏡頭的焦距有定焦和變焦，而且不管是定焦還是變焦，又分為超廣角鏡頭、廣角、中焦以及長焦以及魚眼鏡頭等。而且同樣的焦段同樣的畫幅尺寸，有些鏡頭有防抖性能和自動(dòng)對(duì)焦性能，有些則沒有。

而從鏡頭的材料來看，鏡頭也分為多種，比如說低端鏡頭多數(shù)都是樹脂鏡頭，比如一些國產(chǎn)學(xué)生數(shù)碼相機(jī)用的就是樹脂鏡頭，而比較高級(jí)的鏡頭主要以優(yōu)質(zhì)光學(xué)玻璃為主，還要有相當(dāng)高級(jí)的加工技術(shù)。

從構(gòu)成鏡頭的鏡片形狀來看，有球面鏡頭，還有非球面鏡，用于減少散光和畸形，從而矯正成像。 而且有些鏡頭還有鍍膜技術(shù)，可以有效提升影像品質(zhì)。而且不同的鏡頭解析度和分辨率也不同，通常用“ lp/ mm”(一毫米內(nèi)能分清的黑白線對(duì)數(shù))來表示。如果你使用了低解析度和低分辨率的鏡頭，即便使用高質(zhì)量高像素的影像傳感器也無法發(fā)揮其優(yōu)勢(shì)，拍出來的畫質(zhì)就會(huì)大打折扣。