人類級別的表現(xiàn)、人類級別的精度……在開發(fā)AI系統(tǒng)的企業(yè)中，我們經(jīng)常會聽到這類表述，其指向范圍則涵蓋人臉識別、物體檢測，乃至問題解答等各個方面。隨著機器學習與深度學習的不斷進步，近年來越來越多卓越的產(chǎn)品也開始將AI算法作為自身的實現(xiàn)基礎。

但是，這種比較往往只考慮到在有限數(shù)據(jù)集上對深度學習算法進行的測試結果。一旦貿(mào)然將關鍵性任務交付給AI模型，這種草率的考核標準往往會導致AI系統(tǒng)的錯誤期望，甚至可能產(chǎn)生危險的后果。

最近一項來自德國各組織及高校的研究，強調了對深度技術在視覺數(shù)據(jù)處理領域進行性能評估時所面臨的實際挑戰(zhàn)。研究人員們在這篇題為《人與機器的感知比較：眾所周知的難題》的論文中，著重指出了當前深度神經(jīng)網(wǎng)絡與人類視覺系統(tǒng)的識別能力比較方法存在的幾個重要問題。

在這項研究中，科學家們進行了一系列實驗，包括深入挖掘深度學習結果的深層內容，并將其與人類視覺系統(tǒng)的功能做出比較。他們的發(fā)現(xiàn)提醒我們，即使AI看似擁有與人類相近甚至已經(jīng)超越人類的視覺識別能力，我們仍然需要以謹慎的態(tài)度看待這方面結果。

人類與計算機視覺的復雜性

對于人類感知能力的基本原理，特別是重現(xiàn)這種感知效果的無休止探索當中，以深度學習為基礎的計算機視覺技術帶來了最令人稱道的表現(xiàn)。卷積神經(jīng)網(wǎng)絡（CNN）是計算機視覺深度學習算法中所常用的架構，能夠完成種種傳統(tǒng)軟件根本無法實現(xiàn)的高難度任務。

然而，將神經(jīng)網(wǎng)絡與人類感知進行比較，仍是一項巨大的挑戰(zhàn)。一方面是因為我們對人類的視覺系統(tǒng)乃至整個人類大腦還不夠了解，另一方面則是因為深度學習系統(tǒng)本身的復雜運作機制同樣令人難以捉摸。事實上，深度神經(jīng)網(wǎng)絡的復雜度之高，往往令創(chuàng)造者也對其感到困惑。

近年來，大量研究試圖評估神經(jīng)網(wǎng)絡的內部工作原理，及其在處理現(xiàn)實情況中表現(xiàn)出的健壯性。德國研究人員們在論文中寫道，“盡管進行了大量研究，但對人類感知與機器感知能力進行比較，仍然極度困難?！?/p>

在此次研究中，科學家們主要關注三個核心領域，借此評估人類與深度神經(jīng)網(wǎng)絡究竟如何處理視覺數(shù)據(jù)。

神經(jīng)網(wǎng)絡如何感知輪廓？

第一項測試為輪廓檢測。在此項實驗中，人類與AI參與者需要說出所面對的圖像中是否包含閉合輪廓。其目標在于了解深度學習算法是否掌握了閉合與開放形狀的概念，以及其能夠在各類條件下都順利檢測出符合概念定義的目標。

▲你能判斷出，以上哪幅圖像中包含閉合圖形嗎？

研究人員們寫道，“對于人類來說，圖中所示為一個閉合輪廓，其周邊則分布著大量開放輪廓。相比之下，DNN則可能很難檢測到閉合輪廓，因為神經(jīng)網(wǎng)絡可能會把閉合輪廓與其他圖形視為統(tǒng)一的整體。”

在實驗當中，科學家們使用了ResNet-50，即由微軟公司AI研究人員們開發(fā)的一套流行卷積神經(jīng)網(wǎng)絡。他們使用遷移學習技術，使用14000個閉合與開放輪廓圖像對該AI模型進行了微調。

接下來，他們又通過其他類似的訓練數(shù)據(jù)（使用不同指向的圖形）進行AI測試。初步發(fā)現(xiàn)表明，經(jīng)過訓練的神經(jīng)網(wǎng)絡似乎掌握了閉合輪廓的基本概念。即使訓練數(shù)據(jù)集中僅包含直線圖形，模型也能夠在處理曲線圖形時帶來良好表現(xiàn)。

科學家們寫道，“這些結果表明，我們的模型確實掌握了開放輪廓與閉合輪廓的概念，而且其判斷過程與人類非常相似?！?/p>

▲即使訓練數(shù)據(jù)集中僅包含直線圖形，模型也能夠在處理曲線圖形時帶來良好表現(xiàn)。

但進一步調查顯示，某些不會影響到人類判斷的因素卻有可能降低AI模型的判斷準確率。例如，調整線條的顏色與寬度會導致深度學習模型的準確率驟然下降。而當形狀的尺寸超過特定大小時，模型似乎也難以正確對形狀作出判斷。

▲當圖形中包含不同的顏色與粗細線條，且總體尺寸遠大于訓練集圖像時，ResNet-50神經(jīng)網(wǎng)絡將很難做出準確判斷。

此外，神經(jīng)網(wǎng)絡對于對抗性干擾也顯得非常敏感。所謂對抗性干擾，屬于一類精心設計的變化。人眼雖然無法察覺這些變化，但卻會給機器學習系統(tǒng)的行為帶來巨大影響。

▲右側圖像已經(jīng)進行過對抗性干擾處理。

在人眼看來，兩張圖像沒有任何區(qū)別；但對于神經(jīng)網(wǎng)絡，二者卻已經(jīng)截然不同。

為了進一步研究AI的決策過程，科學家們使用了特征袋（Bag-of-Feature）網(wǎng)絡，這項技術旨在對深度學習模型決策中所使用的數(shù)據(jù)位進行定位。分析結果證明，“神經(jīng)網(wǎng)絡在進行分類標記時，確實會使用某些局部特征，例如具有端點與短邊，作為強依據(jù)?！?/p>

機器學習能夠對圖像做出推理嗎？

第二項實驗旨在測試深度學習算法在抽象視覺推理中的表現(xiàn)。用于實驗的數(shù)據(jù)基于合成視覺推理測試（SVRT），AI需要在其中回答一系列關于圖像中不同形狀間關系的問題。測試問題分為找不同（例如，圖像中的兩個形狀是否相同？）以及空間判斷（例如，較小的形狀是否位于較大形狀的中心？）等。人類觀察者能夠輕松解決這些問題。

▲SVRT挑戰(zhàn)，要求AI模型解決找不同與空間判斷類型的任務。

在實驗當中，研究人員們使用RESNet-50測試了其在不同大小的訓練數(shù)據(jù)集中的表現(xiàn)。結果表明，通過28000個樣本進行微調訓練之后的模型，在找不同與空間判斷任務上均表現(xiàn)良好。（之前的實驗，使用的是一套小型神經(jīng)網(wǎng)絡并配合100萬張樣本圖像）隨著研究人員減少訓練示例的數(shù)量，AI的性能也開始下滑，而且在找不同任務中的下滑速度更快。

研究人員們寫道，“相較于空間判斷類任務，找不同任務對于訓練樣本的需求量更大。當然，這并不能作為前饋神經(jīng)網(wǎng)絡與人類視覺系統(tǒng)之間存在系統(tǒng)性差異的證據(jù)?！?/p>

研究人員們指出，人類視覺系統(tǒng)天然就在接受大量抽象視覺推理任務的訓練。因此，直接比較對于只能在低數(shù)據(jù)樣本量下進行學習的深度學習模型并不公平。所以，不能貿(mào)然給出人類與AI內部信息處理方式之間存在差異的結論。

研究人員們寫道，“如果真的從零開始進行訓練，人類視覺系統(tǒng)在這兩項識別任務中，沒準會與表現(xiàn)出ResNet-50類似的情況?！?/p>

衡量深度學習的間隙判別

間隙送別可以算是視覺系統(tǒng)當中最有趣的測試之一。以下圖為例，大家能不能猜出完整的圖像呈現(xiàn)的是什么？

毫無疑問，這是一只貓。從左上方的局部圖來看，大家應該能夠輕松預測出圖像的內容。換言之，我們人類需要看到一定數(shù)量的整體形狀與圖案，才能識別出圖像中的物體。而局部放大得越夸張，失去的特征也就越多，導致我們越難以區(qū)分圖像中的內容。

▲根據(jù)圖中所包含的特征，小貓圖像中不同部分的局部放大圖，會對人類的感知產(chǎn)生不同的影響。

深度學習系統(tǒng)的判斷也以特征為基礎，但具體方式卻更加巧妙。神經(jīng)網(wǎng)絡有時候能夠發(fā)現(xiàn)肉眼無法察覺的微小特征，而且即使把局部放得很大，這些特征仍然能夠得到正確檢測。

在最終實驗當中，研究人員們試圖通過逐漸放大圖像，直到AI模型的精度開始顯著下降，借此衡量深度神經(jīng)網(wǎng)絡的間隙判別。

這項實驗表明，人類的圖像間隙判別與深度神經(jīng)網(wǎng)絡之間存在很大差異。但研究人員們在其論文中指出，以往關于神經(jīng)網(wǎng)絡間隙判別的大多數(shù)測試，主要基于人類選擇的局部圖。這些局部的選擇，往往有利于人類視覺系統(tǒng)。

在使用“機器選擇”的局部圖對深度學習模型進行測試時，研究人員們發(fā)現(xiàn)人類與AI的間隙判別表現(xiàn)基本一致。

▲間隙判別測試能夠評估局部圖對于AI判斷準確率的具體影響。

研究人員們寫道，“這些結果顯示，只有在完全相同的基礎之上進行人機比較測試，才能避免人為設計給結果造成的偏差。人與機器之間的所有條件、命令與程序都應盡可能接近，借此保證觀察到的所有差異都源自決策策略——而非測試程序中的差異?！?/p>

縮小AI與人類智能之間的鴻溝

隨著AI系統(tǒng)復雜程度的不斷提升，我們也需要開發(fā)出越來越復雜的方法以進行AI測試。這一領域之前的研究表明，大部分用于衡量計算機視覺系統(tǒng)準確率的流行基準測試中存在一定誤導性。德國研究人員們的工作，旨在更好地衡量人工智能表現(xiàn)，并準確量化AI與人類智能之間的真實差異。他們得出的結論，也將為未來的AI研究提供方向。

研究人員們總結道，“人與機器之間的比較性研究，往往受到人類自發(fā)解釋思維這一強烈偏見的影響。只有選擇適當?shù)姆治龉ぞ卟⑦M行廣泛的交叉核查（例如網(wǎng)絡架構的變化、實驗程序的統(tǒng)一、概括性測試、對抗性示例以及受約束的網(wǎng)絡測試等），我們才能對結果做出合理解釋，并正視這種自發(fā)性偏見的存在?？偠灾?，在對人類與機器的感知能力進行比較時，必須注意不要向其中人為強加任何系統(tǒng)性的偏見。”