FSD對馬斯克和特斯拉來說，將是其總體目標的關鍵一步，走通了，潛力無限。

視覺的能力，可以發(fā)揮到多大？

特斯拉正在一步步給出自己的答案。近日，特斯拉聯(lián)合子公司DeepScale提交了一項新的專利申請，朝著Autopilot自動駕駛軟件重新改寫又邁進了一步。

去年10月，總部位于舊金山的DeepScale被特斯拉收購，以幫助開發(fā)自動駕駛技術。此前，這家初創(chuàng)公司的當家產品就是一款名為Carver21的自動駕駛AI軟件。

此次，特斯拉的這項專利申請名為“用增強數(shù)據(jù)訓練機器模型的系統(tǒng)和方法”，旨在改進Autopilot軟件使用其8個攝像頭識別環(huán)境的方式，也被稱為“3D標簽”。

一、感知，水很深

在典型的機器學習應用中，用于訓練計算機模型的圖像集可能代表在許多不同的環(huán)境中捕獲的具有不同傳感器特性的對象。

這些傳感器在不同的外部參數(shù)方面也可能有所不同，例如成像傳感器的位置和方向相對于拍攝圖像時的環(huán)境。所有這些不同類型的傳感器特性使得正確訓練計算機模型變得更加困難。

換句話說，這意味著一個自動駕駛系統(tǒng)可以通過編程來識別特定物體的特征，但這些特征可能并不總是與攝像頭在特定環(huán)境或情況下記錄的特征相匹配，從而使傳統(tǒng)的系統(tǒng)產生混亂。

特斯拉申請的專利列出了焦距、透鏡類型、預處理或后處理、不同的軟件環(huán)境和傳感器陣列硬件可能是造成這種差異的原因。

根據(jù)專利申請，特斯拉和DeepSpace的解決方案在于，在軟件中引入預增強成像，顯示物體在不同環(huán)境中的表現(xiàn)。

這樣做的目的是希望軟件能夠對不同的環(huán)境本身做出準確的修正。而隨后的訓練基于包括圖像和圖像增強的集合。

這意味著特斯拉的新軟件將能夠收集車輛環(huán)境的信息，計算條件如何影響成像傳感器捕獲物體的方式，增加捕獲的圖像，并相應地更新軟件的參數(shù)來識別物體。

這款軟件以及對Autopilot和3D標簽技術的升級，可能意味著特斯拉在開發(fā)自動駕駛汽車的道路上邁出關鍵一步。

此前，特斯拉已經開始在所有新車配備全新自主研發(fā)的FSD芯片代替此前的英偉達芯片，專為全自動駕駛設計。

性能大幅提升是這款芯片的一大特點，除了能夠改進特斯拉的現(xiàn)有的自動輔助功能，更重要的是邁向完全自動駕駛的關鍵一步。

在這一點上，Waymo和特斯拉應該說是走到了一起。

為了充分利用邊緣場景，并進一步改善自動駕駛系統(tǒng)的感知，一直以來Waymo與來自谷歌大腦的團隊合作，擴展自動數(shù)據(jù)增強研究，并在數(shù)據(jù)集上進行測試。

擴充數(shù)據(jù)背后的原理很簡單：假設你有一張狗的照片。通過使用各種圖像增強操作，如旋轉、剪切、鏡像、顏色變換等，可以對照片進行變形和變換，但這并不能改變這是一張狗的圖像的事實。

在2019年，Waymo開始將自動數(shù)據(jù)增強技術應用到基于圖像的分類和檢測任務中，還包括如何改善激光雷達的3D檢測能力。

數(shù)據(jù)效率的提高尤其重要，因為這意味著Waymo可以加快訓練過程，改善第五代Waymo Drive系統(tǒng)的感知能力。

二、數(shù)據(jù)+神經網絡驅動

不過，特斯拉顯然還沒有利用新的計算能力。2018年10月，特斯拉人工智能高級總監(jiān)安德烈·卡帕西(Andrej Karpathy)表達了他對使用這款FSD芯片的渴望。

“我們訓練大型神經網絡運行良好，但由于計算限制，我們無法將它們部署到車隊中。所有這些都將隨著硬件的下一次迭代而改變?！笨ㄅ廖鞅硎尽?/p>

不過，到目前為止，在FSD上運行的神經網絡和軟件，似乎與在舊的英偉達硬件上運行的幾乎一樣。

一些行業(yè)人士質疑，特斯拉的軟件和神經網絡的開發(fā)落后于新硬件的部署。這一解釋很快也得到了特斯拉CEO埃隆·馬斯克的證實。

“我們的自動駕駛系統(tǒng)有一個相當重要的基礎代碼重寫，把規(guī)劃、感知、圖像識別等等真正結合起來?！瘪R斯克透露，新的神經網絡正在吸收越來越多的問題。

比如，馬斯克提到的3D標簽技術，并稱之為下一個里程碑式的技術，比以往的技術有兩到三個數(shù)量級的標記效率的提高（從車身上搭載的外部八個攝像頭同時進行）。

很快，在去年公司第四季度財報會議上，馬斯克表示，核心的自動駕駛軟件和人工智能團隊非常強大，正在取得巨大進步。

我們才剛剛開始充分利用FSD的計算能力，消費者所看到的表面上的進步似乎是非常迅速的，但實際上真正發(fā)生的是擁有非常強大的基礎軟件。

所以，特斯拉正在對其神經網絡架構進行基礎性的改進，以及如何在車端進行實時推理（這在過去還不敢想象），包括如何給數(shù)據(jù)自動貼上標簽，從而訓練這些神經網絡。

在整個重寫過程中，用戶可能不會看到他們使用的Autopilot軟件有任何進展。特斯拉相關負責人表示，從重寫開始到95%準備好用于量產部署，沒有任何東西可以提前交付給用戶。只有當軟件開發(fā)人員跨過“最后一英里”時，才會看到明顯的進展。

目前，特斯拉仍然手握全球最大的數(shù)據(jù)采集車隊，這是其最大的領先優(yōu)勢。包括超過30萬輛裝有FSD芯片的新車和超過40萬輛裝有英偉達硬件的車隊。

相比較而言，自動駕駛領頭羊Waymo也僅僅只有1000多輛測試車。這為特斯拉的神經網絡奠定了巨大的數(shù)據(jù)優(yōu)勢。

這意味著，特斯拉可以使用各種自動化技術來捕捉罕見的或令人困惑的視頻數(shù)據(jù)。

此外，特斯拉的影子模式，也在借用駕駛員的人工標注工具。比如，當司機遇到一個神經網絡檢測不到的障礙物而停車，那么這個動作就會被視為一個標簽。

實際上，許多司機的行為給他們周圍的真實世界貼上了標簽。特斯拉擁有70多萬名免費司機，遠遠超過任何人工標注外包團隊。

視頻數(shù)據(jù)神經網絡訓練的一種新技術是自監(jiān)督學習。自我監(jiān)督意味著不用手工標簽學習，比如從過去的視頻幀中預測未來的視頻幀。

或者，更準確地說，預測未來視頻幀的多個可能序列，每個序列指定一個概率。這可以讓神經網絡對真實世界有更豐富、更健壯的理解。

一直以來，感知到決策的另一個瓶頸，就是預測。預測未來多種可能的行為，并為每種行為分配一個概率?？紤]到車隊可以實現(xiàn)實時運行預測，可以在任何時候觸發(fā)上傳，只要觀察到未預測或低概率的行為。

最典型的案例，就是DeepMind的AlphaGo和AlphaStar，通過模仿頂尖玩家的技能，就可以超越人類的能力。

特斯拉也可以做類似的事情。通過模仿真人駕駛的方式，有可能通過強化來增強模仿，在這種情況下，學習是通過對一些既定目標的反復試驗來實現(xiàn)的。

特斯拉正在做的工作就是把所有問題都變成一個學習問題，并收集大量數(shù)據(jù)。用卡帕西的話說，他的工作是用深度學習和神經網絡（他稱之為“軟件2.0”）盡可能多地取代特斯拉傳統(tǒng)的“軟件1.0”。

這意味著，讓特斯拉的自動駕駛系統(tǒng)更多地采用數(shù)據(jù)驅動和神經網絡驅動是重寫基礎代碼的主要驅動力。

三、全力以赴

另一個積極跡象是，特斯拉在自動駕駛方面的研發(fā)支出并沒有受到太多的資金限制。在這一點上，很多傳統(tǒng)汽車制造商已經開始做出讓步。

去年四季度數(shù)據(jù)顯示，特斯拉當季現(xiàn)金及現(xiàn)金等價物價值63億美元，2019年全年的自由現(xiàn)金流為11億美元。

管理層的指導方針是，公司在未來的季度和年度基礎上，將基本實現(xiàn)GAAP凈利潤和自由現(xiàn)金流為正。馬斯克一再強調，他正在尋求對業(yè)績增長構成重大約束的領域投入更多資金。

全自動駕駛就是其中最大的未來利潤貢獻支撐點。

從估值角度看，全自動駕駛軟件最明顯的利好就是幫助特斯拉盡快推出Robotaxi服務。如果能夠商業(yè)化，將在公司財務上發(fā)揮重要作用。

甚至有機構預測，特斯拉如何按照原計劃推出Robotaxi服務，預測到2024年，將為公司獲得額外的數(shù)千億美元的收入。

一位特斯拉的工程師近日表示，“我們可以肯定，正在盡我們所能讓FSD夢想成真。我們不斷加班，能做多少就做多少，而技術本身也在不斷發(fā)展?！?/p>

他透露，新的自動駕駛系統(tǒng)基本上消除了特斯拉過去在駕駛員輔助系統(tǒng)上犯的所有小錯誤。軟件重寫幫助特斯拉將其汽車的8個攝像頭的視頻輸入合并成一個3D模型，使得數(shù)據(jù)處理更容易。

他還用一個形象的比喻來描述這種進步：人類的眼睛通常處理數(shù)據(jù)片段并將其發(fā)送給大腦，然后大腦將所有信息整合在一起，這樣人類就能看到整個畫面。

而特斯拉將能夠處理來自所有8個攝像頭的信息，并將它們拼接在一起，形成一個真正的360度圖像。有了360度視圖，就可以完整的繪制地圖——而在此前的舊系統(tǒng)上，根本無法實現(xiàn)。

重寫是從3D標記開始，這提高了標記每一幀的準確性。錄像回放以檢查標簽的準確性。3.0的硬件版本在整個代碼重寫中起到了關鍵作用，而1.0或2.0版本沒有能力處理那么多數(shù)據(jù)。

今年2月，馬斯克在個人twitter上公開邀請有能力的人加入特斯拉的人工智能團隊。目前，該公司正在集中全部精力兌現(xiàn)2020年釋放FSD全部功能的承諾。

畢竟，F(xiàn)SD對馬斯克和特斯拉來說，將是其總體目標的關鍵一步，走通了，潛力無限。