2022 年在 AI/ML 領(lǐng)域取得了許多突破性的突破。谷歌、Meta 和微軟等大型科技公司在從量子計(jì)算到生成人工智能的全新創(chuàng)新中取得了重大進(jìn)步。

例如，一些最大的突破包括解決國際數(shù)學(xué)奧林匹克問題的 Meta 的 HyperTreeProofSearch (HTPS)；DeepMind 的 Alpha Fold 和 Meta AI 的 ESMFold 用于蛋白質(zhì)折疊預(yù)測；谷歌的DeepNull模擬表型之間協(xié)變量效應(yīng)的關(guān)系并改進(jìn)全基因組關(guān)聯(lián)研究 (GWAS)等等。

接下來，讓我們看看對 2023 年的一些預(yù)測。

ChatGPT以其出色的對話能力風(fēng)靡互聯(lián)網(wǎng)。它是建立在 OpenAI 的GPT-3上的，GPT-3有 1760 億個(gè)參數(shù)，依賴于更大的模型尺寸。雖然還有其他 LLM 的參數(shù)是 GPT-3 的兩倍、三倍甚至十倍，但 DeepMind 或 Meta 的一些模型（也稱為小型語言模型（SLM））的參數(shù)數(shù)量已經(jīng)超過 GPT- 3 在邏輯推理和預(yù)測等多項(xiàng)任務(wù)上。

除了減小模型的大小外，預(yù)計(jì)還會(huì)有一個(gè)更大的模型，如GPT-4 ，具有大約 100 萬億個(gè)參數(shù)。由于目前最大的模型是具有 1.6 萬億個(gè)參數(shù)的 Google Switch Transformer 模型，因此跳躍將是巨大的。

然而，為了獲得更大的延遲和可預(yù)測性，未來幾年可以看到對現(xiàn)有模型進(jìn)行微調(diào)以服務(wù)于特定目的。最近，OpenAI 使用達(dá)芬奇更新對 GPT-3 進(jìn)行了微調(diào)。

趨勢一：生成式 AI 需要可解釋的 AI

文本到圖像的生成是 2022 年打破排行榜的趨勢。DALL-E、Stable Diffusion 和 Midjourney 等模型在想要試驗(yàn) AI 生成藝術(shù)的愛好者中名列前茅。對話很快從文本到圖像轉(zhuǎn)移到文本到視頻，再到文本到任何東西，并且創(chuàng)建了多個(gè)模型，這些模型也可以生成 3D 模型。

隨著語言模型的擴(kuò)展以及傳播模型的改進(jìn)，文本到任何東西的趨勢預(yù)計(jì)會(huì)上升得更高。公開可用的數(shù)據(jù)集使生成式 AI 模型更具可擴(kuò)展性。

這些數(shù)據(jù)集引入了有關(guān)可解釋人工智能的部分，其中訓(xùn)練這些生成模型的每張圖像的屬性變得至關(guān)重要。

趨勢二：FastSaaS 競賽開始

趕上生成人工智能趨勢的公司已經(jīng)開始將其作為云端服務(wù)提供。隨著 LLM 和 GPT-3 和 DALL-E 等生成模型的公開可用，企業(yè)越來越容易將它們作為服務(wù)提供，這催生了FastSaaS。

最近，Shutterstock計(jì)劃將 DALL-E 2 集成到其平臺(tái)，MicrosoftVS Code添加了 Copilot 作為擴(kuò)展，TikTok宣布推出應(yīng)用內(nèi)文本到圖像 AI 生成器，Canva推出了 AI - 在其平臺(tái)上生成功能。

趨勢三：依賴超級計(jì)算機(jī)

這就是構(gòu)建超級計(jì)算機(jī)以依賴于生成任務(wù)以及為公司提供服務(wù)的趨勢。隨著這些不斷增加的數(shù)據(jù)集和生成模型，對超級計(jì)算機(jī)的需求正在上升，并且預(yù)計(jì)會(huì)進(jìn)一步上升。隨著對 FastSaaS 的競爭，對更好和高性能計(jì)算的需求是下一件事。

NVIDIA 和微軟最近合作創(chuàng)建了Quantum-2，一個(gè)云原生超級計(jì)算平臺(tái)。10 月，特斯拉宣布其Dojo超級計(jì)算機(jī)完全使用特斯拉開發(fā)的芯片從零開始構(gòu)建。很快，它看起來可以為企業(yè)客戶提供訪問權(quán)限。此外，Cerebras 還推出了 Andromeda，這是一臺(tái)擁有 1350 萬核心的 AI 超級計(jì)算機(jī)，可提供超過 1 exaflop 的 AI 計(jì)算能力。最近，Jasper 與 Cerebras 合作以實(shí)現(xiàn)更好的性能。

趨勢四：超越 3nm 芯片

正如摩爾定律所預(yù)測的那樣，處理能力隨著芯片尺寸的減小而增加。因此，超級計(jì)算機(jī)要運(yùn)行大型模型，就需要更小的芯片，而且我們已經(jīng)看到芯片越來越小。

近年來，芯片行業(yè)一直在推動(dòng)小型化，制造商不斷尋找使芯片更小、更緊湊的方法。比如M2芯片和A16，蘋果分別使用5nm和4nm芯片，預(yù)計(jì)2023年臺(tái)積電會(huì)開發(fā)3nm芯片，這將提高AI/ML算法開發(fā)的效率和性能。

趨勢五：量子與傳統(tǒng)計(jì)算的融合

隨著NVIDIA、谷歌和微軟等公司向云端提供硬件服務(wù)，量子計(jì)算領(lǐng)域的更多創(chuàng)新勢必會(huì)發(fā)生。這將允許小型科技公司在不需要重型硬件的情況下訓(xùn)練、測試和構(gòu)建 AI/ML 模型。

未來幾年量子計(jì)算的興起絕對應(yīng)該被開發(fā)人員納入，因?yàn)樗氖褂脤⒃谠S多其他領(lǐng)域增加，如醫(yī)療保健、金融服務(wù)等。

在最近的公告中，一臺(tái)量子計(jì)算機(jī)連接到歐洲最快的超級計(jì)算機(jī)，以結(jié)合傳統(tǒng)計(jì)算機(jī)和量子計(jì)算機(jī)以更快地解決問題。同樣，Nvidia 也發(fā)布了QODA——簡稱 Quantum-Optimised Device Architecture，這是混合量子經(jīng)典計(jì)算機(jī)的首創(chuàng)平臺(tái)。

IBM最近在其 2022 年年度量子峰會(huì)上宣布了他們的量子硬件和軟件，概述了使用 433 量子位 (qubit) 處理器進(jìn)行以量子為中心的超級計(jì)算的開創(chuàng)性愿景。在全球人工智能峰會(huì)上，IBM宣布明年他們將展示一個(gè) 1000 量子比特的系統(tǒng)，這將成為各個(gè)領(lǐng)域進(jìn)一步創(chuàng)新的顛覆者。