11 月 12 日消息，寒武紀(jì)宣布擁抱眾智 FlagOS 生態(tài)。寒武紀(jì)表示，單一芯片架構(gòu)難以滿足多元化的業(yè)務(wù)需求，大模型應(yīng)用廠商為部署不同類型業(yè)務(wù)往往需要引入多種不同架構(gòu) AI 芯片，造成跨芯片架構(gòu)間業(yè)務(wù)代碼遷移與維護(hù)工作往往耗時數(shù)月，成為業(yè)務(wù)遷移流程主要瓶頸。

　　據(jù)介紹，北京智源人工智能研究院聯(lián)手社區(qū)伙伴啟動了眾智 FlagOS 項(xiàng)目，目的通過統(tǒng)一軟件層解耦 AI 模型與異構(gòu)硬件，打破不同架構(gòu)芯片之間的軟件生態(tài)壁壘，為芯片硬件與上層 AI 應(yīng)用之間搭建統(tǒng)一且高效銜接的橋梁，系統(tǒng)性解決“適配難、調(diào)優(yōu)慢、協(xié)同弱”行業(yè)難題，實(shí)現(xiàn)“一次開發(fā)，處處運(yùn)行”。

　　寒武紀(jì)和智源研究院從 2024 年初起就開始進(jìn)行 FlagGems（基于 Triton 的高性能通用 AI 算子庫）的聯(lián)合開發(fā)工作，后續(xù)進(jìn)一步拓展到 FlagTree（統(tǒng)一多后端的增強(qiáng)版 Triton 編譯器）、FlagCX（統(tǒng)一通信庫）、FlagScale（并行訓(xùn)推一體框架）等組件。

　　寒武紀(jì)與 FlagOS 的適配與優(yōu)化主要集中在算子、編譯器、分布式通信庫和并行框架組件等方面。

　　據(jù)悉，F(xiàn)lagOS 是由北京智源人工智能研究院牽頭研發(fā)的面向多種 AI 芯片的開源系統(tǒng)軟件棧，支持超 20 種國內(nèi)外主流 AI 芯片型號。該系統(tǒng)融合并行訓(xùn)推框架 FlagScale、高性能算子庫 FlagAttention 和 FlagGems、統(tǒng)一通信庫 FlagCX 等技術(shù)組件，平均性能超過芯片廠商原生算子。

　　今年 9 月，眾智 FlagOS 1.5 發(fā)布，支持超過 12 家國內(nèi)外主流芯片廠商的 20 余種芯片型號，降低硬件適配的復(fù)雜性；改進(jìn)并行策略與調(diào)度算法，在典型大模型任務(wù)中實(shí)現(xiàn)最高 36.8% 訓(xùn)練加速與 20% 推理加速；全面支持機(jī)器人“大腦”（如智源 RoboBrain）與“小腦”（如 VLA）模型的開發(fā)與部署等。