6 月 7 日消息，面壁智能發(fā)布端側大模型 MiniCPM 4.0。該公司稱新模型通過自研CPM.cu推理框架，在極限場景下實現(xiàn)最高 220 倍提速，常規(guī) 5 倍提速，支持在 vLLM、SGLang、LlamaFactory 等框架部署。

　　此次發(fā)布的一款 8B 閃電稀疏版，采用創(chuàng)新稀疏架構掀起高效風暴；另一款 0.5B 則被稱作“輕巧靈動的最強小小鋼炮”。

　　據(jù)官方介紹，此次面壁推出的 MiniCPM 4.0 系列 LLM 模型擁有8B、0.5B 兩種參數(shù)規(guī)模，針對單一架構難以兼顧長、短文本不同場景的技術難題，MiniCPM 4.0-8B 采用「高效雙頻換擋」機制，能夠根據(jù)任務特征自動切換注意力模式：在處理高難度的長文本、深度思考任務時，啟用稀疏注意力以降低計算復雜度，在短文本場景下切換至稠密注意力以確保精度，實現(xiàn)了長、短文本切換的高效響應。

　　據(jù)了解，MiniCPM 4.0 可在vLLM、SGLang、LlamaFactory、XTuner等開源框架部署。其內置自研CPM.cu極速端側推理框架，從投機采樣創(chuàng)新、模型壓縮量化創(chuàng)新、端側部署框架創(chuàng)新幾方面，帶來 90% 的模型瘦身和速度提升，官方宣稱將實現(xiàn)端側推理“從天生到終生”的絲滑。