應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊個人注冊登錄

烽火通信旗下長江計(jì)算 G440K V2 服務(wù)器實(shí)現(xiàn) DeepSeek 系列模型推理適配和優(yōu)化

2025-02-12 10:05 IT之家

導(dǎo)讀:完成 DeepSeek-V3 大模型的本地化推理服務(wù)部署。

2 月 7 日消息,烽火通信科技股份有限公司今日發(fā)文宣布,旗下長江計(jì)算近日聯(lián)合昇騰、華為云團(tuán)隊(duì)成功助力某國有大行完成 DeepSeek-V3 大模型的本地化推理服務(wù)部署

本次部署使用長江計(jì)算 G440K V2 服務(wù)器,基于 MindIE 推理引擎,在華為云 AI 開發(fā)平臺 ModelArts 上完成。

1739325963855.png

據(jù)介紹,G440K V2 服務(wù)器由長江計(jì)算自主研發(fā),已實(shí)現(xiàn) DeepSeek 系列模型的推理適配和優(yōu)化,其采用 8 模組高效推理方式,可提供 AI 推理能力,滿足 DeepSeek 大模型算力需求。

IT之家從烽火通信獲悉,該服務(wù)器宣稱在內(nèi)存帶寬和互聯(lián)能力方面具有優(yōu)勢,在 DeepSeek 系列模型部署中,可提高模型推理速度、響應(yīng)效率和數(shù)據(jù)處理能力,滿足多機(jī)組網(wǎng)推理的需求。當(dāng)前已應(yīng)用于智能客服、文案生成、知識沉淀等大模型推理場景中,同時(shí)確保部署應(yīng)用中的數(shù)據(jù)安全與自主可控。