技術(shù)
導(dǎo)讀:據(jù)“中國(guó)電信”官微發(fā)文,中國(guó)電信人工智能研究院(TeleAI)聯(lián)合北京智源人工智能研究院發(fā)布全球首個(gè)單體稠密萬億參數(shù)語(yǔ)義模型Tele-FLM-1T,成為國(guó)內(nèi)首批發(fā)布稠密萬億參數(shù)大模型的機(jī)構(gòu)。
據(jù)“中國(guó)電信”官微發(fā)文,中國(guó)電信人工智能研究院(TeleAI)聯(lián)合北京智源人工智能研究院發(fā)布全球首個(gè)單體稠密萬億參數(shù)語(yǔ)義模型Tele-FLM-1T,成為國(guó)內(nèi)首批發(fā)布稠密萬億參數(shù)大模型的機(jī)構(gòu)。
面對(duì)大模型訓(xùn)練過程中算力消耗巨大的挑戰(zhàn),TeleAI與智源通過深度研發(fā),結(jié)合模型生長(zhǎng)和損失預(yù)測(cè)等關(guān)鍵技術(shù),成功推出了Tele-FLM系列模型。這一系列模型在算力資源的使用上,僅消耗了業(yè)界普通訓(xùn)練方案的9%,展現(xiàn)出極高的算力能效。
通過使用112臺(tái)A800服務(wù)器,TeleAI團(tuán)隊(duì)在短短4個(gè)月內(nèi)完成了3個(gè)模型總計(jì)2.3T tokens的訓(xùn)練,全程無需任何調(diào)整和重試,充分證明了模型訓(xùn)練的穩(wěn)定性和收斂性。
值得一提的是,Tele-FLM-1T版本即將開源,此舉旨在為社區(qū)提供訓(xùn)練萬億稠密模型的技術(shù)參考,有效解決萬億模型訓(xùn)練收斂難等問題,進(jìn)一步推動(dòng)大模型技術(shù)的進(jìn)步。
TeleAI不僅在技術(shù)創(chuàng)新上不斷突破,還積極通過開源方式推動(dòng)大模型技術(shù)的普及和國(guó)產(chǎn)化進(jìn)程。他們接連開源了7B、12B、52B參數(shù)規(guī)模的大模型,這些模型在開源社區(qū)中引發(fā)了廣泛討論和使用,開源模型下載量已超過萬次,吸引了超過40萬用戶。