技術(shù)
導(dǎo)讀:智源研究院發(fā)布原生多模態(tài)世界模型 Emu3。該模型只基于下一個(gè) token 預(yù)測(cè),無(wú)需擴(kuò)散模型或組合方法,即可完成文本、圖像、視頻三種模態(tài)數(shù)據(jù)的理解和生成。官方宣稱實(shí)現(xiàn)圖像、文本、視頻大一統(tǒng)。
10 月 21 日消息,智源研究院發(fā)布原生多模態(tài)世界模型 Emu3。該模型只基于下一個(gè) token 預(yù)測(cè),無(wú)需擴(kuò)散模型或組合方法,即可完成文本、圖像、視頻三種模態(tài)數(shù)據(jù)的理解和生成。官方宣稱實(shí)現(xiàn)圖像、文本、視頻大一統(tǒng)。
在圖像生成任務(wù)中,基于人類(lèi)偏好評(píng)測(cè),Emu3 優(yōu)于 SD-1.5 與 SDXL 模型。在視覺(jué)語(yǔ)言理解任務(wù)中,對(duì)于 12 項(xiàng)基準(zhǔn)測(cè)試的平均得分,Emu3 優(yōu)于 LlaVA-1.6。在視頻生成任務(wù)中,對(duì)于 VBench 基準(zhǔn)測(cè)試得分,Emu3 優(yōu)于 OpenSora 1.2。
據(jù)介紹,Emu3 提供了一個(gè)強(qiáng)大的視覺(jué) tokenizer,能夠?qū)⒁曨l和圖像轉(zhuǎn)換為離散 token。這些視覺(jué)離散 token 可以與文本 tokenizer 輸出的離散 token 一起送入模型中。與此同時(shí),該模型輸出的離散 token 可以被轉(zhuǎn)換為文本、圖像和視頻,為 Any-to-Any 的任務(wù)提供了更加統(tǒng)一的研究范式。
▲Emu3 生成的圖像
Emu3 研究結(jié)果證明,下一個(gè) token 預(yù)測(cè)可以作為多模態(tài)模型的一個(gè)強(qiáng)大范式,實(shí)現(xiàn)超越語(yǔ)言本身的大規(guī)模多模態(tài)學(xué)習(xí),并在多模態(tài)任務(wù)中實(shí)現(xiàn)先進(jìn)的性能。通過(guò)將復(fù)雜的多模態(tài)設(shè)計(jì)收斂到 token 本身,能在大規(guī)模訓(xùn)練和推理中釋放巨大的潛力。
目前 Emu3 已開(kāi)源了關(guān)鍵技術(shù)和模型,附鏈接如下:
代碼:https://github.com/baaivision/Emu3
項(xiàng)目頁(yè)面:https://emu.baai.ac.cn/
模型:https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f