應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

商湯科技發(fā)布多模態(tài)通用大模型“書(shū)生 2.5”:擁有 30 億參數(shù),支持問(wèn)答、識(shí)圖、以文生圖等

2023-03-15 10:09 IT之家
關(guān)鍵詞:AI模型參數(shù)

導(dǎo)讀:商湯科技于今日發(fā)布了多模態(tài)多任務(wù)通用大模型“書(shū)生(INTERN)2.5”,擁有 30 億參數(shù),號(hào)稱(chēng)是目前全球開(kāi)源模型中 ImageNet 準(zhǔn)確度最高、規(guī)模最大,同時(shí)也是物體檢測(cè)標(biāo)桿數(shù)據(jù)集 COCO 中唯一超過(guò) 65.0 mAP 的模型。

3 月 14 日消息,商湯科技于今日發(fā)布了多模態(tài)多任務(wù)通用大模型“書(shū)生(INTERN)2.5”,擁有 30 億參數(shù),號(hào)稱(chēng)是目前全球開(kāi)源模型中 ImageNet 準(zhǔn)確度最高、規(guī)模最大,同時(shí)也是物體檢測(cè)標(biāo)桿數(shù)據(jù)集 COCO 中唯一超過(guò) 65.0 mAP 的模型。

據(jù)介紹,“書(shū)生 2.5”的圖文跨模態(tài)開(kāi)放任務(wù)處理能力可為自動(dòng)駕駛、機(jī)器人等通用場(chǎng)景任務(wù)提供高效精準(zhǔn)的感知和理解能力支持?!皶?shū)生”由商湯科技、上海人工智能實(shí)驗(yàn)室、清華大學(xué)、香港中文大學(xué)、上海交通大學(xué)于 2021 年 11 月首次共同發(fā)布,并持續(xù)聯(lián)合研發(fā)。

改進(jìn)方面,“書(shū)生 2.5”實(shí)現(xiàn)了通過(guò)文本來(lái)定義任務(wù),從而可以靈活地定義不同場(chǎng)景的任務(wù)需求,并根據(jù)給定視覺(jué)圖像和任務(wù)的提示性語(yǔ)句,給出相應(yīng)的指令或作答,進(jìn)而具備通用場(chǎng)景下的高級(jí)感知和復(fù)雜問(wèn)題處理能力,比如圖像描述、視覺(jué)問(wèn)答、視覺(jué)推理和文字識(shí)別等。

在自動(dòng)駕駛和居家機(jī)器人等通用場(chǎng)景下,“書(shū)生 2.5”可輔助處理各種復(fù)雜任務(wù)。

例如,在自動(dòng)駕駛場(chǎng)景中,可以大幅提升場(chǎng)景感知理解能力,準(zhǔn)確輔助車(chē)輛判斷交通信號(hào)燈狀態(tài)、道路標(biāo)志牌等信息,為車(chē)輛決策規(guī)劃提供有效信息輸入。

▲利用多模態(tài)多任務(wù)通用大模型輔助完成自動(dòng)駕駛場(chǎng)景中各類(lèi)復(fù)雜任務(wù)

▲利用多模態(tài)多任務(wù)通用大模型輔助完成居家機(jī)器人場(chǎng)景中各類(lèi)復(fù)雜任務(wù)

除解決自動(dòng)駕駛和居家機(jī)器人這類(lèi)復(fù)雜問(wèn)題的能力,“書(shū)生 2.5”通用大模型也可解決紛繁復(fù)雜的日常生活中的常見(jiàn)任務(wù),滿(mǎn)足各種需求。

除全圖級(jí)別的以圖生文,“書(shū)生 2.5”通用大模型同樣可根據(jù)物體邊框更精細(xì)化定位任務(wù)需求。

“書(shū)生 2.5”同時(shí)具備AIGC“以文生圖”的能力。可根據(jù)用戶(hù)提出的文本創(chuàng)作需求,利用擴(kuò)散模型生成算法,生成高質(zhì)量、自然的寫(xiě)實(shí)圖像。

例如,借助“書(shū)生 2.5”的以文生圖能力幫助自動(dòng)駕駛技術(shù)研發(fā),通過(guò)生成各類(lèi)真實(shí)的道路交通場(chǎng)景,如繁忙的城市街道、雨天擁擠車(chē)道、馬路上奔跑的狗等,生成寫(xiě)實(shí)的 Corner Case 訓(xùn)練數(shù)據(jù),進(jìn)而訓(xùn)練自動(dòng)駕駛系統(tǒng)對(duì) Corner Case 場(chǎng)景的感知能力上限。

“書(shū)生 2.5”還可根據(jù)文本快速檢索出視覺(jué)內(nèi)容。

例如,可在相冊(cè)中返回文本所指定的相關(guān)圖像,或是在視頻中檢索出與文本描述最相關(guān)的幀,提高視頻中時(shí)間定位任務(wù)的效率。此外還支持引入物體檢測(cè)框,根據(jù)文本返回最相關(guān)的物體,實(shí)現(xiàn)開(kāi)放世界視頻或圖像中物體檢測(cè)及視覺(jué)定位。

即日起,“書(shū)生 2.5”多模態(tài)通用大模型已在商湯參與的通用視覺(jué)開(kāi)源平臺(tái) OpenGVLab 開(kāi)源,IT之家附GitHub 倉(cāng)庫(kù)訪(fǎng)問(wèn)鏈接。