北京2023年8月11日 -- 8月10日，在2023年開(kāi)放計(jì)算社區(qū)中國(guó)峰會(huì)(OCP China Day 2023)上，《開(kāi)放加速規(guī)范AI服務(wù)器設(shè)計(jì)指南》（以下簡(jiǎn)稱《指南》）發(fā)布。《指南》面向生成式AI應(yīng)用場(chǎng)景，進(jìn)一步發(fā)展和完善了開(kāi)放加速規(guī)范AI服務(wù)器的設(shè)計(jì)理論和設(shè)計(jì)方法，將助力社區(qū)成員高效開(kāi)發(fā)符合開(kāi)放加速規(guī)范的AI加速卡，并大幅縮短與AI服務(wù)器的適配周期，為用戶提供最佳匹配應(yīng)用場(chǎng)景的AI算力產(chǎn)品方案，把握生成式AI爆發(fā)帶來(lái)的算力產(chǎn)業(yè)巨大機(jī)遇。

當(dāng)前，生成式AI技術(shù)飛速發(fā)展，引領(lǐng)了新一輪AI創(chuàng)新浪潮。AI大模型是生成式AI的關(guān)鍵底座，對(duì)生產(chǎn)效率提升、傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)具有重大的價(jià)值潛力，而大模型的高效訓(xùn)練通常需要具備千卡以上高算力AI芯片構(gòu)成的AI服務(wù)器集群支撐。隨著生成式AI加速落地，業(yè)界對(duì)配置高算力AI芯片的AI服務(wù)器需求也不斷高漲。在此背景下，全球已有上百家公司投入新型AI加速芯片的開(kāi)發(fā)，AI計(jì)算芯片多元化趨勢(shì)凸顯。由于缺乏統(tǒng)一的業(yè)界規(guī)范，不同廠商的AI加速芯片存在顯著差異，導(dǎo)致不同芯片需要定制化的系統(tǒng)硬件平臺(tái)承載，帶來(lái)更高的開(kāi)發(fā)成本和更長(zhǎng)的開(kāi)發(fā)周期。

OCP是全球基礎(chǔ)硬件技術(shù)領(lǐng)域覆蓋面最廣、最有影響力的開(kāi)源組織。2019年OCP成立OAI（Open Accelerator Infrastructure）小組，對(duì)更適合超大規(guī)模深度學(xué)習(xí)訓(xùn)練的AI加速卡形態(tài)進(jìn)行了定義，以解決多元AI加速卡形態(tài)和接口不統(tǒng)一的問(wèn)題。2019年底，OCP正式發(fā)布了OAI-UBB(Universal Baseboard)1.0設(shè)計(jì)規(guī)范，并隨后推出了基于OAI-UBB1.0規(guī)范的開(kāi)放加速硬件平臺(tái)，無(wú)需硬件修改即可支持不同廠商的OAM產(chǎn)品。近年來(lái)，以浪潮信息為代表的系統(tǒng)廠商研制了多款符合開(kāi)放加速規(guī)范的AI服務(wù)器，實(shí)現(xiàn)了開(kāi)放加速AI服務(wù)器的產(chǎn)業(yè)化實(shí)踐。

基于在開(kāi)放加速計(jì)算領(lǐng)域的產(chǎn)品研發(fā)和工程實(shí)踐經(jīng)驗(yàn)，《指南》進(jìn)一步發(fā)展和完善了開(kāi)放加速規(guī)范AI服務(wù)器的設(shè)計(jì)理論和設(shè)計(jì)方法，提出四大設(shè)計(jì)原則、全棧設(shè)計(jì)方法，包括硬件設(shè)計(jì)參考、管理接口規(guī)范和性能測(cè)試標(biāo)準(zhǔn)，旨在幫助社區(qū)成員更快更好地開(kāi)發(fā)AI加速卡并適配開(kāi)放加速AI服務(wù)器，應(yīng)對(duì)生成式AI的算力挑戰(zhàn)。

《指南》指出，開(kāi)放加速規(guī)范AI服務(wù)器設(shè)計(jì)應(yīng)遵循四大設(shè)計(jì)原則，即應(yīng)用導(dǎo)向、多元開(kāi)放、綠色高效、統(tǒng)籌設(shè)計(jì)。在此基礎(chǔ)上，應(yīng)采用多維協(xié)同設(shè)計(jì)、全面系統(tǒng)測(cè)試和性能測(cè)評(píng)調(diào)優(yōu)的設(shè)計(jì)方法，以提高適配部署效率、系統(tǒng)穩(wěn)定性、系統(tǒng)可用性。

多維協(xié)同設(shè)計(jì)是指系統(tǒng)廠商和芯片廠商在規(guī)劃初期要做好全方位、多維度的協(xié)同，最大化減少定制開(kāi)發(fā)內(nèi)容。大模型計(jì)算系統(tǒng)通常是一體化高集成度算力集群，包含計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備，軟件、框架、模型組件，機(jī)柜、制冷、供電、液冷基礎(chǔ)設(shè)施等。只有通過(guò)多維協(xié)同，才能實(shí)現(xiàn)全局最優(yōu)的性能、能效或TCO指標(biāo)，提高系統(tǒng)適配和集群部署效率?！吨改稀方o出了從節(jié)點(diǎn)到集群的軟硬全棧參考設(shè)計(jì)。

全面系統(tǒng)測(cè)試是指異構(gòu)加速計(jì)算節(jié)點(diǎn)通常故障率高，需要更加全面、嚴(yán)苛的測(cè)試，才能最大程度降低系統(tǒng)生產(chǎn)、部署、運(yùn)行過(guò)程中的故障風(fēng)險(xiǎn)，提高系統(tǒng)穩(wěn)定性，減少斷點(diǎn)對(duì)訓(xùn)練持續(xù)性的影響?！吨改稀穼?duì)結(jié)構(gòu)、散熱、壓力、穩(wěn)定性、軟件兼容性等方面的測(cè)試要點(diǎn)進(jìn)行了全面梳理。

性能測(cè)評(píng)調(diào)優(yōu)是指需要對(duì)大模型加速計(jì)算系統(tǒng)開(kāi)展多層次的性能評(píng)測(cè)和軟硬件深度調(diào)優(yōu)?！吨改稀方o出了基礎(chǔ)性能、互連性能、模型性能測(cè)試的要點(diǎn)和指標(biāo)，并指出了針對(duì)大模型訓(xùn)練和推理性能調(diào)優(yōu)的要點(diǎn)，以確保開(kāi)放加速規(guī)范AI服務(wù)器能夠有效完成當(dāng)前主流大模型的創(chuàng)新應(yīng)用支撐。