近日，MLCommons公布了針對AI推理的MLPerf v4.0基準(zhǔn)測試結(jié)果。其中，內(nèi)置了英特爾?高級矩陣擴(kuò)展（英特爾? AMX）的第五代英特爾?至強(qiáng)?可擴(kuò)展處理器（以下簡稱“第五代至強(qiáng)”）在測試中表現(xiàn)優(yōu)異，進(jìn)一步彰顯了英特爾致力于通過豐富且具有競爭力的解決方案推動 “AI無處不在”的承諾。截至目前，英特爾仍是唯一一家提交MLPerf測試結(jié)果的CPU廠商。與第四代至強(qiáng)在MLPerf推理v3.1基準(zhǔn)測試中的結(jié)果相比，第五代至強(qiáng)的測試結(jié)果平均提升1.42倍。

英特爾公司副總裁兼數(shù)據(jù)中心與人工智能事業(yè)部產(chǎn)品管理總經(jīng)理Zane Ball表示：“我們將持續(xù)提升CPU和加速器等廣泛產(chǎn)品組合在行業(yè)基準(zhǔn)測試中的AI性能。此次全新的MLCommons結(jié)果顯示，我們提供的AI解決方案能夠滿足客戶不斷變化、多樣化的AI需求。同時(shí)，至強(qiáng)處理器也為客戶提供了可快速實(shí)現(xiàn)AI部署，且極具性價(jià)比的選擇。”

英特爾產(chǎn)品迄今為止在多輪MLPerf基準(zhǔn)測試中均所展示出領(lǐng)先的訓(xùn)練及推理性能，該測試結(jié)果亦為客戶樹立了可用于評估產(chǎn)品AI性能的行業(yè)標(biāo)準(zhǔn)。

關(guān)于第五代至強(qiáng)的測試結(jié)果：

與第四代至強(qiáng)在MLPerf推理v3.1性能基準(zhǔn)測試中的表現(xiàn)相比，經(jīng)由硬件及軟件優(yōu)化的第五代至強(qiáng)性能平均提升1.42倍。其中，針對具備連續(xù)批處理（continuous batching）等軟件優(yōu)化的GPT-J模型，與v3.1的測試結(jié)果相比，第五代至強(qiáng)的性能提升約1.8倍；同樣，得益于MergedEmbeddingBag以及基于英特爾AMX的其他優(yōu)化，DLRMv2的測試結(jié)果顯示出約1.8倍的性能提升和99.9的準(zhǔn)確率。

第五代英特爾?至強(qiáng)?可擴(kuò)展處理器

與此同時(shí)，英特爾非常自豪地與包括思科、戴爾、廣達(dá)、Supermicro和緯穎科技在內(nèi)的廣大OEM伙伴們展開合作，助力其提交基于自身產(chǎn)品的MLPerf測試結(jié)果。英特爾不僅于2020年開始提交基于第四代至強(qiáng)的測試結(jié)果，同時(shí)至強(qiáng)可擴(kuò)展處理器亦是參與MLPerf測試的產(chǎn)品中，眾多加速器的主機(jī)CPU。

此外，第五代至強(qiáng)可在英特爾?開發(fā)者云平臺上進(jìn)行評估。該環(huán)境中，用戶可以進(jìn)行小型及大規(guī)模AI訓(xùn)練（譬如大語言模型或生成式AI）、運(yùn)行大規(guī)模的推理工作負(fù)載，以及管理AI計(jì)算資源等。