【導(dǎo)讀】MLCommons最新發(fā)布的MLPerf Inference v6.1基準(zhǔn)測(cè)試結(jié)果顯示，英特爾依托持續(xù)的全棧軟件優(yōu)化，在硬件配置不變的前提下，顯著提升至強(qiáng)6處理器與銳炫Pro B系列GPU的AI推理性能。本次測(cè)試不僅實(shí)現(xiàn)多款主流大模型推理效率的大幅躍升，測(cè)試覆蓋場(chǎng)景、產(chǎn)品型號(hào)與生態(tài)參與度也同步擴(kuò)容。這些成績(jī)的背后，同樣體現(xiàn)了客戶和生態(tài)伙伴日益深入的參與，越來越多的系統(tǒng)選擇在英特爾平臺(tái)上完成驗(yàn)證，覆蓋更多模型、更多工作負(fù)載以及更豐富的部署場(chǎng)景。
在與MLPerf v6.0測(cè)試相同的芯片和插槽配置下，英特爾? 至強(qiáng)? 6980P處理器在Llama 3.1 8B Server測(cè)試中實(shí)現(xiàn)了2.4倍的吞吐量提升，Offline測(cè)試中實(shí)現(xiàn)了56%1的吞吐量提升。值得一提的是，這些性能提升全部來源于軟件層面的優(yōu)化。這充分說明了，通過持續(xù)的軟件創(chuàng)新，客戶無需更換已部署的硬件平臺(tái)，也能獲得更高性能。英特爾的生態(tài)伙伴也展現(xiàn)出同樣強(qiáng)勁的勢(shì)頭。
英特爾數(shù)據(jù)中心事業(yè)部數(shù)據(jù)中心軟件副總裁Bill Pearson表示：“MLPerf Inference v6.1結(jié)果表明，持續(xù)的軟件優(yōu)化，能讓客戶從已部署的硬件中釋放出更為強(qiáng)勁的性能。我們正在不斷強(qiáng)化至強(qiáng)和銳炫 Pro的全棧AI軟件能力，同時(shí)擴(kuò)大平臺(tái)所支持的模型、工作負(fù)載及系統(tǒng)的范圍。”
隨著AI推理進(jìn)入實(shí)際部署階段，客戶需要的計(jì)算平臺(tái)，不僅要能支持更大規(guī)模、更多樣化的模型，還要能在長(zhǎng)期使用中持續(xù)提升性能，帶來更好的靈活性與價(jià)值。英特爾在MLPerf Inference v6.1中的結(jié)果證明，軟件優(yōu)化可以進(jìn)一步釋放已部署基礎(chǔ)設(shè)施的有效性能，幫助客戶從現(xiàn)有系統(tǒng)中挖掘更多價(jià)值，并在CPU與GPU算力之間實(shí)現(xiàn)橫向擴(kuò)展。
客戶與合作伙伴在英特爾平臺(tái)上的參與情況也有所提升，從v6.0的29項(xiàng)結(jié)果增至v6.1的39項(xiàng)，第三方驗(yàn)證不再局限于英特爾自身提交的結(jié)果2。其中，甲骨文（Oracle）首次提交了基于英特爾平臺(tái)的結(jié)果；紅帽（Red Hat）首次提交了至強(qiáng) CPU 的推理結(jié)果；廣達(dá)云科技（Quanta Cloud Technology）與超微（Supermicro）則提交了首批采用英特爾銳炫Pro B70 的合作伙伴測(cè)試數(shù)據(jù)。
英特爾至強(qiáng)6測(cè)試結(jié)果：在MLPerf v6.1中，英特爾進(jìn)一步擴(kuò)大了至強(qiáng)處理器的測(cè)試范圍。參加測(cè)試的至強(qiáng)6 SKU從v6.0的2款增至5款，CPU推理測(cè)試數(shù)量也從24項(xiàng)增加到35項(xiàng)。與此同時(shí)，至強(qiáng)依然是MLPerf Inference測(cè)試中唯一以獨(dú)立服務(wù)器CPU完成提交的平臺(tái)。
英特爾銳炫Pro B70測(cè)試結(jié)果：銳炫的測(cè)試結(jié)果進(jìn)一步顯示了，軟件優(yōu)化對(duì)提升AI 模型性能的作用。由四塊英特爾銳炫Pro B70 GPU組成的單節(jié)點(diǎn)系統(tǒng)，可提供128GB顯存，并完成了Llama 3.1 8B、Llama 2 70B、gpt-oss-120B、Whisper以及端到端檢索增強(qiáng)生成（E2E-RAG）等多種模型和應(yīng)用場(chǎng)景的測(cè)試提交。在與MLPerf Inference v6.0相同的四卡系統(tǒng)配置下，gpt-oss-120B Server場(chǎng)景性能提升36%，Offline場(chǎng)景性能提升27%，充分體現(xiàn)出英特爾軟件棧持續(xù)優(yōu)化帶來的性能收益3。
全新E2E-RAG基準(zhǔn)測(cè)試：英特爾參與聯(lián)合開發(fā)了全新的MLPerf Inference v6.1端到端檢索增強(qiáng)生成（E2E-RAG）基準(zhǔn)測(cè)試，并提交了測(cè)試成績(jī)。作為本輪測(cè)試中最復(fù)雜的全新工作負(fù)載之一，測(cè)試系統(tǒng)在單次運(yùn)行中配備了一臺(tái)英特爾至強(qiáng)6787P處理器和四塊英特爾銳炫Pro B70 GPU，并將工作負(fù)載拆分給CPU和GPU，各自處理AI流水線的不同階段：至強(qiáng)處理器負(fù)責(zé)嵌入、重排序、向量搜索和小語言模型；銳炫 Pro B70 GPU則負(fù)責(zé)大語言模型的生成。這一結(jié)果清晰展示出，經(jīng)過優(yōu)化的CPU與GPU可以在完整的AI工作流中高效協(xié)同。
英特爾的優(yōu)化并未止步于基準(zhǔn)測(cè)試。至強(qiáng)處理器的各項(xiàng)優(yōu)化成果，正不斷被納入主流AI框架，讓客戶無需更改現(xiàn)有的基礎(chǔ)設(shè)施，就能直接享受到軟件改進(jìn)帶來的提升。同時(shí)，對(duì)英特爾銳炫Pro B70的優(yōu)化，也將進(jìn)一步推動(dòng)未來英特爾GPU在內(nèi)核、框架及推理服務(wù)棧上的演進(jìn)。
1 基于英特爾提交的MLPerf Inference v6.1（ID：mint-lark-1a28）和MLPerf Inference v6.0（ID：6.0-0057）測(cè)試結(jié)果。測(cè)試配置：1節(jié)點(diǎn)，2顆英特爾? 至強(qiáng)? 6980P處理器（128核），24條96GB DDR5 MRDIMM 8800 MT/s（共2304GB），無獨(dú)立加速卡。Server：1,139.51 vs. 471.54 tokens/s（提升2.4 倍）。Offline：1,916.74 vs. 1,229.56 tokens/s（提升1.56倍）。測(cè)試結(jié)果可能未能涵蓋所有公開更新。
2 基于mlcommons.org上發(fā)布的MLPerf Inference v6.1和v6.0封閉式測(cè)試組結(jié)果。“英特爾平臺(tái)”定義為采用英特爾? 至強(qiáng)? 處理器作為主要計(jì)算單元（純CPU推理）或采用英特爾銳炫? Pro GPU作為加速卡提交的測(cè)試。合作伙伴/客戶數(shù)量統(tǒng)計(jì)不包含英特爾自身提交的測(cè)試。MLPerf名稱和Logo是MLCommons 的商標(biāo)。
3 基于英特爾提交的MLPerf Inference v6.1和MLPerf Inference v6.0（ID：6.0-0101）封閉式測(cè)試組結(jié)果。測(cè)試配置：1節(jié)點(diǎn)，1顆英特爾? 至強(qiáng)? 698X處理器（86核），4塊英特爾銳炫? Pro B70 GPU（每塊 32GB GDDR6，PCIe Gen5 x16），8條16GB DDR5 6400 MT/s（共128GB）。gpt-oss-120B Server 模式：1,296.87 vs. 951.67 tokens/s（提升36%）。gpt-oss-120B Offline 模式：1,956.40 vs. 1,536.90 tokens/s（提升27%）。軟件配置：基于 Ubuntu 24.04的PyTorch vLLM。測(cè)試結(jié)果可能未反映所有公開可用的更新。MLPerf名稱和Logo是MLCommons 的商標(biāo)。
MLPerf Inference v6.0與v6.1之間的性能對(duì)比，建立在硬件類型（處理器或GPU）以及規(guī)格數(shù)量（插槽數(shù)或GPU數(shù)量）均一致的可比配置基礎(chǔ)之上。欲獲取完整系統(tǒng)配置及測(cè)試細(xì)節(jié)，請(qǐng)參閱MLCommons官方結(jié)果與英特爾性能文檔。
關(guān)于英特爾
英特爾（NASDAQ: INTC）作為行業(yè)引領(lǐng)者，創(chuàng)造改變世界的技術(shù)，推動(dòng)全球進(jìn)步并讓生活豐富多彩。在摩爾定律的啟迪下，我們不斷致力于推進(jìn)半導(dǎo)體設(shè)計(jì)與制造，幫助我們的客戶應(yīng)對(duì)最重大的挑戰(zhàn)。通過將智能融入云、網(wǎng)絡(luò)、邊緣和各種計(jì)算設(shè)備，我們釋放數(shù)據(jù)潛能，助力商業(yè)和社會(huì)變得更美好。
結(jié)論
本次MLPerf v6.1測(cè)試成果，印證了軟件優(yōu)化是AI算力持續(xù)提質(zhì)增效的核心抓手。英特爾在不更新硬件設(shè)備的基礎(chǔ)上，通過棧層軟件迭代，讓至強(qiáng)6處理器、銳炫Pro B70 GPU在大模型推理場(chǎng)景中實(shí)現(xiàn)顯著性能提升，幫助企業(yè)充分挖掘現(xiàn)有基礎(chǔ)設(shè)施價(jià)值，避免硬件重復(fù)投入，有效降低AI部署的綜合成本。
