【導讀】MLCommons最新發布的MLPerf Inference v6.1基準測試結果顯示，英特爾依托持續的全棧軟件優化，在硬件配置不變的前提下，顯著提升至強6處理器與銳炫Pro B系列GPU的AI推理性能。本次測試不僅實現多款主流大模型推理效率的大幅躍升，測試覆蓋場景、產品型號與生態參與度也同步擴容。這些成績的背后，同樣體現了客戶和生態伙伴日益深入的參與，越來越多的系統選擇在英特爾平臺上完成驗證，覆蓋更多模型、更多工作負載以及更豐富的部署場景。
在與MLPerf v6.0測試相同的芯片和插槽配置下，英特爾? 至強? 6980P處理器在Llama 3.1 8B Server測試中實現了2.4倍的吞吐量提升，Offline測試中實現了56%1的吞吐量提升。值得一提的是，這些性能提升全部來源于軟件層面的優化。這充分說明了，通過持續的軟件創新，客戶無需更換已部署的硬件平臺，也能獲得更高性能。英特爾的生態伙伴也展現出同樣強勁的勢頭。
英特爾數據中心事業部數據中心軟件副總裁Bill Pearson表示：“MLPerf Inference v6.1結果表明，持續的軟件優化，能讓客戶從已部署的硬件中釋放出更為強勁的性能。我們正在不斷強化至強和銳炫 Pro的全棧AI軟件能力，同時擴大平臺所支持的模型、工作負載及系統的范圍。”
隨著AI推理進入實際部署階段，客戶需要的計算平臺，不僅要能支持更大規模、更多樣化的模型，還要能在長期使用中持續提升性能，帶來更好的靈活性與價值。英特爾在MLPerf Inference v6.1中的結果證明，軟件優化可以進一步釋放已部署基礎設施的有效性能，幫助客戶從現有系統中挖掘更多價值，并在CPU與GPU算力之間實現橫向擴展。
客戶與合作伙伴在英特爾平臺上的參與情況也有所提升，從v6.0的29項結果增至v6.1的39項，第三方驗證不再局限于英特爾自身提交的結果2。其中，甲骨文（Oracle）首次提交了基于英特爾平臺的結果；紅帽（Red Hat）首次提交了至強 CPU 的推理結果；廣達云科技（Quanta Cloud Technology）與超微（Supermicro）則提交了首批采用英特爾銳炫Pro B70 的合作伙伴測試數據。
英特爾至強6測試結果：在MLPerf v6.1中，英特爾進一步擴大了至強處理器的測試范圍。參加測試的至強6 SKU從v6.0的2款增至5款，CPU推理測試數量也從24項增加到35項。與此同時，至強依然是MLPerf Inference測試中唯一以獨立服務器CPU完成提交的平臺。
英特爾銳炫Pro B70測試結果：銳炫的測試結果進一步顯示了，軟件優化對提升AI 模型性能的作用。由四塊英特爾銳炫Pro B70 GPU組成的單節點系統，可提供128GB顯存，并完成了Llama 3.1 8B、Llama 2 70B、gpt-oss-120B、Whisper以及端到端檢索增強生成（E2E-RAG）等多種模型和應用場景的測試提交。在與MLPerf Inference v6.0相同的四卡系統配置下，gpt-oss-120B Server場景性能提升36%，Offline場景性能提升27%，充分體現出英特爾軟件棧持續優化帶來的性能收益3。
全新E2E-RAG基準測試：英特爾參與聯合開發了全新的MLPerf Inference v6.1端到端檢索增強生成（E2E-RAG）基準測試，并提交了測試成績。作為本輪測試中最復雜的全新工作負載之一，測試系統在單次運行中配備了一臺英特爾至強6787P處理器和四塊英特爾銳炫Pro B70 GPU，并將工作負載拆分給CPU和GPU，各自處理AI流水線的不同階段：至強處理器負責嵌入、重排序、向量搜索和小語言模型；銳炫 Pro B70 GPU則負責大語言模型的生成。這一結果清晰展示出，經過優化的CPU與GPU可以在完整的AI工作流中高效協同。
英特爾的優化并未止步于基準測試。至強處理器的各項優化成果，正不斷被納入主流AI框架，讓客戶無需更改現有的基礎設施，就能直接享受到軟件改進帶來的提升。同時，對英特爾銳炫Pro B70的優化，也將進一步推動未來英特爾GPU在內核、框架及推理服務棧上的演進。
1 基于英特爾提交的MLPerf Inference v6.1（ID：mint-lark-1a28）和MLPerf Inference v6.0（ID：6.0-0057）測試結果。測試配置：1節點，2顆英特爾? 至強? 6980P處理器（128核），24條96GB DDR5 MRDIMM 8800 MT/s（共2304GB），無獨立加速卡。Server：1,139.51 vs. 471.54 tokens/s（提升2.4 倍）。Offline：1,916.74 vs. 1,229.56 tokens/s（提升1.56倍）。測試結果可能未能涵蓋所有公開更新。
2 基于mlcommons.org上發布的MLPerf Inference v6.1和v6.0封閉式測試組結果?！坝⑻貭柶脚_”定義為采用英特爾? 至強? 處理器作為主要計算單元（純CPU推理）或采用英特爾銳炫? Pro GPU作為加速卡提交的測試。合作伙伴/客戶數量統計不包含英特爾自身提交的測試。MLPerf名稱和Logo是MLCommons 的商標。
3 基于英特爾提交的MLPerf Inference v6.1和MLPerf Inference v6.0（ID：6.0-0101）封閉式測試組結果。測試配置：1節點，1顆英特爾? 至強? 698X處理器（86核），4塊英特爾銳炫? Pro B70 GPU（每塊 32GB GDDR6，PCIe Gen5 x16），8條16GB DDR5 6400 MT/s（共128GB）。gpt-oss-120B Server 模式：1,296.87 vs. 951.67 tokens/s（提升36%）。gpt-oss-120B Offline 模式：1,956.40 vs. 1,536.90 tokens/s（提升27%）。軟件配置：基于 Ubuntu 24.04的PyTorch vLLM。測試結果可能未反映所有公開可用的更新。MLPerf名稱和Logo是MLCommons 的商標。
MLPerf Inference v6.0與v6.1之間的性能對比，建立在硬件類型（處理器或GPU）以及規格數量（插槽數或GPU數量）均一致的可比配置基礎之上。欲獲取完整系統配置及測試細節，請參閱MLCommons官方結果與英特爾性能文檔。
關于英特爾
英特爾（NASDAQ: INTC）作為行業引領者，創造改變世界的技術，推動全球進步并讓生活豐富多彩。在摩爾定律的啟迪下，我們不斷致力于推進半導體設計與制造，幫助我們的客戶應對最重大的挑戰。通過將智能融入云、網絡、邊緣和各種計算設備，我們釋放數據潛能，助力商業和社會變得更美好。
結論
本次MLPerf v6.1測試成果，印證了軟件優化是AI算力持續提質增效的核心抓手。英特爾在不更新硬件設備的基礎上，通過棧層軟件迭代，讓至強6處理器、銳炫Pro B70 GPU在大模型推理場景中實現顯著性能提升，幫助企業充分挖掘現有基礎設施價值，避免硬件重復投入，有效降低AI部署的綜合成本。
