【導(dǎo)讀】隨著 AI 從響應(yīng)提示詞邁向完成任務(wù)，基礎(chǔ)設(shè)施的優(yōu)化重點也從模型本身擴展到整個工作流，涵蓋規(guī)劃、工具調(diào)用、結(jié)果驗證與任務(wù)執(zhí)行。上午 8:42，一名開發(fā)者打開筆記本電腦，映入眼簾的是環(huán)境構(gòu)建失敗、測試報錯，還有一條等待發(fā)布的代碼分支。過去，她可能需要花費大量時間逐一排查日志、比對代碼提交記錄、追溯倉庫歷史；而如今，她只需向 AI 編碼智能體下達一句簡單指令：
'修復(fù)失敗的測試。找出 bug、提交補丁、重跑測試并匯總改動內(nèi)容。”
敲幾下鍵盤，喝上一口茶的時間，智能體就返回了已通過測試的補丁，并附上簡潔的說明。對用戶而言，效果如同瞬時魔法：輸入需求，輸出結(jié)果。但在系統(tǒng)內(nèi)部，實現(xiàn)這一結(jié)果的過程一點也不簡單。
僅一條提示詞就可以觸發(fā)請求解析、任務(wù)創(chuàng)建、策略檢查、代碼庫檢索、上下文拼接、Token（詞元）編碼、模型調(diào)用、工具驗證、沙箱路由、文件編輯、測試運行、遙測采集與最終結(jié)果核驗。模型調(diào)用固然關(guān)鍵，但它只是工作負載的一環(huán)，真正體現(xiàn)工程能力的是對任務(wù)圖的協(xié)調(diào)與編排。
智能體 AI 會進行規(guī)劃、檢索、執(zhí)行、校驗、重試和反饋。隨著 AI 從孤立的提示-響應(yīng)交互模式轉(zhuǎn)向持續(xù)工作流模式，性能的衡量維度也從 Token 轉(zhuǎn)向完整的任務(wù)交付。
模型調(diào)用已不再等同于全部工作負載
長期以來，AI 基礎(chǔ)設(shè)施主要以模型執(zhí)行為衡量標準：預(yù)填充 (prefill)、解碼 (decode)、每秒生成 Token 數(shù)、首 Token 延遲、吞吐量、批處理效率、內(nèi)存占用以及加速器利用率。這些指標依然重要，但隨著智能體 AI 的興起，系統(tǒng)的關(guān)鍵路徑已不再局限于模型執(zhí)行本身。
傳統(tǒng)的推理請求有明確的邊界：從提示詞到結(jié)果輸出。而智能體工作流可能涉及任務(wù)規(guī)劃、上下文檢索、狀態(tài)管理、工具與 API 調(diào)用、沙箱運行、結(jié)果驗證、遙測采集以及重試。最終輸出可能是一個答案、一段代碼變更、一條數(shù)據(jù)庫查詢、一次工具調(diào)用，或是一個搜集更多信息的決策。
簡而言之，智能體 AI 讓推理演變?yōu)橐粋€分布式系統(tǒng)問題。GPU 對于高強度模型執(zhí)行仍然不可或缺，但圍繞 GPU 展開的工作正日益成為系統(tǒng)性能的決定性因素：哪些任務(wù)在運行、在哪里運行、伴隨哪些上下文、允許使用哪些工具，結(jié)果是否滿足用戶需求。
這個周邊的技術(shù)棧為模型增加了多個層級，其中大量協(xié)調(diào)工作都由 CPU 承擔(dān)，包括編排、內(nèi)存與檢索、工具調(diào)用、運行時與沙箱、策略系統(tǒng)以及可觀測性等。模型則提供智能、推理和生成能力，而外圍系統(tǒng)能將這些能力轉(zhuǎn)化為可執(zhí)行的行動。
為什么傳統(tǒng)推理基準已無法全面衡量系統(tǒng)性能
對于聊天機器人，Token 吞吐量可以體現(xiàn)出模型響應(yīng)速度與生成效率，以及系統(tǒng)能服務(wù)多少用戶。但對于智能體 AI，這個評判視角并不夠全面。
開發(fā)者并不會以每秒多少原始 Token 來感知系統(tǒng)性能。她真正關(guān)注的是：bug 是否定位準確、補丁修復(fù)是否正確、測試是否全部通過、權(quán)限是否合規(guī)、結(jié)果是否可信且可驗證。對于企業(yè)、科研、安全、運營以及物理世界的各類智能體而言，同樣如此，用戶關(guān)心的是最終成果。
這意味著，智能體 AI 時代需要采用工作流級別的性能指標，包括：單項任務(wù)完成成本、工具調(diào)用延遲、檢索延遲、沙箱啟動時間以及單節(jié)點智能體數(shù)量。核心評判標準從“模型生成得有多快？”轉(zhuǎn)變?yōu)椤跋到y(tǒng)完成任務(wù)的效率有多高？”
CPU 發(fā)揮決定性的作用
CPU 在智能體 AI 中的價值，體現(xiàn)在圍繞模型調(diào)用的各環(huán)節(jié)中。模型運行前，系統(tǒng)解析請求、初始化運行環(huán)境、加載策略、讀取工程文件、查詢檢索系統(tǒng)、排序上下文、統(tǒng)計 Token 數(shù)量并準備請求。模型調(diào)用期間，CPU 負責(zé)處理路由、Token 化、批處理、流式傳輸和 Schema 配置。調(diào)用完成后，CPU 驗證輸出、路由工具調(diào)用、管理沙箱與子進程、采集日志、歸類故障、更新狀態(tài)并整合遙測數(shù)據(jù)。
在編碼智能體的例子中，一些最耗費 CPU 資源的工作往往發(fā)生在模型生成修復(fù)方案之后：運行測試、調(diào)用編譯器、啟動子進程、歸類故障、自主選擇重試邏輯。這些操作會對 CPU 核心、緩存、內(nèi)存、存儲和編排軟件形成壓力。
這正是智能體 AI 看似“瞬間完成任務(wù)”背后隱藏的關(guān)鍵計算工作。
頭節(jié)點正演變?yōu)檎麄€系統(tǒng)的控制中樞
隨著智能體系統(tǒng)規(guī)模化，頭節(jié)點 (head node) 的角色變得具有戰(zhàn)略意義。AI 頭節(jié)點不只是加速器旁邊的一顆 CPU。它是核心控制中樞，負責(zé)讓異構(gòu) AI 系統(tǒng)以統(tǒng)一、可靠的方式協(xié)同運作：路由請求、管理狀態(tài)、準備上下文、協(xié)調(diào)加速器、調(diào)用管理 API 與工具、執(zhí)行策略、采集遙測，并保持工作流的可觀測性。
編排的本質(zhì)，在于決定執(zhí)行什么任務(wù)、在哪里執(zhí)行、攜帶哪些上下文、允許調(diào)用哪些工具，以及如何判斷任務(wù)已經(jīng)完成。而頭節(jié)點則是支撐這一能力的基礎(chǔ)設(shè)施控制中樞，負責(zé)在 CPU、GPU、加速器、內(nèi)存、存儲、網(wǎng)絡(luò)、運行時、數(shù)據(jù)庫、規(guī)則管理系統(tǒng)以及可觀測性工具之間協(xié)調(diào)資源，并將這些編排決策貫穿整個系統(tǒng)。
隨著 AI 基礎(chǔ)設(shè)施日益異構(gòu)化，模型、工具、內(nèi)存、加速器、API、沙箱、規(guī)則管理、追蹤和評估循環(huán)都必須保持同步協(xié)作。而頭節(jié)點正是這一協(xié)調(diào)能力得以統(tǒng)一執(zhí)行和運轉(zhuǎn)的控制中樞。
Arm 的機遇：全鏈路智能體工作流優(yōu)化
對 Arm 而言，智能體 AI 代表著一次平臺級機遇。其對基礎(chǔ)設(shè)施的要求，正對應(yīng)了云基礎(chǔ)設(shè)施建設(shè)者最關(guān)心的關(guān)鍵能力：性能、能效、擴展性、軟件成熟度以及選擇自由度。行業(yè)評判標準不再局限于 Token 生成速度，而是平臺能否在延遲、功耗、成本、資源利用率、穩(wěn)定性、開發(fā)迭代效率等現(xiàn)實約束下，高效完成更多工作流。
Arm 提供了一個為異構(gòu)基礎(chǔ)設(shè)施打造的計算平臺。在智能體時代，AI 系統(tǒng)由 CPU、GPU、加速器、內(nèi)存、存儲、網(wǎng)絡(luò)、運行時、API、工具、可觀測系統(tǒng)和規(guī)則控制協(xié)同組成。Arm 的核心價值，在于幫助整個系統(tǒng)實現(xiàn)更高效率、更強擴展能力，并使系統(tǒng)級優(yōu)化更加容易。
這一價值始于 Arm 深厚的技術(shù)底座：基于靈活的 Arm Neoverse IP 與計算子系統(tǒng) (CSS) 打造的計算平臺、軟件支持體系以及合作伙伴生態(tài)，為 AI 基礎(chǔ)設(shè)施建設(shè)者提供了針對特定工作負載設(shè)計和部署基礎(chǔ)設(shè)施的多元路徑。智能體 AI 讓這種選擇靈活性變得更加重要，因為沒有任何單一計算配置能夠高效承載工作流的每一個環(huán)節(jié)。
這也是為什么 Arm 的價值應(yīng)當(dāng)從工作流層面來衡量。更優(yōu)秀的智能體基礎(chǔ)設(shè)施應(yīng)當(dāng)體現(xiàn)在這些成果上：更低的單項任務(wù)成本、更低的延遲、更高的資源利用率、更可預(yù)測的執(zhí)行效果。這些關(guān)鍵指標能夠直接體現(xiàn) CPU 和頭節(jié)點的價值，并將其與業(yè)務(wù)成果緊密關(guān)聯(lián)起來。
Arm 將這一理念繼續(xù)延伸，推出面向智能體 AI 基礎(chǔ)設(shè)施的自研芯片 Arm AGI CPU，提供另一種部署 Arm 架構(gòu)算力的選擇。在這套方案中，CPU 協(xié)調(diào)圍繞模型展開的工作：控制、內(nèi)存、檢索、工具、API、運行時、沙箱以及可觀測性。
其目標并不是削弱 GPU 或其他加速器的作用，而是讓整個異構(gòu)系統(tǒng)更好地協(xié)同運作。智能體 AI 時代，真正占據(jù)優(yōu)勢的將是那些能夠優(yōu)化整個任務(wù)圖 (Task Graph)，而非僅僅優(yōu)化 Token 流的基礎(chǔ)設(shè)施。
下一代基準：以任務(wù)完成為核心
回到前文那位等待修復(fù)結(jié)果的開發(fā)者，她需要的不是 Token，而是問題修復(fù) bug。這就是智能體 AI 帶來的基礎(chǔ)設(shè)施架構(gòu)轉(zhuǎn)變。在提示詞驅(qū)動的傳統(tǒng)問答時代，模型性能是顯而易見的重心。在智能體時代，系統(tǒng)必須優(yōu)化全鏈路閉環(huán)：模型智能、內(nèi)存、工具、狀態(tài)、規(guī)則管理、執(zhí)行、驗證與可觀測性。
下一代 AI 基礎(chǔ)設(shè)施的評判標準，將是它能否快速、準確、安全、可觀測且高效地完成任務(wù)。在此背景下，Arm AGI CPU 為 AI 基礎(chǔ)設(shè)施建設(shè)者提供了部署 Arm 架構(gòu)算力的新選擇，用于承載編排與任務(wù)執(zhí)行等關(guān)鍵工作負載，幫助將模型輸出轉(zhuǎn)化為真正有價值的行動。
