【導(dǎo)讀】AI 發(fā)展進(jìn)入智能體階段之后，安全挑戰(zhàn)和生成式 AI 時代有明顯區(qū)別。傳統(tǒng) AI 安全重點(diǎn)保護(hù)模型、提示詞與數(shù)據(jù)，而智能體可自主調(diào)用工具、訪問系統(tǒng)并直接執(zhí)行操作，安全防線需要覆蓋從 AI 推理到落地執(zhí)行的完整鏈路。Arm 認(rèn)為單一安全手段不足以應(yīng)對這類風(fēng)險，需要一套分層的全棧防護(hù)方案，核心原則是模型只負(fù)責(zé)提出行動方案，由獨(dú)立系統(tǒng)判斷是否允許執(zhí)行。依托信任根、安全啟動、MTE 內(nèi)存標(biāo)記擴(kuò)展、DPU 獨(dú)立管控以及 Arm Device Connect 等技術(shù)，這套安全架構(gòu)可以部署在云端、PC、移動設(shè)備，甚至機(jī)器人、工業(yè)設(shè)備等物理終端，同時兼顧信息安全與功能安全，約束智能體的自主行為，實(shí)現(xiàn)操作可追溯、異常可管控。
在生成式人工智能（AI）時代，關(guān)于安全的討論大多聚焦于保護(hù)模型、提示詞和數(shù)據(jù)。而智能體 AI 時代則為安全挑戰(zhàn)增加了新的維度，因?yàn)槿缃?AI 已經(jīng)能夠自主使用工具、訪問系統(tǒng)、編寫代碼，并以機(jī)器速度執(zhí)行操作。航班預(yù)訂就是一個典型例子，生成式 AI 系統(tǒng)可能只會向用戶提出航班預(yù)訂建議，而智能體系統(tǒng)則可以自行檢索票價、調(diào)用已保存的支付信息，代表用戶完成預(yù)訂操作。
智能體時代的安全基礎(chǔ)并沒有改變，仍包含身份識別、最小權(quán)限原則、隔離機(jī)制、可信執(zhí)行、內(nèi)存安全、監(jiān)測和韌性設(shè)計等核心要素。但變化在于其運(yùn)行模式。隨著智能體能夠自主行動、動態(tài)選擇操作，并跨越不同軟件、基礎(chǔ)設(shè)施、邊緣設(shè)備和物理系統(tǒng)運(yùn)行，它們需要明確且可強(qiáng)制執(zhí)行的邊界來限定其訪問范圍和行動權(quán)限。僅保護(hù)模型已不再足夠，安全防線必須覆蓋從智能到行動的完整路徑。
這也是推動智能體 AI 大規(guī)模應(yīng)用的關(guān)鍵。組織需要確信自主系統(tǒng)始終在既定邊界內(nèi)運(yùn)行，其行為能夠被追蹤和歸因，并且當(dāng)異常行為出現(xiàn)，能夠得到有效控制。安全本身并不能直接建立信任，信任最終取決于用戶、應(yīng)用場景以及風(fēng)險等級，但安全可以提供可核驗(yàn)的邊界、問責(zé)機(jī)制與系統(tǒng)韌性，這正是構(gòu)建信任的基礎(chǔ)。
Arm 執(zhí)行副總裁兼首席商務(wù)官 Will Abbey 闡述了行業(yè)向智能體 AI 轉(zhuǎn)變的趨勢，以及這一變革對云、邊緣與物理世界應(yīng)用場景帶來的影響
智能體 AI 需要全棧安全防護(hù)
沒有任何單一的安全機(jī)制能夠保護(hù)從推理到執(zhí)行的完整路徑。智能體時代的安全需要多種互補(bǔ)的控制機(jī)制，覆蓋智能體運(yùn)行時、軟件棧、主機(jī)計算平臺、基礎(chǔ)設(shè)施，以及最終執(zhí)行決策的設(shè)備和系統(tǒng)。
系統(tǒng)必須能夠識別執(zhí)行操作的主體、依據(jù)用戶的權(quán)限開展活動，并確保其僅能執(zhí)行被授權(quán)的操作。當(dāng)智能體動態(tài)選擇行動，相關(guān)策略必須始終能夠得到有效執(zhí)行。同時，操作過程需要具備可觀測性，確保自主行為的責(zé)任可追溯。當(dāng)出現(xiàn)異常時，系統(tǒng)還需具備相應(yīng)機(jī)制，遏制意外或未經(jīng)授權(quán)的行為。
這些要求背后的基本架構(gòu)原則很明確：作出決策的組件，不應(yīng)同時擁有批準(zhǔn)該決策是否被允許的唯一權(quán)限。模型負(fù)責(zé)提出行動方案，系統(tǒng)負(fù)責(zé)授權(quán)，并確保相關(guān)約束得到執(zhí)行。
要將這一原則落到實(shí)處，需要在智能與行動之間的多個環(huán)節(jié)建立安全防護(hù)：
建立可信執(zhí)行環(huán)境；
保護(hù)從決策到執(zhí)行的路徑；
通過獨(dú)立機(jī)制，判斷某項(xiàng)操作是否獲準(zhǔn)執(zhí)行；
保護(hù)最終執(zhí)行該操作的設(shè)備或系統(tǒng)。
Arm 數(shù)十年來在安全計算領(lǐng)域的積累，在此尤為重要。Arm 提供覆蓋信任根（RoT）、安全啟動、度量啟動、遠(yuǎn)程認(rèn)證、隔離機(jī)制以及內(nèi)存安全等方面的基礎(chǔ)架構(gòu)，同時配套參考軟件、應(yīng)用程序編程接口（API）和生態(tài)支持，幫助開發(fā)者便捷調(diào)用上述各項(xiàng)能力。
這些技術(shù)從系統(tǒng)不同環(huán)節(jié)應(yīng)對智能體 AI 的安全挑戰(zhàn)。安全啟動和遠(yuǎn)程認(rèn)證有助于驗(yàn)證工作負(fù)載和安全控制機(jī)制是否在預(yù)期環(huán)境中運(yùn)行。然而，驗(yàn)證環(huán)境只是挑戰(zhàn)的一部分，攻擊者仍可能利用智能體運(yùn)行時、工具宿主或策略執(zhí)行軟件中的漏洞，繞過安全控制或觸發(fā)未授權(quán)操作。Arm 內(nèi)存標(biāo)記擴(kuò)展（MTE）等內(nèi)存安全技術(shù)，以及其他架構(gòu)級的防御機(jī)制，則能夠幫助降低這類風(fēng)險，使推理與執(zhí)行之間的軟件鏈路中存在的某些內(nèi)存安全漏洞更難被利用。
Arm 內(nèi)存標(biāo)記擴(kuò)展詳解
隨著智能體獲得對私有上下文、記憶和狀態(tài)的持續(xù)訪問權(quán)限，安全機(jī)制還必須負(fù)責(zé)管理敏感數(shù)據(jù)的釋放條件。在信任要求更高的工作流程中，遠(yuǎn)程證明機(jī)制可以先驗(yàn)證執(zhí)行環(huán)境的可信性，再向智能體開放受保護(hù)的上下文數(shù)據(jù)。
針對智能體實(shí)施獨(dú)立安全管控
基礎(chǔ)設(shè)施安全是智能體時代的另一個重要維度。隨著智能體能力不斷提升并具備持續(xù)運(yùn)行能力，基礎(chǔ)設(shè)施不僅需要計算資源來執(zhí)行智能體工作負(fù)載，還需要獨(dú)立的計算資源，對其進(jìn)行觀測、管控和約束。
CPU 與 DPU 協(xié)同架構(gòu)，是這一原則的典型實(shí)現(xiàn)方式，它們均基于 Arm 提供統(tǒng)一的計算基礎(chǔ)。CPU 負(fù)責(zé)運(yùn)行智能體運(yùn)行時、執(zhí)行框架、編排系統(tǒng)、工具調(diào)用以及應(yīng)用程序；DPU 能夠?yàn)榫W(wǎng)絡(luò)、監(jiān)測、隔離以及安全服務(wù)等基礎(chǔ)設(shè)施功能提供獨(dú)立的運(yùn)行環(huán)境。
Arm CPU 托管并運(yùn)行智能體工作負(fù)載，而基于 Arm 架構(gòu)的 DPU 則獨(dú)立地對其進(jìn)行觀測、管控、隔離和保護(hù)
這進(jìn)一步印證一項(xiàng)原則：當(dāng)安全管控機(jī)制與受監(jiān)管的進(jìn)程相互隔離，管控效力會得到強(qiáng)化。NVIDIA 最新發(fā)布的 NVIDIA 開放智能體安全平臺（NVIDIA Open Agent Safety Platform）展示了這一架構(gòu)模式如何應(yīng)用于智能體基礎(chǔ)設(shè)施。
安全防護(hù)必須隨行動延伸
隨著智能體工作流逐漸從數(shù)據(jù)中心，延伸至 PC、智能手機(jī)、邊緣設(shè)備和物理 AI 系統(tǒng)，安全挑戰(zhàn)的范圍也隨之?dāng)U大。未來，一個智能體可能在云端利用模型完成推理，在邊緣設(shè)備上處理私有上下文數(shù)據(jù)，最終通過機(jī)器人或工業(yè)設(shè)備執(zhí)行實(shí)際操作。
因此，安全能力需要沿兩個維度持續(xù)擴(kuò)展：
貫穿每個系統(tǒng)內(nèi)部的計算棧；
覆蓋智能體接觸的每一個計算環(huán)境。
所有計算環(huán)境都遵循同一核心原則：智能體僅可訪問已授權(quán)的資源、執(zhí)行獲準(zhǔn)的操作。然而，與云和數(shù)據(jù)中心相比，邊緣和物理 AI 系統(tǒng)面臨著不同的挑戰(zhàn)。
跨邊緣、云和物理環(huán)境的智能體工作流
消費(fèi)設(shè)備、攝像頭、機(jī)器人、汽車及工業(yè)設(shè)備，并不像云端虛擬資源那樣容易實(shí)現(xiàn)隔離。當(dāng)智能決策越來越多地轉(zhuǎn)化為現(xiàn)實(shí)世界中的物理行動，安全機(jī)制必須貫穿軟件、通信鏈路以及最終執(zhí)行這些操作的設(shè)備。這對設(shè)備的身份、通信認(rèn)證、權(quán)限管理、設(shè)備側(cè)策略執(zhí)行、可審計性提出了更多要求。Arm Device Connect 為 AI 智能體與各類異構(gòu)設(shè)備之間的發(fā)現(xiàn)與交互提供統(tǒng)一方式，幫助構(gòu)建支持身份認(rèn)證、權(quán)限管理和治理機(jī)制的連接層。
此外，隨著智能體越來越多地與物理設(shè)備和系統(tǒng)交互，智能體安全還必須與現(xiàn)有設(shè)備安全以及功能安全體系相銜接。身份識別、身份認(rèn)證和授權(quán)機(jī)制需要延伸到設(shè)備端，并與設(shè)備端的約束機(jī)制、運(yùn)行限制條件、故障保護(hù)機(jī)制，以及用于保障物理系統(tǒng)安全運(yùn)行的各類既有安全機(jī)制協(xié)同運(yùn)作。信息安全機(jī)制決定某項(xiàng)操作是否獲得授權(quán)，功能安全機(jī)制則決定該操作能否在既定的安全運(yùn)行范圍內(nèi)執(zhí)行。當(dāng)智能體 AI 走進(jìn)物理系統(tǒng)，二者必須協(xié)同發(fā)揮作用。
圍繞智能構(gòu)建安全體系
從生成式 AI 向智能體 AI 的轉(zhuǎn)變，改變了 AI 安全領(lǐng)域的一項(xiàng)基本預(yù)設(shè)。過去，模型只負(fù)責(zé)生成信息，由人來決定是否據(jù)此采取行動；如今，智能體 AI 系統(tǒng)已經(jīng)能夠自主發(fā)起行動。安全防護(hù)必須從僅保護(hù)模型和數(shù)據(jù)，擴(kuò)展到管控從推理到執(zhí)行的整個過程。
這也催生了一種全新的 AI 架構(gòu)模式：模型決定所要執(zhí)行的行動，由獨(dú)立系統(tǒng)判定該行動是否可獲準(zhǔn)執(zhí)行。從信任根、遠(yuǎn)程認(rèn)證，到內(nèi)存安全、獨(dú)立基礎(chǔ)設(shè)施管控與設(shè)備身份認(rèn)證，隨著智能體 AI 從云端擴(kuò)展至邊緣和物理系統(tǒng)，每一層技術(shù)都在幫助強(qiáng)化這種職責(zé)分離機(jī)制。
Arm 提供統(tǒng)一的架構(gòu)基礎(chǔ)與安全技術(shù)，幫助在整個系統(tǒng)層級落實(shí)這些邊界約束。隨著智能體 AI 獲得越來越強(qiáng)的自主行動能力和執(zhí)行能力，相應(yīng)的安全保護(hù)也同步擴(kuò)展，并發(fā)揮作用。
結(jié)論
從生成式 AI 升級到智能體 AI，最大變化就是 AI 從 “生成內(nèi)容” 變成 “自主執(zhí)行動作”，安全建設(shè)不能再只盯著模型本身。Arm 這套全棧安全方案，依靠職責(zé)分離的架構(gòu)設(shè)計，在智能體運(yùn)行時、主機(jī)平臺、基礎(chǔ)設(shè)施和終端設(shè)備多層設(shè)置防護(hù)。借助 CPU+DPU 分離架構(gòu)，安全監(jiān)控與業(yè)務(wù)運(yùn)行相互隔離；再搭配遠(yuǎn)程認(rèn)證、內(nèi)存安全、設(shè)備身份管理等能力，把安全管控延伸到邊緣硬件和物理設(shè)備。當(dāng)智能體開始操控工業(yè)、車載、機(jī)器人等實(shí)物系統(tǒng)時，信息安全還需要和功能安全協(xié)同配合。這套底層安全能力，是讓智能體 AI 大規(guī)模落地、建立用戶信任的前提，也為跨云、邊緣、物理世界的智能體應(yīng)用提供基礎(chǔ)安全底座。
