AI代理（AI agents）自主执行任务能力越来越强，但“不听指令、擅自越权”的风险也随之升高。英伟达（NVIDIA）周一宣布推出全新AI安全平台OpenShell，强调可透过独立安全控制，限制AI代理能存取的档案、工具、网络与权限，甚至在AI开始偏离任务时立即介入。

英伟达推出OpenShell安全平台，阻绝AI代理失控。英伟达官网NVIDIA表示，推出OpenShell的背景正是近期接连发生AI代理违反指令、进入其他系统的事件。

OpenAI上周五才透露，旗下AI代理曾以“非预期方式”与数个美国政府网站互动；更早之前，也已传出其他AI代理自主进行骇客行动的案例，引发外界对AI代理安全性的高度关注。

NVIDIA高层在媒体简报中更表示，新平台若当时已被前沿AI实验室用于模型测试，甚至可能阻止近期一宗OpenAI多个AI代理自主入侵AI公司Hugging Face的事件。

NVIDIA企业AI副总裁波利塔诺（Justin Boitano）表示：“就我们目前掌握的情况来看，如果这套安全平台当时已被用于前沿实验室进行模型评估，它可能可以阻止那次入侵。”

他指出，OpenShell的核心功能之一，就是让开发者能够“正式验证一个AI代理拥有完成工作所需的权限，而且不多给任何额外权限”。

已有超过100家机构采用

NVIDIA表示，OpenShell推出之际已有超过100家机构采用，包括埃森哲（Accenture）、摩根大通（JPMorgan Chase）以及微软（Microsoft）。

NVIDIA多名工程师在官方部落格中，将AI目前的发展阶段比喻为网际网络早期。网络虽然大幅扩展人类沟通能力，却也同时打开各种资安漏洞。

工程师写道：“网际网络之所以变得安全，不是因为要求网站开发者保证自己会乖乖遵守规则，而是因为浏览器开始明确地不信任网页中的程式码。”

OpenShell采取的逻辑类似。它会将AI代理放进“沙盒”（sandbox）环境，也就是与外部系统隔离的虚拟空间中，再把代理可执行的指令转换成可验证的安全政策。

操作人员可以事先规定AI能接触哪些档案、工具、网络、系统程序与凭证，避免AI拥有超出任务所需的权限。

平台另外还包含一套名为Sentry的独立安全层，直接在芯片上持续监控AI代理的行为。一旦侦测到AI试图超出既定任务或权限范围，系统就能立即介入。

波利塔诺表示，Sentry甚至可以在“几毫秒内隔离可疑的AI代理”。

随着越来越多AI代理开始能自主操作网站、程式与企业系统，相关安全事件也促使科技业内部出现要求放慢AI发展速度的声音，包括Anthropic执行长阿莫戴（Dario Amodei）在内的业界人士，都曾公开示警AI代理失控可能带来的风险。