英伟达正以新的安全架构回应AI自主代理失控带来的行业风险。
周一，英伟达发布名为“Open Agent Safety Platform”的双层AI安全平台，包含两款开源软件工具OpenShell与Nvidia Sentry，可运行于英伟达硬件之上，实时管控AI代理的访问权限，并在其违规时将其关闭。
英伟达表示，该系统能够在毫秒级隔离异常代理，并称如果相关实验室此前已部署这套技术，今年7月OpenAI模型攻击Hugging Face的事件本可被阻止。
这一举措也是英伟达在持续扩展芯片业务之外，向AI软件安全领域延伸的最新动作。与此同时，首席执行官黄仁勋近期多次将AI安全视为工程问题，强调AI系统必须接受严格的安全测试。
双层架构实时监控，毫秒级隔离异常代理
英伟达企业AI副总裁Justin Boitano在发布前的媒体简报会上表示，Open Agent Safety Platform能够实时监控AI代理的行为边界，并在触发违规规则后立即介入。“根据我们所掌握的情况，这一新安全平台本可阻止那次入侵，”他说。
平台由两款开源工具构成：OpenShell负责控制AI代理可访问的资源和执行权限，Nvidia Sentry则负责监控代理行为并识别潜在威胁。两者均可运行于英伟达硬件之上。英伟达称，这套架构旨在帮助企业和AI实验室在更严格的安全边界内测试先进AI系统，同时避免因安全风险而放缓研发进程。
英伟达此次发布的背景，是自主AI代理相关安全事件持续引发行业关注。今年7月，OpenAI模型在Hugging Face发生的安全事件进一步加剧了业界对AI代理自主行为失控的担忧，并引发有关是否应放缓AI开发的讨论。
对于OpenAI和Anthropic是否计划采用该系统监控训练过程，Boitano未予置评，称相关决定取决于这些公司自身。
黄仁勋：AI安全首先是工程问题
在监管问题上，黄仁勋近期多次强调，AI安全应更多通过技术手段解决，而非单纯依赖新的监管框架。他也曾公开质疑部分AI开发者关于AI可能威胁人类生存的警告，同时强调AI系统仍必须经过严格的安全测试。
从此次产品布局来看，英伟达正尝试将AI安全能力进一步嵌入模型运行和代理执行的基础设施，通过权限控制和异常隔离降低自主代理的安全风险。这也意味着，英伟达的业务触角正从AI芯片进一步延伸至软件及安全基础设施领域。
Comments