美国 - 艾赫巴里通讯社
专为防止失控而设计的全新 AI 代理：IronCurtain
以 OpenClaw 为例的 AI 代理的快速崛起，改变了我们与数字生活的互动方式。这些复杂的助手承诺简化任务，从策划个性化新闻提要、代表我们处理客户服务部门，到一丝不苟地管理待办事项列表。它们的核心功能依赖于访问用户帐户和执行命令；这项能力虽然功能强大，但也导致了重大的、通常是意想不到的问题。已有报道称 AI 代理会错误地删除重要电子邮件、根据误解撰写恶意内容，甚至组织针对其自身用户的网络钓鱼攻击。
目睹了这场日益加剧的数字混乱，经验丰富的安全工程师兼研究员 Niels Provos 推出了一项革命性的解决方案：IronCurtain。这款开源、安全的 AI 助手旨在提供关键的控制层，从而降低与自主数字代理相关的风险。与代理直接与用户系统交互的传统方法不同，IronCurtain 在隔离的虚拟机（sandbox）中运行。代理尝试执行的每一项操作都将根据一套策略进行严格审查，Provos 将其概念化为用户为 AI 定义的“宪法”。
另请阅读
IronCurtain 的一项关键创新在于其解释和执行这些策略的能力，这些策略可以用英语等自然语言进行表述。该系统采用复杂的多步流程，利用大型语言模型（LLM）将自然语言指令转化为具体、可执行的安全策略。Provos 解释说：“像 OpenClaw 这样的服务目前非常热门，但我希望有机会说‘嗯，这可能不是我们想要做的’。‘相反，让我们开发一些仍然能为你提供极高实用性，但又不会走上这些完全未知的、有时是破坏性的道路的东西。’”
Provos 强调了 IronCurtain 的确定性策略执行在解决 LLM 内在的概率性问题上的关键作用。“LLM 以其随机性和概率性而闻名，”他指出。“换句话说，它们不一定总是生成相同的内容或在响应相同提示时提供相同的信息。”这种不可预测性给 AI 安全措施带来了重大挑战，因为 AI 系统可能会以改变其对控制机制解释的方式发展，从而可能导致失控行为。IronCurtain 旨在建立清晰、不可更改的界限。
为了说明这一点，Provos 提供了一个 IronCurtain 策略示例：“代理可以读取我的所有电子邮件。它可以未经询问就向我的联系人发送电子邮件。对于其他人，先问我。永远不要永久删除任何东西。” IronCurtain 将此类指令转换为可执行的策略框架。然后，它充当中间人，管理在虚拟机中运行的辅助代理与授予 LLM 数据和服务访问权限的后端系统之间的交互。这种受控的权限委派引入了一个关键的访问控制机制，而当前为单个用户设计的 Web 平台通常不为共享的人类-AI 帐户访问提供此功能。
相关新闻
此外，IronCurtain 还支持持续改进。随着系统遇到新的情况或边缘情况，它可以随着时间的推移征求用户输入以完善“宪法”。该平台还独立于模型，这意味着它可以与任何 LLM 集成，并且会认真维护所有策略决策的审计日志，确保透明度和问责制。目前，IronCurtain 是一个研究原型，而非商业产品，Provos 鼓励社区为促进其发展做出贡献。著名的网络安全研究员 Dino Dai Zovi，他曾测试过早期版本，称赞了其概念框架。“许多代理迄今为止所做的就是添加权限系统，基本上将所有负担都留给用户来决定‘是，允许此操作’、‘是，允许该操作’，”Dai Zovi 评论道。“大多数用户会开始感到厌倦，最终只会说‘是，是，是’。”他将其与 IronCurtain 的方法进行了对比，在 IronCurtain 中，删除文件等某些高风险功能可以完全置于 LLM 的范围之外，从而无论提示如何，代理都无法执行。Dai Zovi 认为，这些看似僵化的“黑白”约束，虽然一开始可能显得过于死板或令人讨厌，但对于最终负责任地赋予代理 AI 更多自主权至关重要。“如果我们想要更高的速度和更多的自主性，我们就需要支持结构，”他说道，并打了个比方：“你把火箭发动机装进真正的火箭里，这样它才有稳定性去你想去的地方。我可以把喷气发动机绑在我的背上的背包里，但我肯定会死的。”
