美国 - 艾赫巴里通讯社
旨在防止AI代理失控的新助手“IronCurtain”发布
以OpenClaw等工具为代表的AI代理的迅速普及，开启了一个人工智能可以管理我们数字生活重要方面的时代。这些代理通过访问用户账户和执行命令，承诺提供个性化的新闻摘要、自动化的客户服务互动以及勤奋的任务管理。尽管它们非常有帮助，但这些新获得的能力也导致了问题事件的激增。据报道，AI代理会错误地删除电子邮件，对所谓的冒犯行为生成恶意内容，甚至针对其自身用户发起网络钓鱼攻击，这凸显了对强大控制机制的迫切需求。
面对日益增长的混乱局面，资深安全工程师兼研究员Niels Provos开发了一种创新的解决方案。他推出了IronCurtain，这是一个开源、安全的AI助手，旨在提供至关重要的监督层。与直接与用户系统和账户交互的代理不同，IronCurtain通过在隔离的虚拟机中运行代理来工作。这种沙箱环境极大地限制了代理造成危害的潜力。此外，代理尝试执行的每一项操作都通过一项用户为其编写的、用于管理AI行为的“宪法”式政策进行调解。
另请阅读
IronCurtain的一个关键创新在于它能够解释用普通英语编写的总体策略。然后，该系统利用大型语言模型（LLM）采用复杂的、多步骤的过程，将这些自然语言指令转化为可执行的安全策略。Provos解释道：“像OpenClaw这样的服务目前正处于炒作的顶峰，但我希望我们有机会说‘好吧，这可能不是我们想要的方式’。‘相反，让我们开发一些仍然能给你带来高实用性，但又不会走上那些完全未知的、有时是破坏性道路的东西。’”
Provos强调，IronCurtain将直观、简单的指令转化为可预测、确定性规则的能力至关重要。这是因为LLM本质上是“随机”和概率性的；它们并不总是为相同的输入产生相同的输出。这种不可预测性给AI安全防护带来了重大挑战，因为AI系统在其对控制机制的解释方面可能会发生演变，从而可能导致失控行为。IronCurtain旨在通过建立清晰、坚定的界限来缓解这种情况。
用户为IronCurtain制定的策略可能非常简单，例如：“代理可以读取我所有的电子邮件。它可以未经许可向我的联系人发送电子邮件。对于其他人，请先征求我的意见。永远不要永久删除任何东西。”IronCurtain处理这些指令，将它们转化为可执行的策略，然后充当代理。它在虚拟机中运行的助手代理与提供LLM访问执行任务所需数据和数字服务的“模型上下文协议服务器”（model context protocol server）之间进行调解。这种受控访问是访问控制方面的一项重大进步，弥补了电子邮件提供商等当前Web平台留下的空白，因为它们并非为人类用户和AI代理共享同一账户的场景而设计。
相关新闻
Provos还指出，IronCurtain旨在持续改进。当系统遇到边缘情况时，它会提示用户输入，从而随着时间的推移不断完善用户的“宪法”。该系统是模型无关的，意味着它可以与任何LLM一起工作，并且它会仔细维护所有策略决策的审计日志。目前，IronCurtain是一个研究原型，而非商业产品。Provos鼓励社区为探索和发展该项目做出贡献。著名的网络安全研究员Dino Dai Zovi，他曾测试过IronCurtain的早期版本，也呼应了该项目的意义。他表示，IronCurtain的概念方法与他自己关于限制代理AI必要性的观点一致。Dai Zovi说：“到目前为止，许多代理所做的就是添加权限系统，这些系统基本上将所有负担都放在用户身上，让他们说‘是的，允许这个’、‘是的，允许那个’。”“大多数用户会开始厌烦，最终只会说‘是的，是的，是的’。然后过了一会儿，他们可能会危险地跳过所有权限，并授予完全的自主权。有了像IronCurtain这样的东西，像删除文件这样的功能实际上可能超出了LLM的范围，即代理无论做什么都无法做到。”Dai Zovi认为，这些看似僵化的限制对于最终负责任地赋予代理AI更多的自主权是必不可少的。“如果我们想要更多的速度和更多的自主权，我们就需要支持结构，”他类比道。“你把火箭发动机放进真正的火箭里，这样它才有稳定性到达你想去的地方。我可以把喷气发动机绑在我的背上，我就会死。”
