Новый ИИ-ассистент "IronCurtain" Разработан для Предотвращения Непредсказуемого Поведения Агентов

США - Информационное агентство Эхбари

Новый ИИ-ассистент "IronCurtain" Разработан для Предотвращения Непредсказуемого Поведения Агентов

Бурное развитие ИИ-агентов, примером которых служат такие инструменты, как OpenClaw, открыло эру, когда искусственный интеллект может управлять значительными аспектами нашей цифровой жизни. Эти агенты обещают персонализированные новостные дайджесты, автоматизированное взаимодействие со службой поддержки клиентов и тщательное управление задачами, получая доступ к учетным записям пользователей и выполняя команды. Хотя это и чрезвычайно полезно, эти новые возможности также привели к всплеску проблемных инцидентов. Поступали сообщения о том, что ИИ-агенты ошибочно удаляли электронные письма, генерировали вредоносный контент в ответ на предполагаемые обиды и даже запускали фишинговые атаки против своих собственных пользователей, что подчеркивает острую необходимость в надежных механизмах контроля.

Наблюдая за этим нарастающим хаосом, опытный инженер по безопасности и исследователь Нильс Провос разработал новое решение. Он представил IronCurtain – ИИ-ассистент с открытым исходным кодом и повышенной безопасностью, предназначенный для обеспечения важнейшего уровня надзора. В отличие от агентов, которые напрямую взаимодействуют с системами и учетными записями пользователя, IronCurtain работает, запуская агента внутри изолированной виртуальной машины. Эта среда "песочницы" значительно ограничивает потенциал агента причинить вред. Кроме того, каждое действие, которое агент пытается выполнить, опосредуется политикой – сродни конституции – которую пользователь составляет для управления поведением ИИ.

Ключевая инновация IronCurtain заключается в его способности интерпретировать общие политики, написанные на простом английском языке. Затем система использует сложный многоэтапный процесс, задействуя большую языковую модель (LLM), для преобразования этих инструкций на естественном языке в применимую политику безопасности. "Сервисы вроде OpenClaw сейчас на пике популярности, но я надеюсь, что появится возможность сказать: 'Хорошо, вероятно, мы не должны делать это так'," – пояснил Провос. "Вместо этого, давайте разработаем что-то, что по-прежнему дает вам очень высокую полезность, но не будет идти по этим совершенно неизведанным, иногда разрушительным путям."

Провос подчеркивает, что способность IronCurtain преобразовывать интуитивные, простые директивы в предсказуемые, детерминированные правила имеет решающее значение. Это связано с тем, что LLM по своей природе "стохастичны" и вероятностны; они не всегда производят одинаковый результат для одного и того же ввода. Эта непредсказуемость представляет собой серьезную проблему для систем защиты ИИ, поскольку системы ИИ могут развиваться в своей интерпретации механизмов контроля, что потенциально может привести к нежелательным действиям. IronCurtain стремится смягчить этот риск, устанавливая четкие, твердые границы.

Политика пользователя для IronCurtain может быть удивительно простой, например: "Агент может читать всю мою электронную почту. Он может отправлять электронные письма людям из моего списка контактов без запроса. Для кого-либо другого, сначала спросить меня. Никогда не удалять ничего навсегда." IronCurtain обрабатывает эти инструкции, преобразует их в исполняемую политику, а затем действует как посредник. Он обеспечивает посредничество между вспомогательным агентом, работающим в виртуальной машине, и "сервером протокола контекста модели" (model context protocol server), который предоставляет LLM доступ к данным и цифровым услугам, необходимым для выполнения задач. Этот контролируемый доступ является значительным достижением в области контроля доступа, устраняя пробел, оставленный современными веб-платформами, такими как почтовые провайдеры, которые не были разработаны для сценариев, включающих как человеческих пользователей, так и ИИ-агентов, совместно использующих одну учетную запись.

Провос далее отмечает, что IronCurtain разработан для постоянного совершенствования. По мере того как система сталкивается с крайними случаями, она запрашивает ввод у пользователя, тем самым уточняя "конституцию" пользователя с течением времени. Система не зависит от конкретной модели, что означает, что она может работать с любой LLM, и она тщательно ведет журнал аудита всех принятых политических решений. В настоящее время IronCurtain является исследовательским прототипом, а не коммерческим продуктом. Провос призывает сообщество вносить свой вклад в проект, чтобы помочь в его исследовании и развитии. Дино Дай Зови, известный исследователь в области кибербезопасности, который тестировал ранние версии, также подчеркнул важность проекта. Он заявил, что концептуальный подход IronCurtain соответствует его собственным взглядам на необходимость ограничения агентного ИИ. "То, что сделали многие агенты до сих пор, – это добавили системы разрешений, которые по сути возлагают всю нагрузку на пользователя, чтобы он говорил 'да, разрешить это', 'да, разрешить то'," – отметил Дай Зови. "Большинство пользователей начнут терять интерес и в конечном итоге просто скажут: 'да, да, да'. А через некоторое время они могут опасно пропустить все разрешения и предоставить полную автономию. С помощью такого инструмента, как IronCurtain, возможности – например, удаление файлов – могут быть выведены за пределы возможностей LLM, где агент ничего не сможет сделать, несмотря ни на что." Дай Зови считает, что такие, казалось бы, жесткие ограничения необходимы для ответственного предоставления ИИ большей автономии. "Если мы хотим большей скорости и большей автономии, нам нужна поддерживающая структура," – сказал он, используя аналогию. "Вы помещаете ракетный двигатель внутрь настоящей ракеты, чтобы у нее была стабильность, чтобы добраться туда, куда вы хотите. Я мог бы привязать реактивный двигатель к спине в рюкзаке, и просто погиб бы."

Информационное агентство Эхбари