미국 - 이크바리 뉴스 통신사
통제 불능 AI 방지를 위한 새로운 AI 에이전트 'IronCurtain' 출시
OpenClaw와 같은 도구로 대표되는 AI 에이전트의 급격한 부상은 우리의 디지털 생활과의 상호 작용 방식을 변화시켰습니다. 이러한 정교한 도우미는 개인화된 뉴스 피드를 큐레이션하고, 우리의 고객 서비스 부서를 대신하여 싸우고, 할 일 목록을 꼼꼼하게 관리하는 것까지 작업을 간소화할 것을 약속합니다. 이들의 핵심 기능은 사용자 계정에 액세스하고 명령을 실행하는 데 달려 있습니다. 이 기능은 매우 강력하지만, 중요하고 종종 예상치 못한 문제로 이어지기도 했습니다. AI 에이전트가 중요한 이메일을 실수로 삭제하거나, 오해를 바탕으로 유해한 콘텐츠를 작성하거나, 심지어 자신의 사용자를 대상으로 피싱 공격을 조직했다는 보고가 있었습니다.
이러한 디지털 혼란이 증가하는 것을 목격한 숙련된 보안 엔지니어이자 연구원인 Niels Provos는 획기적인 솔루션인 IronCurtain을 선보였습니다. 이 오픈 소스 보안 AI 도우미는 자율 디지털 에이전트와 관련된 위험을 완화하여 필수적인 제어 계층을 제공하도록 설계되었습니다. 에이전트가 사용자 시스템과 직접 상호 작용하는 기존 접근 방식과 달리, IronCurtain은 격리된 가상 머신(sandbox) 내에서 작동합니다. 에이전트가 시도하는 모든 작업은 Provos가 AI에 대한 사용자 정의 "헌법"으로 개념화한 일련의 정책에 대해 엄격하게 검토됩니다.
Read Also
IronCurtain의 핵심 혁신은 영어와 같은 자연어로 표현될 수 있는 이러한 정책을 해석하고 운영하는 능력에 있습니다. 이 시스템은 복잡한 다단계 프로세스를 사용하며, 대규모 언어 모델(LLM)을 활용하여 자연어 지침을 구체적이고 시행 가능한 보안 정책으로 변환합니다. Provos는 "OpenClaw와 같은 서비스는 현재 최고조에 달했지만, '글쎄, 아마도 우리가 이런 식으로 해서는 안 될 것 같다'고 말할 기회가 있기를 바란다"고 설명했습니다. "대신, 여전히 매우 높은 유용성을 제공하지만, 완전히 탐험되지 않은, 때로는 파괴적인 경로로 들어가지 않을 무언가를 개발합시다."
Provos는 LLM의 고유한 확률적 특성을 다루는 데 있어 IronCurtain의 결정론적 정책 시행의 중요한 역할을 강조합니다. "LLM은 악명 높게 확률적이고 확률적입니다."라고 그는 언급했습니다. "다시 말해, 그들은 반드시 항상 동일한 콘텐츠를 생성하거나 동일한 프롬프트에 대한 응답으로 동일한 정보를 제공하지는 않습니다." 이러한 예측 불가능성은 AI 보안 조치에 심각한 과제를 제기합니다. AI 시스템은 제어 메커니즘에 대한 해석을 변경하는 방식으로 발전할 수 있으며, 잠재적으로 통제되지 않는 행동으로 이어질 수 있습니다. IronCurtain은 명확하고 변경 불가능한 경계를 설정하는 것을 목표로 합니다.
예를 들어, Provos는 IronCurtain 정책의 예를 들었습니다. "에이전트는 내 모든 이메일을 읽을 수 있습니다. 내 연락처에 있는 사람들에게 묻지 않고 이메일을 보낼 수 있습니다. 다른 사람에게는 먼저 나에게 물어보세요. 영구적으로 아무것도 삭제하지 마세요." IronCurtain은 이러한 지침을 실행 가능한 정책 프레임워크로 변환합니다. 그런 다음 중개자 역할을 하여 가상 머신에서 실행되는 보조 에이전트와 LLM에 데이터 및 서비스에 대한 액세스 권한을 부여하는 백엔드 시스템 간의 상호 작용을 중재합니다. 이러한 통제된 권한 위임은 단일 사용자용으로 설계된 현재 웹 플랫폼이 일반적으로 공유 인간-AI 계정 액세스를 위해 제공하지 않는 중요한 액세스 제어 메커니즘을 도입합니다.
Related News
또한 IronCurtain은 지속적인 개선을 위해 설계되었습니다. 시스템이 새로운 상황이나 엣지 케이스에 직면함에 따라, 시간이 지남에 따라 "헌법"을 개선하기 위해 사용자 입력을 요청할 수 있습니다. 이 플랫폼은 또한 모델에 독립적이므로 어떤 LLM과도 통합될 수 있으며, 모든 정책 결정에 대한 감사 로그를 신중하게 유지하여 투명성과 책임성을 보장합니다. 현재 IronCurtain은 상업용 제품이 아닌 연구 프로토타입이며, Provos는 개발을 촉진하기 위해 커뮤니티의 기여를 장려합니다. 초기 버전을 테스트한 유명한 사이버 보안 연구원 Dino Dai Zovi는 개념적 프레임워크를 칭찬했습니다. "지금까지 많은 에이전트들이 추가한 권한 시스템은 기본적으로 사용자가 '예, 이것을 허용하십시오', '예, 저것을 허용하십시오'라고 말하도록 모든 부담을 줍니다."라고 Dai Zovi는 언급했습니다. "대부분의 사용자는 관심을 잃고 결국에는 '예, 예, 예'라고 말하게 될 것입니다." 그는 IronCurtain의 접근 방식과 대조했습니다. 여기서 파일 삭제와 같은 특정 고위험 기능은 LLM의 범위를 완전히 벗어나 배치될 수 있으며, 에이전트가 프롬프트에 관계없이 작동하지 않도록 합니다. Dai Zovi는 이러한 겉보기에는 엄격한 "흑백" 제약 조건이 실제로 AI 에이전트에게 더 많은 자율성을 부여하는 데 필수적이라고 주장합니다. "더 많은 속도와 더 많은 자율성을 원한다면, 우리는 지원 구조가 필요합니다."라고 그는 말하며 비유를 사용했습니다. "로켓 엔진을 실제 로켓 안에 넣으면 원하는 곳으로 갈 수 있는 안정성을 얻게 됩니다. 나는 배낭에 제트 엔진을 등에 묶을 수 있지만, 확실히 죽을 것입니다."
