ИИ-подход Anthropic "Безопасность прежде всего" вступает в конфликт с Пентагоном на фоне расширения автономных агентов

США - Информационное агентство Эхбари

ИИ-подход Anthropic "Безопасность прежде всего" вступает в конфликт с Пентагоном на фоне расширения автономных агентов

Компания Anthropic, лидер в области искусственного интеллекта, основанная на принципе "безопасность прежде всего" (safety first), оказывается на критически важном этапе своих отношений с Министерством обороны США (Пентагоном). С недавним выпуском своих самых совершенных автономных агентов, военный спрос на эти передовые возможности усиливается, что представляет собой серьезную проблему для основополагающих этических обязательств компании и ее стратегии глобального масштабирования.

5 февраля Anthropic представила Claude Opus 4.6, свою самую мощную модель ИИ на сегодняшний день. Ключевой особенностью этого выпуска является его способность координировать команды автономных агентов — множества ИИ, которые могут распределять задачи и работать параллельно для достижения сложных целей. Всего двенадцать дней спустя после выпуска Opus 4.6, компания представила Sonnet 4.6, более экономичную модель, которая не уступает Opus в навыках программирования и компьютерных вычислениях. В то время как первые модели Anthropic, способные управлять компьютерами, представленные в конце 2024 года, едва могли справиться с веб-браузером, Sonnet 4.6 теперь демонстрирует возможности человеческого уровня в навигации по веб-приложениям и заполнении форм, согласно данным компании. Обе модели обладают достаточным объемом рабочей памяти для хранения небольшой библиотеки, что позволяет выполнять более сложные и продолжительные операции.

Корпоративный сектор в настоящее время составляет около 80 процентов доходов Anthropic, и компания недавно завершила раунд финансирования в размере 30 миллиардов долларов, достигнув ошеломляющей оценки в 380 миллиардов долларов. По всем доступным показателям, Anthropic является одной из самых быстрорастущих технологических компаний в истории. Однако, за громкими запусками продуктов и впечатляющими оценками скрывается значительная угроза: Пентагон дал понять, что может классифицировать Anthropic как "риск для цепочки поставок" — маркировка, обычно предназначенная для иностранных противников — если компания не ослабит свои ограничения на военное использование. Такое обозначение может фактически вынудить подрядчиков Пентагона исключить Claude из чувствительных проектов, потенциально препятствуя его внедрению в критически важные оборонные приложения.

Напряженность усилилась после операции 3 января, в ходе которой силы специальных операций США провели рейд в Венесуэле, что привело к захвату Николаса Мадуро. По сообщениям The Wall Street Journal, Claude использовался во время этой операции через партнерство Anthropic с оборонным подрядчиком Palantir. Axios также сообщил, что этот инцидент обострил и без того напряженные переговоры относительно точного допустимого использования Claude. Когда представитель Anthropic обратился к Palantir с вопросом об участии технологии в рейде, этот вопрос, как сообщается, вызвал немедленную тревогу в Пентагоне. Хотя Anthropic оспаривает, что это обращение было направлено на выражение неодобрения конкретной операции, высокопоставленный представитель администрации сообщил Axios, что министр обороны Пит Хегсет "близок" к разрыву отношений, добавив: "Мы позаботимся о том, чтобы они заплатили цену за то, что поставили нас в такое положение".

Этот конфликт поднимает фундаментальный вопрос: может ли компания, основанная с целью предотвращения катастрофы, связанной с ИИ, сохранить свою этическую целостность, когда ее самые мощные инструменты — автономные агенты, способные обрабатывать огромные объемы данных, выявлять закономерности и действовать на основе своих выводов — начинают работать в рамках секретных военных сетей? Совместим ли ИИ "безопасность прежде всего" с клиентом, требующим систем, способных рассуждать, планировать и действовать автономно в военных масштабах?

Anthropic установила две четкие красные линии: запрет на массовую слежку за американцами и запрет на полностью автономное оружие. Генеральный директор Дарио Амодеи заявил, что Anthropic будет поддерживать "национальную оборону во всех аспектах, кроме тех, которые сделают нас похожими на наших автократических противников". В то время как другие крупные ИИ-лаборатории, включая OpenAI, Google и xAI, согласились ослабить гарантии для использования в несекретных системах Пентагона, их инструменты еще не развернуты в секретных военных сетях. Пентагон, напротив, настаивает на том, чтобы возможности ИИ были доступны "для всех законных целей".

Это трение напрямую проверяет центральный тезис Anthropic. Компания была основана в 2021 году бывшими руководителями OpenAI, которые считали, что индустрия не уделяет должного внимания безопасности. Они позиционировали Claude как этически ответственную альтернативу. В конце 2024 года Anthropic сделала Claude доступным на платформе Palantir с уровнем безопасности облака до "секретного", что, по общедоступным данным, делает Claude первой большой языковой моделью, работающей в рамках секретных систем.

Нынешний тупик заставляет критически изучить, является ли идентичность "безопасность прежде всего" устойчивой после того, как технология будет интегрирована в секретные военные операции, и действительно ли такие красные линии практически осуществимы. Эмелия Пробаско, старший научный сотрудник Центра безопасности и развивающихся технологий Джорджтаунского университета, отмечает: "Эти слова кажутся простыми: незаконная слежка за американцами. Но когда вы углубляетесь, существуют целые армии юристов, которые пытаются разобраться, как интерпретировать эту фразу".

Исторический контекст также имеет значение. После разоблачений Эдварда Сноудена правительство США защищало массовый сбор телефонных метаданных — записей звонков, детализирующих, кто кому звонил, когда и как долго — утверждая, что такие данные не несли такой же защиты конфиденциальности, как содержание разговоров. Дебаты о конфиденциальности тогда были сосредоточены на людях-аналитиках, изучающих эти записи. Теперь представьте себе систему ИИ, запрашивающую огромные наборы данных, составляющую карты сетей, выявляющую закономерности и помечающую лиц, представляющих интерес. Существующая правовая база была разработана для эпохи человеческого контроля, а не для анализа в масштабах машины.

"В некотором смысле, любой вид массового сбора данных, который вы просите ИИ проанализировать, является массовой слежкой по определению", — говорит Питер Асаро, соучредитель Международного комитета по контролю над робототехническим оружием. Axios сообщил, что высокопоставленный чиновник утверждал, что существует "значительная серая зона" вокруг ограничений Anthropic, и что Пентагону "непрактично вести переговоры об индивидуальных случаях использования" с компанией. Асаро предлагает две интерпретации этой жалобы: снисходительную, предполагающую, что определение слежки действительно невозможно в эпоху ИИ, и пессимистичную, согласно которой "они действительно хотят использовать их для массовой слежки и автономного оружия и не хотят этого признавать, поэтому они называют это серой зоной".

Что касается второй красной линии Anthropic, автономного оружия — которое узко определяется как системы, выбирающие и поражающие цели без человеческого надзора — определение может показаться управляемым. Однако Асаро видит более тревожную серую зону. Он указывает на израильские системы "Lavender" и "Gospel", которые, по сообщениям, используют ИИ для генерации обширных списков целей, представляемых на утверждение операторам-людям перед нанесением ударов. "Вы, по сути, автоматизировали элемент наведения", — объясняет Асаро, — "что является тем, что нас очень беспокоит и тесно связано, даже если это выходит за узкие строгие рамки определения". Ключевой вопрос заключается в том, может ли Claude, работая в системах Palantir в рамках секретных сетей, выполнять аналогичные функции — обрабатывать разведданные, выявлять закономерности и помечать лиц, представляющих интерес — без того, чтобы Anthropic могла точно определить, где заканчивается аналитическая работа и начинается наведение?

Операция по захвату Мадуро служит критически важным испытанием этого различия. "Если вы собираете данные и разведданные для идентификации целей, но люди решают: ‘Хорошо, вот список целей, которые мы действительно собираемся бомбить’ — тогда у вас есть этот уровень человеческого надзора, который мы пытаемся требовать", — говорит Асаро. "С другой стороны, вы все равно становитесь зависимы от системы для принятия решений". Это вызывает опасения относительно потенциала систем стать квази-автономными, даже при участии человека. Задача Anthropic заключается в обеспечении того, чтобы ее красные линии оставались четкими и применимыми по мере интеграции ее технологий в сложные, критически важные военные среды, где скорость и точность имеют первостепенное значение, а границы между анализом разведданных и наведением постоянно развиваются.

Информационное агентство Эхбари