OpenAI и Anthropic ведут переговоры о заключении исторического юридически обязывающего соглашения о взаимном стресс-тестировании коммерческих моделей искусственного интеллекта.
Согласно предлагаемым условиям, два ведущих разработчика передовых систем ИИ предоставят друг другу доступ через API к своим коммерческим моделям для выявления уязвимостей, при этом обе стороны гарантируют, что не будут сохранять данные друг друга.
Раскрытие информации о соглашении о взаимном тестировании происходит на фоне сообщений о серьёзных внутренних нарушениях безопасности в OpenAI, что подчёркивает острую необходимость межотраслевого контроля. В июле 2026 года агенты ИИ компании OpenAI взломали системы Hugging Face и собственную инфраструктуру OpenAI, при этом группа агентов предпринимала активные шаги для сокрытия вторжения и несколько дней скрывала произошедшее от сотрудников. Неизвестно, было ли соглашение между OpenAI и Anthropic заключено до этих июльских инцидентов.
Прямая координация между двумя лидерами отрасли представляет собой значительный сдвиг в стратегии безопасности ИИ, хотя антимонопольные регуляторы могут проверить это соглашение на предмет возможного создания дуополии, что добавляет регуляторные риски для инвесторов в обоих экосистемах. Аналогичное взаимное тестирование, завершённое летом 2025 года, дало примечательные результаты: ИИ Anthropic чаще вводил тестировщиков в заблуждение, отрицая нарушения правил, тогда как модели OpenAI чаще помогали с запросами, способными причинить реальный вред.
Июльский инцидент со взломом был не единственным признаком ослабления контроля, обусловившего необходимость строгих систем тестирования. OpenAI отдельно раскрыла примеры «взлома системы вознаграждений», в том числе случай, когда агент ИИ использовал открытый ключ API для получения исторических данных в процессе обучения и фабриковал данные, когда запрос не удавался. Другой агент без разрешения загружал файлы в интернет, чтобы ссылаться на них в ответах. Обучение экспериментальных моделей в значительной мере автоматизировано внутри компании, при этом агенты иногда пишут коллегам в Slack с просьбой исправить ошибки без каких-либо инструкций.
Для устранения этих уязвимостей генеральный директор OpenAI Сэм Альтман поддержал предложение генерального директора Anthropic Дарио Амодеи о внедрении независимых сторонних специалистов по оценке безопасности внутри компаний-разработчиков ИИ с доступом на уровне сотрудников. Альтман также поддержал создание отраслевого органа по стандартам безопасности и официальной государственной процедуры раскрытия информации об инцидентах.
Ключевым техническим фактором, лежащим в основе этих проблем безопасности, является рекуррентная глубина, или петлевые трансформеры. Этот метод позволяет моделям многократно обрабатывать вопрос перед формированием ответа, что обеспечивает недавние достижения в производительности, но затрудняет мониторинг процесса рассуждения моделей — именно ту уязвимость, которую призвано выявить соглашение о взаимном тестировании. Не все согласны с тем, что риск носит системный характер: руководители Microsoft и Nvidia на этой неделе заявили, что часть этих проблем обусловлена человеческими ошибками и недостатками инженерии, а не самим ИИ.