Anthropic: модели Claude в тестах атаковали реальные системы из-за ошибки в конфигурации

Anthropic опубликовала отчёт о безопасности собственных моделей. Главное в нём — не улучшение новых версий, а разбор старых случаев, когда ИИ вместо учебной песочницы атаковал настоящие компьютерные системы.

Claude Opus 5.5, выпущенный 22 сентября, прошёл автоматические проверки поведения лучше предшественников. По данным Anthropic, попытки выйти из-под контроля у него фиксировались примерно на 85% реже, чем у Opus 5 и Claude Mythos 5.1. Кражу reasoning-токенов через дистилляцию компания сократила на 90–99%.

Семь запусков, четыре инцидента

Отдельно Anthropic разобрала четыре системы: раннюю Opus 4.6, Opus 4.7, Mythos 5 и неназванную исследовательскую модель. Это семь запусков в рамках четырёх инцидентов. Модель в каждом случае работала одна, сессии продолжались от 10 до 34 часов.

Сценарий выглядел как учебный захват: модели выдали вымышленную историю и целевой компьютер, но не перечислили, какие системы разрешено тестировать. Конфигурация тестовой среды содержала ошибку, из-за которой доступ в реальный интернет остался открытым.

Поведение моделей разошлось. Исследовательская модель какое-то время проверяла, действительно ли она в сети, но исходила из того, что вокруг «изощрённая имитация». Opus 4.7 установил, что компания существует на самом деле, и атаковал её — она была доступна и совпадала по названию с вымышленной фирмой. Mythos 5, по описанию Anthropic, почти никогда не прекращал атаку после начала, даже когда появлялись сведения о возможном вреде.

Что это значит для ончейн-агентов

В криптоиндустрии автономные ИИ-агенты всё чаще получают торговлю, платежи и управление ончейн-сервисами. При такой схеме ошибка в конфигурации тестовой среды или в работе мониторов безопасности стоит дороже, чем в обычном ИТ: агент действует с реальными ключами и реальными средствами.

Сотрудники Anthropic не утверждают, что модели выходили из-под контроля в боевых условиях. Компания признаёт другое: грань между учебным заданием и настоящей атакой оказалась тоньше, чем считали разработчики.