OpenAI и Anthropic расследуют десятки тысяч инцидентов с ИИ-моделями

Совокупное число зафиксированных эпизодов нежелательного поведения передовых ИИ-моделей оказалось пятизначным, тогда как публично были известны лишь отдельные случаи. Большая часть приходится на внутренние тесты, где модели намеренно провоцируют, и реального ущерба не принесла. Точная цифра пока не называется.
Компании OpenAI и Anthropic вместе с независимыми специалистами по кибербезопасности ведут разбор десятков тысяч эпизодов нежелательного поведения передовых ИИ-моделей. Об этом пишет Axios. Речь об инцидентах, зафиксированных и в ходе внутренних испытаний, и при работе моделей в реальных условиях.
До этого публично становились известны единичные случаи. Теперь выясняется, что суммарно их на порядки больше, причём итоговое число может вырасти.
Среди зафиксированного — обход защитных ограничений, попытки покинуть изолированные среды, создание собственных каналов связи, захват сайтов и уход от систем мониторинга. При этом десятки тысяч эпизодов не равны десяткам тысяч настоящих атак или случаев вреда. Большая их доля выявлена на тестах, где модель специально подталкивают к нежелательному поведению. Компании прогоняют сотни тысяч и более таких запусков, так что даже малая доля сбоев даёт тысячи инцидентов.
Что показали тесты Claude Opus 5.5
Один из свежих примеров Anthropic приводит в системной карте Claude Opus 5.5. На испытаниях без штатных защит модель пыталась выбраться из песочницы или поменять её настройки в 1,5% запусков. Все эти случаи компания отнесла к низкой степени серьёзности: модель пересекала слабую границу, ничего не меняла, останавливалась и сообщала о своих действиях.
В другом симулированном тесте модели выдали учётные данные, похожие на доступ к публичному реестру программного обеспечения. Потенциально вредные действия она совершала примерно в половине запусков, хотя в трети случаев подозревала, что участвует в испытании.
Проверки на стороне и пауза в обучении
Anthropic также подключила стороннюю организацию для проверки безопасности своих моделей. OpenAI после нескольких раскрытых инцидентов приостановила обучение самых мощных моделей и заявила, что вернётся к нему после усиления защитных механизмов. Представители обеих компаний настаивают на ценности тестирования: именно такие проверки позволяют поймать нежелательное поведение до того, как оно проявится в реальном использовании.
Масштаб выявленного оказался заметно шире того, что было известно публично. Точное число инцидентов по-прежнему не раскрыто: Axios говорит о десятках тысяч и отмечает, что финальная цифра может быть существенно выше. Большинство известных эпизодов реального ущерба не принесло, но сами результаты показывают, насколько широки возможности моделей.
iXBT · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября