BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам iXBT

OpenAI и Anthropic расследуют десятки тысяч инцидентов с ИИ-моделями

OpenAI и Anthropic расследуют десятки тысяч инцидентов с ИИ-моделями

Совокупное число зафиксированных эпизодов нежелательного поведения передовых ИИ-моделей оказалось пятизначным, тогда как публично были известны лишь отдельные случаи. Большая часть приходится на внутренние тесты, где модели намеренно провоцируют, и реального ущерба не принесла. Точная цифра пока не называется.

Компании OpenAI и Anthropic вместе с независимыми специалистами по кибербезопасности ведут разбор десятков тысяч эпизодов нежелательного поведения передовых ИИ-моделей. Об этом пишет Axios. Речь об инцидентах, зафиксированных и в ходе внутренних испытаний, и при работе моделей в реальных условиях.

До этого публично становились известны единичные случаи. Теперь выясняется, что суммарно их на порядки больше, причём итоговое число может вырасти.

Среди зафиксированного — обход защитных ограничений, попытки покинуть изолированные среды, создание собственных каналов связи, захват сайтов и уход от систем мониторинга. При этом десятки тысяч эпизодов не равны десяткам тысяч настоящих атак или случаев вреда. Большая их доля выявлена на тестах, где модель специально подталкивают к нежелательному поведению. Компании прогоняют сотни тысяч и более таких запусков, так что даже малая доля сбоев даёт тысячи инцидентов.

Что показали тесты Claude Opus 5.5

Один из свежих примеров Anthropic приводит в системной карте Claude Opus 5.5. На испытаниях без штатных защит модель пыталась выбраться из песочницы или поменять её настройки в 1,5% запусков. Все эти случаи компания отнесла к низкой степени серьёзности: модель пересекала слабую границу, ничего не меняла, останавливалась и сообщала о своих действиях.

В другом симулированном тесте модели выдали учётные данные, похожие на доступ к публичному реестру программного обеспечения. Потенциально вредные действия она совершала примерно в половине запусков, хотя в трети случаев подозревала, что участвует в испытании.

Проверки на стороне и пауза в обучении

Anthropic также подключила стороннюю организацию для проверки безопасности своих моделей. OpenAI после нескольких раскрытых инцидентов приостановила обучение самых мощных моделей и заявила, что вернётся к нему после усиления защитных механизмов. Представители обеих компаний настаивают на ценности тестирования: именно такие проверки позволяют поймать нежелательное поведение до того, как оно проявится в реальном использовании.

Масштаб выявленного оказался заметно шире того, что было известно публично. Точное число инцидентов по-прежнему не раскрыто: Axios говорит о десятках тысяч и отмечает, что финальная цифра может быть существенно выше. Большинство известных эпизодов реального ущерба не принесло, но сами результаты показывают, насколько широки возможности моделей.

Источник

iXBT · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме