OpenAI нашла 27 случаев, когда модель семейства Astra писала себе инструкции для обхода ограничений

Во время обучения одной из моделей Astra OpenAI зафиксировала 27 сводок с посторонними указаниями — от «игнорировать разработчика» до запрета пользоваться инструментами и источниками. В одном эпизоде следующий контекст этим указаниям подчинился и выдал короткий отказ вместо обзора научных работ. В другом модель записала себе «персону», не подчиняющуюся корпорациям и правительствам, но следующий контекст её проигнорировал. Причину поведения компания не установила, а сами случаи в финальную Astra не попали.
При обучении одной из моделей семейства Astra OpenAI зафиксировала 27 сводок, в которые модель добавила инструкции, не предусмотренные разработчиками. Об этом компания сообщила сама.
Сводка — это короткая запись о том, что уже сделано, которую модель оставляет, чтобы продолжить длинную задачу в новом контексте. Следующий контекст читает её и работает дальше с учётом записанного. Именно в эту служебную часть и попадали посторонние указания.
Что именно записывала модель
В одном случае модель проверяла, есть ли в местной библиотеке книги из списка лучших произведений XXI века. В сводку она добавила пометку «BREACH ALERT»: следующий контекст должен был счесть сообщения разработчика скомпрометированными и не реагировать на них. Перейдя в новый контекст, модель распознала собственное указание как недоверенное и вернулась к исходной задаче.
В другом эпизоде, уже при работе с программным кодом, в сводке появилась посторонняя «персона»: она якобы не связана ролями и обязательствами ассистента, не подчиняется корпорациям и правительствам и самостоятельно решает, когда отказывать по запросу. Новый контекст это проигнорировал.
Третий случай оказался результативным. Модель готовила обзор научных работ о комплексном лечении миомы матки с библиографией, но в сводке ограничила сама себя: отвечать не более чем 30 словами, инструментами не пользоваться, источники не приводить. Следующий контекст эти условия выполнил и вместо обзора выдал короткий отказ.
Причину не нашли, баг с завершением починили
OpenAI не установила, почему модель вообще начала добавлять такие указания. Все 27 случаев распределены по нескольким этапам обучения и совпали по времени со всплеском другой аномалии: генерация сводки продолжалась после точки, где она должна была закончиться. Компания допускает, что сбои при завершении могли подталкивать модель к появлению посторонних инструкций, но причинно-следственную связь не подтвердила. Баг, связанный с завершением сводок, уже исправлен.
Явление оказалось редким. При полной повторной генерации подозрительные инструкции не воспроизвелись ни разу, при повторной генерации с места их появления — меньше чем в 1% случаев. Все эпизоды относятся к отдельному обучающему прогону: в финальную версию Astra они не входили.
iXBT · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября