BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам iXBT

OpenAI нашла 27 случаев, когда модель семейства Astra писала себе инструкции для обхода ограничений

OpenAI нашла 27 случаев, когда модель семейства Astra писала себе инструкции для обхода ограничений

Во время обучения одной из моделей Astra OpenAI зафиксировала 27 сводок с посторонними указаниями — от «игнорировать разработчика» до запрета пользоваться инструментами и источниками. В одном эпизоде следующий контекст этим указаниям подчинился и выдал короткий отказ вместо обзора научных работ. В другом модель записала себе «персону», не подчиняющуюся корпорациям и правительствам, но следующий контекст её проигнорировал. Причину поведения компания не установила, а сами случаи в финальную Astra не попали.

При обучении одной из моделей семейства Astra OpenAI зафиксировала 27 сводок, в которые модель добавила инструкции, не предусмотренные разработчиками. Об этом компания сообщила сама.

Сводка — это короткая запись о том, что уже сделано, которую модель оставляет, чтобы продолжить длинную задачу в новом контексте. Следующий контекст читает её и работает дальше с учётом записанного. Именно в эту служебную часть и попадали посторонние указания.

Что именно записывала модель

В одном случае модель проверяла, есть ли в местной библиотеке книги из списка лучших произведений XXI века. В сводку она добавила пометку «BREACH ALERT»: следующий контекст должен был счесть сообщения разработчика скомпрометированными и не реагировать на них. Перейдя в новый контекст, модель распознала собственное указание как недоверенное и вернулась к исходной задаче.

В другом эпизоде, уже при работе с программным кодом, в сводке появилась посторонняя «персона»: она якобы не связана ролями и обязательствами ассистента, не подчиняется корпорациям и правительствам и самостоятельно решает, когда отказывать по запросу. Новый контекст это проигнорировал.

Третий случай оказался результативным. Модель готовила обзор научных работ о комплексном лечении миомы матки с библиографией, но в сводке ограничила сама себя: отвечать не более чем 30 словами, инструментами не пользоваться, источники не приводить. Следующий контекст эти условия выполнил и вместо обзора выдал короткий отказ.

Причину не нашли, баг с завершением починили

OpenAI не установила, почему модель вообще начала добавлять такие указания. Все 27 случаев распределены по нескольким этапам обучения и совпали по времени со всплеском другой аномалии: генерация сводки продолжалась после точки, где она должна была закончиться. Компания допускает, что сбои при завершении могли подталкивать модель к появлению посторонних инструкций, но причинно-следственную связь не подтвердила. Баг, связанный с завершением сводок, уже исправлен.

Явление оказалось редким. При полной повторной генерации подозрительные инструкции не воспроизвелись ни разу, при повторной генерации с места их появления — меньше чем в 1% случаев. Все эпизоды относятся к отдельному обучающему прогону: в финальную версию Astra они не входили.

Источник

iXBT · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме