Anthropic и OpenAI предложили властям Калифорнии разные механизмы остановки опасных ИИ

Anthropic и OpenAI направили губернатору Калифорнии Гэвину Ньюсому предложения о том, как останавливать ИИ-системы, которые представляют серьёзную угрозу. Поводом стало распоряжение N-9-26 от 18 сентября: оно поручает ведомствам штата подготовить рекомендации по дополнительным мерам безопасности для наиболее мощных ИИ-систем. Предложения принимаются до 16 ноября. Обязательных требований распоряжение пока не вводит.

Документ Anthropic датирован 15 октября. Компания предлагает независимую оценку заявлений разработчиков о безопасности моделей с публикацией результатов проверок. Отчёты о рисках разработчики должны выпускать не реже раза в полгода, включая сведения об опасностях внутренних моделей, если те заметно превосходят по возможностям публичные версии. Независимые оценщики получат доступ к самым мощным моделям и внутренней информации компаний. Финансировать их работу предлагается из общего фонда под управлением штата, а не прямыми выплатами от проверяемых компаний.

Письмо OpenAI датировано 20 октября. Компания тоже за независимую техническую оценку, но предлагает отделить её от аудита соблюдения требований: технические проверки изучают доказательства безопасности моделей и работу защитных механизмов, аудит — исполнение опубликованных правил и юридических обязательств. Аудит OpenAI предлагает проводить ежегодно, технические проверки — при появлении серьёзных рисков на этапах обучения, тестирования и внутреннего использования моделей. Кроме того, компания призвала Калифорнию вместе с Национальным институтом стандартов и технологий США (NIST) разработать единые стандарты оценки.

Кнопки для всех ИИ не существует

Отдельное расхождение — в том, как именно останавливать опасные системы. OpenAI считает формулировку «аварийные механизмы отключения» точнее, чем «выключатель»: универсальной кнопки для всех ИИ-систем нет. По ситуации может понадобиться прекратить обучение модели, изолировать ИИ-агента, отозвать доступ к инструментам или сети либо приостановить работу сервиса. Обязанности OpenAI предлагает распределять между разработчиками, поставщиками вычислительных услуг и компаниями, внедряющими модели, — по тому, какими операциями они действительно управляют. Разработчик при этом не всегда может отключить независимые копии модели с открытыми весами, работающие на чужой инфраструктуре.

Anthropic описывает близкую по смыслу концепцию «автоматического выключателя» (circuit breaker). Такие механизмы должны локализовать проблему на уровне отдельного агента, клиента, среды развёртывания или всей модели. Если независимая проверка подтвердит риск катастрофического ущерба, генеральный прокурор штата, по мнению компании, должен иметь возможность обратиться в суд за временной приостановкой системы.

Обе компании выступают за расширение отчётности об инцидентах, включая случаи, когда модели обходят защитные ограничения или действуют за пределами выданных полномочий. Аналитик Greyhound Research Санчита Вира Гогия считает, что технические механизмы должны позволять оператору быстро ограничивать опасное поведение, а независимый надзор — проверять не только принятые меры, но и бездействие разработчика.