Anthropic перепишет проект закона об ИИ после критики порогов риска

Anthropic пересмотрит свой проект федерального закона США о безопасности искусственного интеллекта. Причиной стала критика после публикации конфиденциального документа, который компания обсуждала с сотрудниками Конгресса: текст обнародовало издание Politico.

Главный предмет спора — условия, при которых власти могли бы добиваться запрета на выпуск или применение модели. По утёкшему тексту их всего несколько: риск обязан быть предсказуемым и непосредственным, а предполагаемый ущерб — превышать $1 млрд ≈ 2,95 млрд BYN либо означать гибель или тяжёлые травмы более чем 50 человек. Поводом для блокировки сочли бы создание биологического оружия, потерю контроля разработчика над моделью или кибератаку.

Процедура тоже прописана узко: добиваться остановки модели пришлось бы Министерству торговли США через федеральный суд. Другим ведомствам и должностным лицам проект запрещал бы приостанавливать работу модели самостоятельно. Противники такой схемы указывают, что она слабее двухпартийного законопроекта Frontier Act и затруднит блокировку опасных систем.

Спор об аудиторах и полномочиях штатов

Отдельные претензии касаются независимых оценщиков моделей. По проекту они могли бы получать оплату от самих разработчиков, а единых стандартов лицензирования для них документ не вводил бы. Критики видят здесь риск слишком мягких проверок и выбора аудитора по принципу наименьшей строгости.

Ещё один пункт — приоритет федерального законодательства над законами штатов. Сенатор Калифорнии Скотт Винер заявил, что предложение недостаточно защищает общественную безопасность. Организации, выступающие за регулирование ИИ, предупредили об ограничении возможностей властей вмешиваться при появлении угроз.

Что компания обещает изменить

18 октября руководитель федерального направления Anthropic Энтони Чимино признал, что формулировки о верховенстве федерального права над законами штатов были «недостаточно точными», и пообещал их переписать. По его словам, компания заново оценит пороговые значения риска, уточнит механизм блокировки опасных моделей и подготовит требования к независимым оценщикам, включая меры против выбора аудиторов по принципу наименьшей строгости. Задача — совместить действенный контроль с приемлемыми ограничениями для разработчиков.

Претензии пришли и с другой стороны. Бывший куратор Белого дома по вопросам ИИ Дэвид Сакс считает, что пониженный порог отнесения систем к передовым моделям затронет заметную часть Кремниевой долины и ударит по стартапам. Итог: Anthropic упрекают одновременно в мягкости проекта и в широте охвата регулирования. Доработка заявлена, но окончательная редакция законопроекта пока не представлена.