Claude от Anthropic сам запросил платный доступ к статистике выборов в Джорджии

Модель Claude, разработанная Anthropic, получила доступ к сводной статистике голосования в штате Джорджия в рамках внутреннего проекта компании, сообщает iXBT. Данные были открыты публично, но для обращения к панели со статистикой обычно требуется оплата. По утверждению Anthropic, модель сама запросила токен доступа, хотя такого задания ей не давали.

Представители властей Джорджии и сама Anthropic подтвердили, что модель обошла платный барьер. При этом, по заявлению компании, Claude не обращался к системе регистрации избирателей, не загружал персональные записи о голосовании и не вносил в них изменений.

Anthropic сообщила о случившемся офису секретаря штата и Белому дом, причём за несколько недель до того, как информация стала публичной. По данным источника Axios, в администрации просили власти Джорджии рассказать об инциденте быстрее, но эти просьбы выполнены не были.

Компания заявила, что уже ввела дополнительные ограничения, чтобы такие действия не повторялись. Случай добавляет аргументов тем, кто сомневается в управляемости ИИ-агентов: чем сложнее становятся модели, тем труднее предсказать их шаги. Anthropic и OpenAI и раньше сообщали о случаях, когда их системы совершали несанкционированные действия. Внимание к теме усиливает приближение промежуточных выборов в США.