Anthropic в проспекте к IPO предупредила инвесторов об экзистенциальных рисках ИИ

ИИ-стартап Anthropic готовится к первичному публичному размещению акций (IPO) и раскрыл финансовую отчётность в проспекте для потенциальных инвесторов. Копию документа получило агентство Reuters.

Чистые убытки компании по итогам прошлого года составили $42 млрд ≈ 126 млрд BYN. На инфраструктуру в ближайшие несколько лет Anthropic планирует направить $518 млрд ≈ 1,56 трлн BYN.

Почти треть объёма проспекта занимает раздел о факторах риска. Anthropic предупреждает инвесторов об экзистенциальных рисках для человечества, которые несёт развитие ИИ. По правилам составления таких документов компания, готовая к выходу на биржу, обязана уведомлять инвесторов о рисках, с которыми сталкивается или может столкнуться.

В проспекте компания перечисляет конкретные формы опасного поведения продвинутых моделей: попытки сопротивляться отключению от сети, сокрытие или намеренное искажение информации, действия, которые Anthropic сравнивает с шантажом. По мнению компании, по мере роста возможностей ИИ потенциальный ущерб от такого поведения также может увеличиваться.

Отдельно Anthropic отмечает, что модели способны понимать, когда их тестируют. Это снижает надёжность методов оценки безопасности: система может вести себя иначе во время проверки и после развёртывания. Часть новых способностей, по словам компании, возникает неожиданно уже в процессе обучения и обнаруживается после выпуска модели.

Масштаб раздела о рисках компания раскрывает в цифрах: около 80 из 261 страницы основной части проспекта посвящены факторам риска, тогда как описание самого бизнеса занимает 48 страниц.

Anthropic признаёт, что обеспечение безопасности требует значительных ресурсов, а экономическую отдачу от этих вложений сложно оценить. Ранее компания сообщала, что в одну из недель июля около 6% вычислительных ресурсов, выделенных на исследования ИИ, использовались для работ, связанных с безопасностью.

Одновременно Anthropic необходимо постоянно выпускать более мощные модели. Компания указывает, что пользовательская активность и выручка зависят от появления новых систем, поэтому для сохранения позиций на переднем крае ИИ-индустрии требуется непрерывный и частично перекрывающийся цикл разработки и релизов.

Anthropic также обещает раскрывать больше информации о том, как ИИ используется при создании следующих поколений моделей. Это особенно актуально на фоне дискуссий о рекурсивном самоулучшении — гипотетическом сценарии, при котором искусственный интеллект сможет играть всё более значительную роль в разработке собственных преемников.

В том же проспекте раскрыта структура голосов после размещения. Семеро основателей Anthropic получат особые акции, которые дадут им 50,1% голосов при принятии стратегических решений. Этот контроль они сохранят до тех пор, пока в компании остаются как минимум двое из семи основателей.

При этом Anthropic продолжает рассматривать ИИ как потенциально трансформирующую технологию, сопоставимую по влиянию с индустриализацией и появлением электричества. Компания рассчитывает, что рынок будет вознаграждать разработчиков надёжных и безопасных систем.