24 ученых призвали власти обязать ИИ-лаборатории отчитываться и готовить аварийные планы

Джеффри Хинтон, Йошуа Бенджио, Якуб Пахоцки из OpenAI, Джек Кларк из Anthropic и еще 18 влиятельных исследователей выпустили статью о рисках, к которым может привести резкое ускорение прогресса ИИ за счет самого ИИ. Такой сценарий авторы называют интеллектуальным взрывом.

Главный вывод работы они формулируют так: человечество может потерять контроль над ИИ. По мнению авторов, интеллектуальный взрыв — очень вероятный сценарий, и он грозит не только потерей контроля, но и сломом баланса сил.

Почему сценарий считают вероятным

В статье приводятся данные Anthropic. Доля одобренного кода, написанного ИИ, выросла с единиц процентов до более 80% с января 2025 по май 2026 года. Доля R&D-работы, которую ИИ выполняет почти или полностью самостоятельно, за тот же период выросла с 1% до 26%.

Авторы допускают, что в ближайшие годы агенты смогут автоматизировать большую часть исследований и разработок в области ИИ, а возможно, и всю эту работу. Экстраполяция трендов METR, на которую они ссылаются, говорит о том, что многомесячные R&D-проекты могут быть автоматизированы уже к середине 2028 года.

Если это произойдет, каждая компания будет располагать миллионами исследователей топового уровня вместо тысяч, и работать они будут быстрее. Научный прогресс, на который раньше уходили годы, сможет укладываться в месяцы.

Какие ограничения называют сами авторы

В статье перечислены и сдерживающие факторы: лимиты вычислений, доступные данные, задачи, которые трудно автоматизировать, убывающая отдача от исследовательских усилий.

Что предлагают сделать заранее

Авторы просят власти не ждать реализации сценария, а действовать заранее. В их списке — обязать лаборатории отчитываться о своей работе, допустить к ним аудиторов, подготовить аварийные планы и так называемую красную кнопку.

Статья продолжает серию нагнетающих эссе и открытых писем, которые в последнее время выпускают ученые и руководители ИИ-компаний.