22 исследователя выпустили статью о рисках автоматизации разработки ИИ

Джеффри Хинтон, Йошуа Бенджио и ещё примерно двадцать исследователей опубликовали в Кембридже статью о сценарии «интеллектуального взрыва». Всего у работы 22 автора, среди них главный научный сотрудник OpenAI Якуб Пачоцки и сооснователь Anthropic Джек Кларк. Центральный вопрос статьи: что произойдёт, если ИИ начнёт ускорять собственное развитие так, что годы прогресса уложатся в месяцы.

Отправная точка для авторов — то, что уже наблюдается в лабораториях. В Anthropic доля кода, написанного моделями, с начала 2025 года выросла с единиц процентов до более чем 80%. Доля R&D-задач, которые ИИ выполняет автономно, за полгода увеличилась с 1% до 26%.

Механизм взрыва описывается так: модели расширяют штат исследователей, исследователи улучшают модели, и цикл замыкается. Вычислительных мощностей одной лаборатории, по мнению авторов, хватило бы на эквивалент миллионов исследователей высшего уровня. При сохранении исторических темпов отдачи от исследований после полной автоматизации прогресс ускорился бы в 10 раз примерно за полтора года.

Сценарий может не реализоваться — он упрётся в доступные вычисления, данные или длительность претрейнов. Но авторы считают риски серьёзными: общество не успеет адаптироваться, люди потеряют контроль над моделями, а лидер гонки получит чрезмерный перевес.

В качестве мер регуляторам предлагают обязать лаборатории отчитываться о степени автоматизации R&D и допускать внешних аудиторов к проверке моделей до внутреннего развёртывания. Параллельно, по мнению авторов, нужно заранее подготовить механизмы замедления: лимиты на прирост способностей за период, возможность приостанавливать отдельные нагрузки в датацентрах, международные соглашения с проверкой исполнения. Если взрыв начнётся, решать что-либо будет уже поздно.