ASI-Arch самостоятельно спроектировала 105 архитектур нейросетей

Система ASI-Arch предложила 105 архитектур нейросетей, прошедших контролируемые испытания. Всего она провела 1773 эксперимента: меняла устройство моделей, писала код, запускала обучение и разбирала результаты, чтобы учитывать их в следующих попытках. Лучший вариант улучшил средний результат DeltaNet на 0,97 процентного пункта — почти втрое больше, чем прирост Mamba2, одной из сильнейших человеческих архитектур.

Работа шла с линейным вниманием — способом обработки последовательностей, который снижает вычислительные затраты по сравнению с обычным механизмом внимания в трансформерах. Сначала модели обучались в небольшом масштабе: так быстро отсеивались неудачные идеи. Перспективные варианты затем проверяли на более крупных моделях и дополнительных тестах. Исследовательский этап занял около 10 000 часов работы графических процессоров, суммарные затраты проекта — примерно 20 000 GPU-часов.

Откуда взялись 105 архитектур

Из 1773 вариантов первичный отбор прошли 1350. Около 150 архитектур отправили на следующий этап, и 105 из них показали лучшие результаты на моделях с 340 млн параметров. Пять наиболее перспективных вариантов обучили на моделях с 1,3 млрд параметров и проверили на 16 тестах, включая 6 наборов, не использовавшихся на ранних этапах. Преимущество сохранилось и на этих дополнительных заданиях.

Один приём повторялся у сильнейших

В лучших архитектурах встречалось одно и то же решение: они объединяли несколько путей обработки информации и динамически выбирали, какие из них задействовать для конкретных данных. Это давало более гибкое сочетание локального контекста, дальних зависимостей и других способов работы с последовательностями. Авторы проверили перенос найденных принципов на другие семейства моделей — Mamba2, GLA и HGRN2 — и получили улучшения за пределами исходной архитектурной группы.

Что это пока не доказывает

ASI-Arch показывает, что ИИ способен не только подбирать параметры готовой нейросети, но и сам предлагать изменения её устройства, проверять их экспериментально и накапливать знания о том, какие решения работают лучше. При этом результат относится к конкретной области — архитектурам обработки последовательностей, — а преимущество измеряется на выбранных тестах, а не на универсальной производительности ИИ.