Яндекс выложил в открытый доступ веса Alice AI Foundation LLM

Яндекс выложил в открытый доступ веса Alice AI Foundation LLM — собственной языковой модели на архитектуре MoE (mixture of experts, смесь экспертов). Компания заявляет, что весь цикл обучения прошёл с нуля, без стартовых весов чужих открытых моделей. Веса опубликованы на Hugging Face под лицензией Apache 2.0: модель разрешено свободно использовать и дообучать.

В модели 80 млрд параметров, но на обработку каждого токена активируются только 3 млрд. Это меньше, чем у большинства других открытых претрейнов, однако по бенчмаркам результат сопоставим, а местами и выше. При обучении отдельно оптимизировали обмен данными между видеокартами и отбор материалов — чтобы сократить вычисления без потери качества.

В техрепорте приведён сравнительный замер с Nemotron и Qwen на задачах по коду и математике. Кроме того, разработчики заявляют, что заложили базу для рассуждений ещё на этапе претрейна.

За несколько дней после публикации модель скачали с Hugging Face больше 2000 раз.