Яндекс выложил в открытый доступ веса Alice AI Foundation LLM

Яндекс опубликовал веса языковой модели Alice AI Foundation LLM на 80 млрд параметров под лицензией Apache 2.0. Модель обучена с нуля без стартовых весов сторонних открытых проектов, её можно свободно использовать и дообучать.
Яндекс выложил в открытый доступ веса Alice AI Foundation LLM — собственной языковой модели на архитектуре MoE (mixture of experts, смесь экспертов). Компания заявляет, что весь цикл обучения прошёл с нуля, без стартовых весов чужих открытых моделей. Веса опубликованы на Hugging Face под лицензией Apache 2.0: модель разрешено свободно использовать и дообучать.
В модели 80 млрд параметров, но на обработку каждого токена активируются только 3 млрд. Это меньше, чем у большинства других открытых претрейнов, однако по бенчмаркам результат сопоставим, а местами и выше. При обучении отдельно оптимизировали обмен данными между видеокартами и отбор материалов — чтобы сократить вычисления без потери качества.
В техрепорте приведён сравнительный замер с Nemotron и Qwen на задачах по коду и математике. Кроме того, разработчики заявляют, что заложили базу для рассуждений ещё на этапе претрейна.
За несколько дней после публикации модель скачали с Hugging Face больше 2000 раз.
ai_newz TG · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября