BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам iXBT

Яндекс выложил в открытый доступ претрейн-модель Alice AI Foundation LLM

Яндекс выложил в открытый доступ претрейн-модель Alice AI Foundation LLM

Яндекс открыл веса претрейн-модели Alice AI Foundation LLM, обученной полностью с нуля. Ранее под Apache 2.0 была открыта AliceAI-Foundation-80B-A3B-Base на 80 млрд параметров, из которых около 3 млрд активны. Компания заявляет, что новая модель обходит более крупные нейросети и лучше отвечает на русском языке в задачах на знание фактов.

Яндекс представил и выложил в открытый доступ претрейн-версию большой языковой модели Alice AI Foundation LLM. Обучение велось полностью с нуля. Ранее компания открыла веса языковой модели AliceAI-Foundation-80B-A3B-Base под лицензией Apache 2.0: в ней 80 млрд параметров, из них около 3 млрд задействуются в работе одновременно, обучение велось на 18 трлн токенов.

Компания заявляет, что новая модель показывает высокие результаты в программировании и рассуждениях, а по качеству ответов на русском языке превосходит многие зарубежные аналоги — прежде всего в задачах на знание фактов.

Модель прошла полный цикл обучения в Яндексе с нуля — веса сторонних опенсорс-моделей не использовались. Претрейн занял около полугода: за это время команда пересобрала корпус данных, перебрала архитектурные решения, подобрала гиперпараметры и добавила данные для рассуждений и агентских взаимодействий. Отдельно публикуется технический отчёт — от пайплайнов подготовки данных и протоколов оценки до стабилизации обучения и scaling laws.

На претрейн-замерах модель обходит более крупные DeepSeek-V4-Flash-Base и Nemotron-3-Super на многих задачах — от фактологических и экспертных вопросов до математики и кода. На задачах IMO AnswerBench и LiveCodeBench она лидирует среди сравниваемых открытых претрейнов. Предыдущую закрытую Alice AI LLM 235B модель превосходит по фактологическим знаниям, математике, программированию и работе с длинным контекстом — при почти втрое меньшем общем числе параметров и примерно в семь раз меньшем числе активных.

Вместе с весами открыты два фактологических бенчмарка — WikiWebFacts и HardMultiQA с акцентом на русскоязычный контекст — и протоколы их оценки. В компании рассчитывают, что модель станет базой для единой рассуждающей модели (ЕРМ), на которой будут развиваться агентные возможности «Алисы AI».

Источник

iXBT · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме