BTC $59 052 +2.0%ETH $1 664 +2.2%SOL $69 +2.6%TON $0,94 +2.7%BTC $59 052 +2.0%ETH $1 664 +2.2%SOL $69 +2.6%TON $0,94 +2.7%
ииХабр ИИ

Институт ИИ ИТМО: российским LLM нужно от 5 до 30% русскоязычных данных

Институт ИИ ИТМО: российским LLM нужно от 5 до 30% русскоязычных данных

Исследование Института ИИ ИТМО с участием экспертов МГУ, РАНХиГС, ВШЭ и AIRI оценивает оптимальную долю русскоязычных данных в обучающем корпусе российских языковых моделей в 5-30%. По мнению авторов, изоляция от мировых корпусов лишит модели их главного преимущества — знания российского контекста при отставании во всем остальном.

Институт ИИ ИТМО подготовил исследование российского рынка больших языковых моделей (LLM) и данных для их обучения. В работе участвовали эксперты ИТМО, МГУ, РАНХиГС, НИУ ВШЭ, AIRI, а также Яндекса, Сбера, Т-Банка, AI VK и независимых команд.

Главный вывод: российские модели лучше иностранных справляются с задачами на знание русского языка, истории и локального культурного контекста. Но удержать это преимущество можно, только если в обучающем массиве хватает данных — и русскоязычных, и на других языках.

Русскоязычный сегмент интернета в 10-20 раз меньше мирового

Доступного русскоязычного интернета примерно в 10-20 раз меньше, чем общемирового. Этого хватает, чтобы собрать часть многоязычного корпуса, но не хватает для универсальной модели исключительно на русском. Оптимальную долю русскоязычных данных в обучающем массиве авторы оценивают в 5-30%.

Современные LLM учатся на триллионах токенов — веб-страницах, книгах, научных публикациях, открытом коде и энциклопедиях. Российские команды сильнее иностранных зависят от открытых источников: собственных ресурсов на сбор, покупку и оцифровку данных у них меньше.

В начале 2026 года первые шесть мест в рейтинге бенчмарка SLAVA, проверяющего модели на 14 тыс. вопросов по истории, обществознанию, социологии и географии России, заняли отечественные LLM. В ноябре 2024 года в топ-3 были американские и китайские модели. Авторы связывают сдвиг не только с инвестициями разработчиков, но и с большей долей российских данных в обучении.

Что может стать преимуществом помимо открытого интернета

Дополнительным ресурсом авторы называют массивы, которых в открытом доступе пока нет: материалы библиотек и архивов, образовательные, научные, культурные и профессиональные коллекции. Их оцифровка могла бы улучшить модели в медицине, праве, строительстве, геологии и других областях, где важны российские стандарты.

По мнению авторов, конкурентоспособность российских моделей сложится из работы бизнеса, государства, open-source-сообщества и образовательных организаций. Государство создает условия, бизнес обеспечивает промышленную реализацию, наука задает методологию, образование готовит кадры.

«Сейчас каждая крупная компания делает модели для себя и закрывает разработки. Но есть задачи, которые нужно решить всей отрасли. Вместо того чтобы каждой компании создавать агента, читающего одну и ту же профессиональную литературу, можно обмениваться такими решениями или предоставлять их на коммерческой основе. Нужно стимулировать выход накопленных знаний в открытое использование в виде интеллектуальных агентов. На их основе компании смогут собирать системы под собственные задачи», — говорит Александр Бухановский, д.т.н., директор Института ИИ ИТМО.

Отдельно авторы отмечают регулирование авторского права на произведения, на которых обучается ИИ. Правила, по их мнению, должны защищать правообладателей и при этом не сокращать доступный для обучения массив информации.

«Сегодня у российских моделей есть реальное преимущество перед глобальными аналогами — они лучше понимают Россию: ее язык, историю, право и культурный контекст. Но это преимущество не возникает само по себе. Для развития конкурентоспособных моделей необходим широкий массив данных, включая международные источники, а для понимания российской специфики — качественные русскоязычные данные. Если их становится меньше, модели будут все сильнее зависеть от иностранного информационного массива и хуже учитывать российский контекст. Поэтому сохранение доступа к разнообразным данным — это не только вопрос качества ИИ, но и условие развития конкурентоспособных российских моделей», — отмечают авторы исследования.

Источник

Хабр ИИ · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме