Метод LIMe сокращает расходы на обучение языковых моделей на 15%

На конференции EMNLP 2026, которая проходит в Венгрии, исследователи из Т-Теха показали метод LIMe (Layer-Integrated Memory). Он позволяет обучать языковые модели примерно на 15% дешевле по вычислениям, не теряя в качестве.

Задача, которую решает метод, связана с устройством трансформеров. В них каждый слой получает данные только от предыдущего, и весь контекст обязан пройти через это узкое место. Из-за такого давления, как показывают авторы, представления токенов схлопываются: они становятся слишком похожими, различия между ними стираются, а вместе с ними проседает и качество модели.

Как устроен LIMe

LIMe — надстройка над механизмом внимания. В нём используются key-value буферы, которые и без того хранятся для каждого слоя. К ним добавляются обучаемые веса маршрутизации, свои для каждой головы внимания и каждого слоя. Благодаря этому голова внимания берёт представления не только с предыдущего слоя, но и с более ранних, и смешивает их. Размер скрытого состояния не увеличивается, а уже сделанные вычисления идут в дело повторно.

Что показали испытания

Эксперименты проводились на моделях примерно с миллиардом параметров. LIMe вышел на ту же ошибку обучения, что и базовая LLaMA, при затратах на 15% ниже. На бенчмарках языкового моделирования и многошаговых рассуждений метод обошёл другие подходы. Заметнее всего выигрыш проявился на синтетических арифметических задачах и в архитектурах с большим числом слоёв.

Авторы также сообщают, что у LIMe выше энтропия value-векторов и лучше разделимость токенов, то есть основная проблема действительно ослабляется. По выученным весам маршрутизации видно, что модель системно переиспользует и близкие, и далёкие признаки.