BTC $60 886 +1.1%ETH $1 712 +1.4%SOL $70 -0.4%TON $0,99 +3.0%BTC $60 886 +1.1%ETH $1 712 +1.4%SOL $70 -0.4%TON $0,99 +3.0%
ииBittalk · по материалам iXBTписали 2 источника

Thinking Machines выпустила открытую модель Inkling 2 Mini на 26,4 млрд параметров

Thinking Machines выпустила открытую модель Inkling 2 Mini на 26,4 млрд параметров

Стартап Миры Мурати выложил в открытый доступ модель, которая занимает около 20 ГБ и запускается на ноутбуке без интернета. Модель построена на зацикленном трансформере (looped transformer). Заявленное лидерство среди открытых моделей до 100 млрд параметров подтверждено только самой компанией.

Thinking Machines Lab, которую основала бывший технический директор OpenAI Мира Мурати (Mira Murati), выложила в открытый доступ модель Inkling 2 Mini. Веса опубликованы на Hugging Face под лицензией Apache 2.0: их можно скачать, запускать локально и дообучать под свои задачи.

Модель мультимодальная — принимает текст и изображения, отвечает текстом. Весовая часть занимает около 20 ГБ. Для запуска на компьютерах Mac с чипами Apple компания называет минимум 32 ГБ объединённой памяти; работает модель и на настольной системе Nvidia DGX Spark. На MacBook Pro без подключения к интернету она за несколько минут собрала рабочий авиасимулятор.

За счёт чего модель укладывается в 20 ГБ

Inkling 2 Mini содержит 26,4 млрд параметров, но на обработку каждого токена тратит не все. Архитектура относится к классу Mixture of Experts (MoE, «смесь экспертов»): активны 3,4 млрд параметров.

Второй механизм — looped transformer, зацикленный трансформер. Сеть собрана из 24 слоёв, разбитых на 4 блока по 6 слоёв. Крайние блоки считают один раз, два средних проходят обработку трижды. С учётом повторных проходов объём активируемых весов доходит до 5,4 млрд на токен. Так разработчики увеличивают глубину вычислений, не раздувая число параметров.

Практический смысл в том, что часть рассуждений идёт внутри сети, а не выводится в виде цепочки мыслей (Chain of Thought, CoT) — последовательности промежуточных шагов, которую обычно приходится генерировать токен за токеном. Для программирования и длинных многоэтапных задач это экономит вычисления.

В отдельной исследовательской версии с переменным числом проходов компания проверила, как это влияет на решение задач без показа промежуточных рассуждений. При росте числа проходов с 1 до 3 временной горизонт таких вычислений вырос с 16 до 37 секунд. На тесте последовательных логических операций улучшение держалось до 10 проходов, хотя обучение шло максимум на 5. Цепочки рассуждений при этом становились короче, но, по оценке разработчиков, оставались читаемыми. Заметного ухудшения на тестах скрытого вредоносного поведения при увеличении проходов не нашли.

Что показывают тесты и чего в них не хватает

Компания утверждает, что модель обходит другие открытые системы с менее чем 100 млрд параметров в части тестов на программирование. На DeepSWE v1.1 указано 48,2%, на Vals Index v2.2 — 46,5%. Все эти результаты — со слов самой Thinking Machines Lab, независимого подтверждения у них нет.

Ограничения разработчики тоже называют сами: более крупные системы модель проигрывает в сложных задачах на рассуждение, а для многоэтапного диалога с большим числом одновременно заданных инструкций она не лучший выбор.

Источник

iXBT · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме