Автор PCST ужал LLaMA-7B только до 2,05 GiB вместо 1 ГБ

Разработчик провёл больше 60 экспериментов по сжатию весов LLaMA-7B без дообучения, дистилляции и изменения архитектуры. Цели в 1 ГБ достичь не удалось: результат занимает 2,05 GiB и уступает обычной квантизации Q3_K_M по качеству и скорости.
Разработчик под ником PCST провёл больше 60 экспериментов, пытаясь сжать веса LLaMA-7B с 13 ГБ до 1 ГБ. Без дообучения, дистилляции, pruning и изменения архитектуры — только математика над готовыми весами плюс небольшая выборка текстов для калибровки.
Итог: одного гигабайта и качества Q8 добиться не получилось. Текущий результат занимает 2,05 GiB и проигрывает обычной квантизации Q3_K_M и по качеству, и по скорости.
По словам автора, в ходе работы обнаружилось явление, которое он считает интереснее красивой цифры: можно заметно улучшить восстановление отдельных весов и одновременно сделать всю модель глупее.
Отдельно автор отмечает ошибку с transpose, из-за которой пришлось пересмотреть большую часть уже полученных результатов. По его оценке, методы, хорошо работающие на отдельных весах, почти бесполезны при применении к сырым весам модели целиком.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября