МФТИ разработал алгоритм HARP для сжатия нейросетей

Учёные Московского физико-технического института разработали алгоритм HARP для более эффективного сжатия нейросетей. Разработка снижает потребность в вычислительных ресурсах дата-центров, а уже обработанные с её помощью модели доступны для свободного использования.

HARP работает с квантованием — методом, при котором веса нейросети представляют меньшим количеством битов и тем самым сокращают объём данных. При слишком сильном сжатии точность ответов модели может падать. Алгоритм уменьшает такие потери и при этом не заменяет существующие методы квантования, а дополняет их. Разработку протестировали на моделях разного масштаба.

Эксперт НТИ по новым материалам и технологиям Евгений Вишневский отметил, что HARP можно встроить в уже используемые инструменты сжатия без перестройки привычных процессов разработки. По его словам, для российского рынка это особенно важно на фоне растущего спроса на вычислительные мощности: более эффективное использование имеющегося оборудования может облегчить развитие отечественных ИИ-сервисов и их внедрение в разных отраслях экономики. Реальное снижение нагрузки, добавил Вишневский, будет зависеть от характеристик моделей и условий их эксплуатации.