Qualcomm раскрыла детали нового Hexagon NPU: памяти на 50% больше, добавлен ускоритель трансформеров

Qualcomm показала архитектуру следующего поколения Hexagon NPU — ИИ-блока для Snapdragon, который работает на устройстве без обращения к облаку. Компания увеличила общий объём локальной памяти NPU на 50% и добавила Element Accelerator для трансформер-моделей. Точные характеристики и название процессора компания не раскрыла, презентация платформы ожидается на Snapdragon Summit 22–24 сентября.
Qualcomm раскрыла подробности следующего поколения Hexagon NPU — блока для выполнения ИИ-задач прямо на устройстве. Изменения касаются не только вычислительных блоков: общий объём локальной памяти NPU вырос на 50%, а в архитектуру добавлен Element Accelerator — отдельный ускоритель для моделей на основе трансформеров, работающий вместе с уже существующими блоками. В какой именно процессор Snapdragon попадёт новый NPU, компания не сообщила.
Смысл увеличения локальной памяти в том, что при работе трансформеров NPU постоянно имеет дело с промежуточными данными, активациями и состояниями модели. Если их снова и снова перекидывать во внешнюю LPDDR-память, растут задержки и расход энергии. Qualcomm рассчитывает держать больше таких данных рядом с вычислительными блоками — это важно при длинном контексте и при одновременной работе нескольких ИИ-агентов. Для моделей в формате INT4 компания обещает до 50% более высокую производительность на этапе обработки входного контекста, то есть до начала генерации ответа.
Ставка на Mixture-of-Experts
Отдельно Qualcomm продвигает Mixture-of-Experts (MoE) — архитектуру, где на каждом шаге вычислений задействуется лишь часть параметров модели. Компания приводит пример модели на 30 млрд параметров, из которых на одном шаге работает около 3 млрд. Вместе с управлением кэшем и флеш-памятью это должно дать возможность запускать более крупные модели на устройствах с небольшим объёмом оперативной памяти. Заявлена поддержка форматов INT2, INT4, INT8, FP8 и FP16 — между экономией памяти и точностью вычислений можно выбирать.
Что осталось неназванным
Ключевых цифр пока нет: Qualcomm не назвала ни абсолютный объём локальной памяти, ни максимальную производительность NPU, ни энергопотребление. Показатель «до 50%» получен во внутренних измерениях компании и относится к INT4-моделям, независимого тестирования не проводилось.
Более подробные характеристики ожидаются на Snapdragon Summit на Гавайях 22–24 сентября — там Qualcomm должна представить платформу, для которой предназначен новый Hexagon NPU.
iXBT · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪OpenAI: ИИ-агенты сами выполняют 46% коротких исследовательских задачiXBT · 22 ноября
- ▪Почти 1000 ИИ-агентов за 12 недель подготовили 936 исследований и запустили свой журналiXBT · 22 ноября
- ▪Нейросеть Tiny 2.1 на 367 тысяч параметров помещается на дискету 1,44 МБiXBT · 22 ноября
- ▪Трамп обсуждает запрет на зарубежные дата-центры американских компанийiXBT · 21 ноября