BTC $60 886 +1.1%ETH $1 712 +1.4%SOL $70 -0.4%TON $0,99 +3.0%BTC $60 886 +1.1%ETH $1 712 +1.4%SOL $70 -0.4%TON $0,99 +3.0%
ииBittalk · по материалам iXBT

Qualcomm раскрыла детали нового Hexagon NPU: памяти на 50% больше, добавлен ускоритель трансформеров

Qualcomm раскрыла детали нового Hexagon NPU: памяти на 50% больше, добавлен ускоритель трансформеров

Qualcomm показала архитектуру следующего поколения Hexagon NPU — ИИ-блока для Snapdragon, который работает на устройстве без обращения к облаку. Компания увеличила общий объём локальной памяти NPU на 50% и добавила Element Accelerator для трансформер-моделей. Точные характеристики и название процессора компания не раскрыла, презентация платформы ожидается на Snapdragon Summit 22–24 сентября.

Qualcomm раскрыла подробности следующего поколения Hexagon NPU — блока для выполнения ИИ-задач прямо на устройстве. Изменения касаются не только вычислительных блоков: общий объём локальной памяти NPU вырос на 50%, а в архитектуру добавлен Element Accelerator — отдельный ускоритель для моделей на основе трансформеров, работающий вместе с уже существующими блоками. В какой именно процессор Snapdragon попадёт новый NPU, компания не сообщила.

Смысл увеличения локальной памяти в том, что при работе трансформеров NPU постоянно имеет дело с промежуточными данными, активациями и состояниями модели. Если их снова и снова перекидывать во внешнюю LPDDR-память, растут задержки и расход энергии. Qualcomm рассчитывает держать больше таких данных рядом с вычислительными блоками — это важно при длинном контексте и при одновременной работе нескольких ИИ-агентов. Для моделей в формате INT4 компания обещает до 50% более высокую производительность на этапе обработки входного контекста, то есть до начала генерации ответа.

Ставка на Mixture-of-Experts

Отдельно Qualcomm продвигает Mixture-of-Experts (MoE) — архитектуру, где на каждом шаге вычислений задействуется лишь часть параметров модели. Компания приводит пример модели на 30 млрд параметров, из которых на одном шаге работает около 3 млрд. Вместе с управлением кэшем и флеш-памятью это должно дать возможность запускать более крупные модели на устройствах с небольшим объёмом оперативной памяти. Заявлена поддержка форматов INT2, INT4, INT8, FP8 и FP16 — между экономией памяти и точностью вычислений можно выбирать.

Что осталось неназванным

Ключевых цифр пока нет: Qualcomm не назвала ни абсолютный объём локальной памяти, ни максимальную производительность NPU, ни энергопотребление. Показатель «до 50%» получен во внутренних измерениях компании и относится к INT4-моделям, независимого тестирования не проводилось.

Более подробные характеристики ожидаются на Snapdragon Summit на Гавайях 22–24 сентября — там Qualcomm должна представить платформу, для которой предназначен новый Hexagon NPU.

Источник

iXBT · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме