На воркшопе NVIDIA генерацию Qwen3-32B ускорили с 16,4 до 24,5 токена в секунду на том же железе
Участники воркшопа NVIDIA на GTC Berlin 2026 перевели Qwen3-32B с BF16 на FP8 на кластере из четырёх A100 по 80 ГБ и получили прирост скорости генерации примерно на 50%. Общая пропускная способность выросла скромнее — с 639 до 719 токенов в секунду. Отраслевого или финансового события для рынка криптовалют здесь нет.
На воркшопе NVIDIA в рамках GTC Berlin 2026 участники ускорили генерацию модели Qwen3-32B с 16,4 до 24,5 токена в секунду, не меняя оборудование. Прирост дала смена формата вычислений: FP8 вместо BF16.
Общая пропускная способность выросла заметно меньше — с 639 до 719 токенов в секунду.
Эксперимент шёл на кластере Kubernetes с четырьмя NVIDIA A100 по 80 ГБ. Каждому участнику выделили собственный кластер, где можно было разворачивать модели, менять конфигурацию и замерять производительность.
Кроме квантизации, на занятии разбирали NVIDIA Dynamo, маршрутизацию запросов с учётом KV-кеша, автоматическое масштабирование и разделение prefill/decode между GPU.
Описание воркшопа основано на материале инженера Siim Tolk, опубликованном 4 ноября 2026 года.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪FAA распространила ИИ-систему SMART на все 22 центра управления полётами СШАiXBT · 14 ноября
- ▪Спрос на акции Anthropic при IPO превысил предложение в шесть раз3DNews · 14 ноября
- ▪CATL построит более 3000 станций замены батарей к концу 2026 годаiXBT · 14 ноября
- ▪Колетт Кресс стала исполняющей обязанности главы Nvidia после ухода Дженсена ХуангаiXBT · 13 ноября