BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам Data Secrets TG

Z.ai: модель GLM-5.3 за две недели утроила throughput инференса GLM-5.3-Flash

Z.ai: модель GLM-5.3 за две недели утроила throughput инференса GLM-5.3-Flash

Китайская Z.ai выпустила инженерный отчёт о развёртывании кластера на более чем 100 000 ускорителей собственного производства. Модель GLM-5.3 сама находила узкие места и писала патчи: throughput вырос в три раза за две недели.

Китайская компания Z.ai опубликовала инженерный отчёт о запуске production-инференса для модели GLM-5.3-Flash. Кластер собран более чем на 100 000 китайских ускорителей — не Nvidia. По заявлению компании, это первое развёртывание её отечественных чипов такого масштаба.

Модель GLM-5.3 применялась для оптимизации производительности и скорости работы кластера. За две недели инженеры с её помощью увеличили throughput в три раза. Агент сам формулировал гипотезы о том, где теряется скорость, и писал код исправлений. Люди ставили цели, следили за безопасностью и принимали финальные решения.

Три правки, которые агент внёс автономно:

  • устранил bottleneck Python GIL, съедавший около 20% производительности;
  • ускорил decode-кернел в 1,71 раза;
  • исправил числовую точность в KDA-кернеле для длинного контекста — фикс позже включили в проект Flash Linear Attention.

В Z.ai описывают этот процесс как первый шаг к recursive self-improvement и утверждают, что такая практика «полностью меняет то, как создаются следующие поколения моделей».

Источник

Data Secrets TG · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме