DeepSeek планирует обучать V5 на китайских ускорителях Huawei Ascend 950

DeepSeek планирует предварительно обучать следующее поколение своих больших языковых моделей, известное под названием V5, на ускорителях Huawei Ascend 950. Если план подтвердится, V5 станет первой крупной моделью компании, которая изначально проходит предварительное обучение (pre-training) на платформе Ascend. До этого китайские чипы применялись преимущественно для инференса (inference), то есть для выполнения уже обученных нейросетей.

Информация пока не подтверждена. Сроки выхода V5 и объём кластера, на котором пойдёт обучение, не названы.

Линейка Huawei Ascend 950 включает две модели: 950PR и 950DT. Обе построены на архитектуре Da Vinci третьего поколения и рассчитаны на работу с большими ИИ-моделями.

Ускоритель 950DT ориентирован на обучение и декодирование при инференсе. Он оснащён 144 ГБ памяти HBM собственной разработки Huawei, пропускная способность памяти составляет 4 ТБ/с, межсоединений — 2 ТБ/с. Заявлена поддержка форматов FP8, MXFP8 и MXFP4. По приведённым данным, производительность в MXFP4 в 4 раза выше, чем у предыдущего поколения в формате BF16.

Ascend 950PR предназначен прежде всего для этапа предварительного заполнения данных (prefill) при инференсе. Он получил 128 ГБ встроенной памяти с пропускной способностью 1,6 ТБ/с. Заявленная вычислительная производительность достигает 1784 Тфлопс в формате FP4.

Если план подтвердится, китайские ускорители впервые возьмут на себя обучение базовой модели DeepSeek, а не только её запуск.