В весах шести китайских ИИ-моделей нашли следы ускорителей Nvidia Blackwell

Шесть открытых моделей китайских разработчиков содержат в опубликованных весах числовые следы ускорителей Nvidia поколения Blackwell. Экспорт этих чипов в Китай ограничен США. Анализ провёл Уилл Депью, бывший исследователь OpenAI.

Речь идёт о DeepSeek-V4-Flash и DeepSeek-V4-Pro, Kimi K3 и Kimi K3.1-Pro от Moonshot AI, MiniMax-M3 и Ling-3.1-flash от Ant Group. У более ранних моделей тех же лабораторий следы указывают на предыдущее поколение Nvidia Hopper.

Как след остаётся в весах

Метод опирается на инициализацию — присвоение миллиардам параметров стартовых значений перед обучением. Генератор псевдослучайных чисел Philox в PyTorch строит последовательность из заданного начального числа (seed). GPU распределяет вычисления между потоками, а их число зависит от количества вычислительных блоков SM. Из-за этого одна и та же последовательность ложится в разные позиции тензора на разных чипах.

Часть исходных значений доживает до публикации весов: например, у нейронов, отвечающих за слова и символы, которых модель не встречала в обучающих данных. По ним восстанавливается seed и конфигурация ускорителя. Найденные отпечатки соответствуют Blackwell B200/B300 со 148 блоками SM или GB200/GB300 со 152 блоками.

Проверка на живом железе

Для DeepSeek-V4-Flash исследователи взяли физический Nvidia B300 и воспроизвели 445 из 469 выбранных строк весов с точностью до каждого бита. Ещё 16 строк дали высокую корреляцию, 8 оказались частично изменены обучением. На H100 совпадений для этой модели не нашлось. Для более ранней DeepSeek-V3 картина обратная: H100 воспроизвёл все 57 344 сохранившихся значения, а B300 — нет.

Проверку Kimi K3 провели на арендованном GB200: все 13 сохранившихся строк совпали. Метод прогнали на 24 моделях, где разработчики сами раскрывали оборудование, — результаты совпали с известными данными во всех случаях.

Депью, по его словам, перебрал около шести триллионов комбинаций чипов и начальных чисел. Результаты проверили исследователи из OpenAI и Anthropic.

Оценка масштаба и её пределы

Если модели обучались на тех же ускорителях, что задали начальные веса, пяти крупнейшим запускам могло потребоваться около 12 000 Blackwell. Оценка для Kimi K3 — 4500 GPU, для DeepSeek-V4-Pro — 3000. Два таких кластера могли стоить $200 ≈ 601 BYN–300 млн каждый, а всё оборудование для пяти запусков — свыше $500 млн ≈ 1,50 млрд BYN.

Это расчёт, а не подтверждённые данные: он зависит от длительности обучения, эффективности использования ускорителей и объёма обучающих данных. Сам метод показывает, на чём создавались начальные веса, но не доказывает, что эти GPU работали весь цикл обучения. Местонахождение ускорителей, их владельцев и способ получения доступа установить нельзя.

Исследователи проверили и альтернативное объяснение — AMD MI300X, который настраивается на 148 или 152 блока SM и воспроизводит похожий рисунок. Для DeepSeek-V4-Flash эту версию удалось исключить по дополнительным числовым признакам, для остальных пяти моделей её считают крайне маловероятной.

Итог: есть технические свидетельства доступа китайских лабораторий к экспортно ограниченным чипам Nvidia, но нарушения американских экспортных правил этот анализ сам по себе не доказывает.