11
Анализ весов DeepSeek, Moonshot AI, MiniMax и Ant Group обнаружил характерные черты инициализации на ускорителях Blackwell, экспорт которых в Китай регулируется США. Для DeepSeek-V4-Flash исследователи подтвердили соответствие на физическом GPU NVIDIA B300, а оценка вычислительных ресурсов для обучения 5 моделей достигает 12 000 ускорителей Blackwell.
Шесть новых моделей китайских ИИ-разработчиков содержат числовые отпечатки, соответствующие графическим ускорителям Nvidia поколения Blackwell. Такой вывод сделал бывший исследователь OpenAI Уилл Депью, который провел криминалистический анализ опубликованных весов моделей. Речь идет о DeepSeek-V4-Flash и DeepSeek-V4-Pro, Kimi K3 и Kimi K3.1-Pro от Moonshot AI, MiniMax-M3 и Ling-3.1-flash от Ant Group. Более ранние модели этих компаний соответствовали предыдущему поколению Nvidia Hopper. Зафиксированные отпечатки указывают на конфигурации Blackwell B200/B300 с 148 вычислительными блоками SM или GB200/GB300 с 152 такими блоками.
Метод основан на характеристиках начальной инициализации весов нейросети — присвоения миллиардам параметров стартовых числовых значений перед их обучением. Используемый в PyTorch генератор псевдослучайных чисел Philox создает последовательность значений на основе заданного начального числа (seed). В этом процессе GPU распределяет вычисления между потоками, количество которых зависит от числа вычислительных блоков SM. В итоге одинаковая последовательность чисел располагается в различных позициях тензора на разных ускорителях. Часть исходных значений остается в опубликованных весах даже после обучения: например, у нейронов, отвечающих за слова и символы, которые модель не встречала в обучающих данных. По этим оставшимся значениям можно восстановить начальное число и конфигурацию GPU.

Для проверки DeepSeek-V4-Flash исследователи использовали физический Nvidia B300 и воспроизвели 445 из 469 выбранных строк весов с точностью до каждого бита. Еще 16 строк показали высокую корреляцию, а 8 были частично изменены в результате обучения. На Nvidia H100 таких совпадений для этой модели не обнаружили. Однако для более ранней DeepSeek-V3 ситуация оказалась противоположной: H100 воспроизвел все 57 344 сохранившихся исходных значения, тогда как B300 не смог этого сделать. Аналогичную проверку Kimi K3 провели на арендованном GB200: все 13 сохранившихся строк совпали с исходными значениями. Метод также проверили на 24 моделях, для которых разработчики публично раскрывали использованное оборудование: во всех случаях результаты совпали с известными данными.
Авторы также оценили возможный масштаб вычислительных ресурсов. Если предположить, что модели обучались на тех же ускорителях, на которых создавались их исходные веса, то для 5 крупнейших запусков могло потребоваться около 12 000 Blackwell. В частности, оценка для Kimi K3 составляет 4500 GPU, для DeepSeek-V4-Pro — 3000. Эти два вычислительных кластера могли стоить $200–300 млн каждый, а общая стоимость оборудования для 5 запусков превышает $500 млн. Тем не менее, это расчетные оценки, а не подтвержденные данные: они зависят от продолжительности обучения, эффективности использования ускорителей и объема обучающих данных.
Метод имеет ограничения: он показывает, на каком оборудовании создавались начальные веса, но не доказывает, что именно эти GPU использовались на протяжении всего обучения. Нельзя установить и местонахождение ускорителей, их владельцев или способ получения доступа к ним. Кроме того, исследователи проверили альтернативное объяснение с использованием AMD MI300X: этот ускоритель можно настроить на конфигурацию из 148 или 152 вычислительных блоков, воспроизводящую характерный рисунок Blackwell. Для DeepSeek-V4-Flash эту версию удалось исключить по дополнительным числовым признакам, для остальных 5 моделей авторы считают её крайне маловероятной. Таким образом, анализ предоставляет технические свидетельства доступа китайских разработчиков к экспортно ограниченным ускорителям Nvidia, но сам по себе не доказывает нарушения американских экспортных ограничений.
Источник