6
Южнокорейская компания подготовила DX-M2 к производству и вместе с Samsung испытывает память LPDDR5x-PIM, которая в симуляциях увеличивает скорость генерации токенов в 6,7 раз
Южнокорейская компания DeepX завершила создание второго поколения ИИ-ускорителя DX-M2, предназначенного для работы с крупными языковыми моделями непосредственно на устройствах — от роботов и дронов до ноутбуков. Чип будет способен обрабатывать модели с 20–100 миллиардов параметров (при этом в любой момент могут быть активными примерно 3–20 миллиардов параметров) со скоростью 10–30 токенов в секунду в зависимости от модели. Энергопотребление при этом должно оставаться на уровне всего 5 Вт. Компания уже передала проект микросхемы в производство, образцы ожидаются в марте 2027 года. Массовый выпуск запланирован на осень 2027 года.
По сравнению с первым ускорителем DX-M1, пропускная способность памяти возросла втрое — с 50 до 150 ГБ/с. Энергоэффективность нейропроцессора (NPU, специализированного блока для выполнения задач искусственного интеллекта) DeepX была удвоена за счёт изменений в архитектуре, а переход на 2-нм техпроцесс обеспечил ещё двукратное улучшение. Производительность достигла 80 TOPS (триллионов операций в секунду). При этом DX-M2 сохраняет тот же 5-ваттный энергетический бюджет, что и его предшественник, ориентированный в первую очередь на обработку изображений.
Отдельное направление разработки — совместная работа DeepX и Samsung по использованию памяти LPDDR5x-PIM. PIM (Processing-in-Memory) позволяет выполнять часть вычислений непосредственно внутри микросхем памяти, а не постоянно передавать данные между памятью и процессором. Это особенно важно для операции GEMV (умножения матрицы на вектор), которая используется в языковых моделях и требует частых обращений к памяти. Перемещение таких вычислений внутрь памяти позволяет увеличить эффективную пропускную способность и сократить задержки при передаче данных. DeepX сотрудничает с подразделением Samsung Memory над этой технологией уже 1,5 года, получила образцы LPDDR5x-PIM и проводит внутренние испытания.
По расчетам DeepX, перемещение операций GEMV с DX-M2 в память LPDDR5x-PIM может увеличить скорость генерации токенов для модели Llama 3.1 8B в 6,7 раз по сравнению с работой на одном DX-M2. Однако это пока что результат моделирования, а не измерение готовой системы. Кроме того, такой рост производительности требует увеличения общего энергопотребления в 2,7 раза. DeepX рассчитывает на двукратное ускорение даже при сохранении первоначального энергетического бюджета. Для полноценной работы с PIM компании также нужно доработать компилятор — программный инструмент, который распределяет вычисления между процессором и памятью. Его прототип уже функционирует на базе симуляции LPDDR5x-PIM, но окончательная версия ещё не готова.
DX-M2 поддерживает крупные языковые модели с архитектурой Mixture of Experts (MoE, при которой для обработки каждого запроса задействуется только часть специализированных блоков модели), а также методы speculative decoding (ускорение генерации текста за счёт предварительного предсказания нескольких токенов) и TurboQuant (метод сжатия данных для снижения требований к памяти). В будущем DeepX планирует перейти на официальный стандарт LPDDR6-PIM, который разрабатывается для следующего поколения памяти. Компания надеется, что DX-M3 сможет приблизиться к теоретическому приросту производительности в 5–8 раз при использовании этой технологии.
Основные рынки DX-M2 — робототехника, автомобильная электроника и ИИ-ПК. DeepX уже сотрудничает с тайваньскими производителями компьютеров и ноутбуков, а также с компаниями, занимающимися разработкой роботов. По словам директора по стратегическому маркетингу DeepX Тима Парка, разработчики в области робототехники часто начинают свои проекты с графических ускорителей Nvidia Thor, но затем ищут менее энергозатратные решения, которые можно интегрировать непосредственно на борту устройства. DeepX предлагает переход с платформы Nvidia Isaac на собственную Newton: разработчикам достаточно изменить название API (программного интерфейса, через который приложения обращаются к функциям платформы), чтобы сохранить прежний программный конвейер. Компания сообщает о наличии 17 совместимых библиотек и уже демонстрировала роботов на DX-M1, использующих тот же исходный код, что и машины на Nvidia Jetson. По оценке основателя DeepX Локвона Кима, переход на её платформу может увеличить время автономной работы робота в 20 раз, одновременно снизив стоимость системы. Сам DX-M1 уже производится серийно, а компания получила более 100 заказов на него от производителей дронов, роботов, систем видеонаблюдения, промышленного оборудования и других устройств.
DeepX также расширяет программную и аппаратную совместимость. Компания работает с Samsung над новым поколением интеллектуальных домашних хабов, подключается к экосистеме AWS IoT для удалённого обновления моделей через Greengrass и сотрудничает с Intel над интеграцией OpenVINO в собственный SDK. Это позволит использовать ускорители DeepX вместе с процессорами Intel Core Ultra и другими периферийными процессорами Intel, включая те, у которых нет встроенного NPU. Кроме того, компания обсуждала с AMD совместную разработку робототехнической платформы на базе ускорителей DeepX и референсной платы AMD Kria. Среди других направлений сотрудничества — Raspberry Pi и программная экосистема Baidu PaddlePaddle. DX-M1 уже применяется в робототехнической платформе лаборатории Hyundai Motor Group Robotics Lab. Переговоры и испытания с потенциальными заказчиками продолжаются в США, Китае, Вьетнаме и Южной Корее, более 10 крупных японских компаний также рассматривают ускорители DeepX.
Следующим этапом станет DX-M3, выход которого запланирован на 2028 год. Он будет иметь чиплетную архитектуру (конструкцию из нескольких объединённых вычислительных кристаллов), поддержку LPDDR6-PIM и заявленную производительность 1 ePOPS в формате INT8 (эксоперация в секунду при 8-битной точности вычислений). Основными заказчиками этой модели компания видит автопроизводителей и разработчиков человекоподобных роботов, которым требуется более высокая вычислительная мощность. Стратегия DeepX заключается в переносе всё большей части ИИ-вычислений непосредственно на устройства: по оценке Локвона Кима, запуск моделей со 100 миллиардов параметров локально способен сократить трафик к ИИ-дата-центрам более чем на 80%. Хотя это корпоративная оценка потенциального эффекта, DX-M2 должен стать следующим шагом к её реализации.
Источник