AMD приобретает разработчика ИИ-чипов Taalas для революции в инференсе

⁠6

Технология стартапа позволяет интегрировать параметры нейросети непосредственно в чип. AMD планирует её применение совместно с ускорителями Instinct

AMD завершила сделку по приобретению канадской компании Taalas, занимающейся разработкой специализированных ИИ-чипов. Стоимость сделки может достигнуть $2,9 млрд, включая $1,4 млрд условных выплат. AMD намеревается внедрить разработки стартапа в свою дорожную карту для ускорителей и создавать на их основе системные решения в сочетании с GPU Instinct.

Taalas разрабатывает чипы, в которых веса нейросетевой модели физически интегрированы в структуру самого устройства. Такой подход сочетает в себе хранение параметров и вычисления на одном кристалле. Это позволяет избежать использования традиционной высокоскоростной памяти, к которой обычно прибегают ускорители при обработке запросов, а также сложных решений по упаковке микросхем.

Источник изображения: AMD

В феврале стартап представил первый процессор — HC1, в который была интегрирована модель Llama 3.1 8B. По собственным данным Taalas, чип мог генерировать около 17 000 токенов в секунду. Компания утверждала, что это почти в 9 раз быстрее, чем результат Cerebras на тот момент. Однако у этой архитектуры есть важное ограничение: смена встроенной модели с помощью программного обновления невозможна — для этого потребуется изготовление нового чипа. По информации из источника, этот процесс занимает около 2 месяцев.

AMD планирует применять технологию Taalas не вместо GPU Instinct, а в дополнение к ним. Специализированные чипы смогут осуществлять инференс — выполнение уже обученных моделей и генерацию ответов — для определённых нейросетей, в то время как ускорители Instinct станут частью общей вычислительной системы. В официальном сообщении AMD также упоминает процессоры EPYC, программную платформу ROCm и стоечное решение Helios как элементы своей инфраструктуры для ИИ.

Приобретение расширяет ассортимент AMD в области специализированных решений для инференса. Однако компания пока не раскрывает, в каких именно будущих ускорителях будет задействована технология Taalas и когда такие продукты появятся на рынке.

Источник
Оцените статью
Pandia