Nvidia представила мощные компактные ПК для локального запуска ИИ-моделей

⁠6

RTX Spark от ASUS, Dell и MSI оснащены 20-ядерными процессорами Grace, графикой Blackwell и до 128 ГБ объединенной памяти. Заявленная производительность в задачах ИИ достигает 1 петафлопса

Nvidia начала реализацию компактных настольных ПК RTX Spark, предназначенных для локальной работы с большими ИИ-моделями. Эти системы способны обрабатывать языковые модели с 120 миллиардами параметров, генерировать изображения и видео, а также осуществлять тонкую настройку моделей без постоянной связи с облачными сервисами. Первоначальные устройства были выпущены компаниями ASUS, Dell и MSI.

В основе этих компьютеров лежит 20-ядерный процессор Nvidia Grace и графический ускоритель на архитектуре Blackwell с 6144 ядрами CUDA. Процессор и графика используют объединенную память объемом до 128 ГБ, а заявленная производительность в задачах искусственного интеллекта достигает 1 петафлопса. Для передачи больших объемов данных и файлов моделей предусмотрен Ethernet со скоростью 10 Гбит/с.

Источник изображения: Nvidia

Nvidia представляет RTX Spark как специализированный компьютер для локальных ИИ-агентов, разработки и творческих задач. Он может функционировать одновременно с ноутбуком: например, выполнять запланированные задачи, обрабатывать данные или продолжать рендеринг, пока пользователь занят другой деятельностью. Запуск моделей непосредственно на устройстве позволяет избежать передачи обрабатываемых файлов и кода облачным сервисам, а также не платить за каждый токен при использовании облачного API для этих процессов.

Источник изображения: Nvidia
Источник изображения: Nvidia

Функциональные возможности системы не ограничиваются лишь языковыми моделями. Nvidia сообщает о поддержке обработки 3D-сцен объемом свыше 90 ГБ в реальном времени и монтажа видео в формате 4:2:2. В программную экосистему входят инструменты для локального запуска ИИ-агентов и тонкой настройки моделей, а также приложения для работы с графикой и видео. Разработчики могут использовать CUDA и инструменты Linux через подсистему Windows для Linux.

Компактные ПК от ASUS, Dell и MSI уже доступны для покупки. Системы от Acer, GIGABYTE и HP, а также Microsoft Surface RTX Spark Dev Box будут представлены позже.

Источник
Оцените статью
Pandia