OpenShell уже используется более чем 100 организациями, а Nvidia и Google работают над интеграцией своих инструментов для управления агентами в облачных и локальных сетях
Nvidia передала управление проектом OpenShell — системой защиты и контроля автономных ИИ-агентов — в руки Cloud Native Computing Foundation (CNCF, некоммерческий фонд при Linux Foundation). Одновременно компания поддержала проект Agent Substrate от Google и представила новые открытые компоненты платформы DSX AI Factory Platform.
Все разработки основаны на Kubernetes, системе оркестрации контейнеров, предназначенной для управления распределёнными приложениями, которая становится стандартным решением для выполнения крупных ИИ-задач.
OpenShell устанавливает строгие правила для действий программных модулей, что позволяет компаниям контролировать использование инструментов, доступ к сервисам вывода нейросетей и выполнение задач. Архитектура решения расширяется за счет подключения собственных вычислительных ресурсов, хранилищ учётных данных и систем мониторинга. В течение года с момента запуска инструментом уже воспользовались более 100 организаций, а сообщество внесло свыше 10 000 изменений в код.
Эффективное масштабирование подобных систем требует оптимизации вычислений. Agent Substrate сохраняет среды выполнения ИИ-агентов между задачами и освобождает ресурсы в периоды простоя. Совместная работа с системами Nvidia Dynamo для вывода моделей и KAI Scheduler для распределения кластерных ресурсов дает возможность приостанавливать и возобновлять работу агентов в общем пуле без выделения отдельных серверов для каждой сессии. Nvidia и Google планируют интеграцию OpenShell и Agent Substrate для единообразного контроля над агентами в облачных и локальных сетях.
Для ускорения развертывания инфраструктуры компания анонсировала открытые компоненты Nvidia Kubernetes Engine и Nvidia Kubernetes Recipes, которые автоматизируют управление жизненным циклом кластеров и предоставляют проверенные образы программного обеспечения. Инструмент Nvidia Snapshot восстанавливает сохранённые состояния реплик за секунды без необходимости перезапуска нейросети. Партнёры компании протестировали решение на системах HGX B300 — время готовности рабочей нагрузки снизилось с 8 минут до 31 секунды, а запуск сервисов обработки запросов ускорился с 2–8,5 минут до 6–34 секунд.
Разработки поддерживаются сетью партнеров из 6 вендоров, предоставляющих управляемые Kubernetes-сервисы, и 2 телекоммуникационных компаний, которые внедрят функции в свои продукты. Открытый переход критически важных компонентов ИИ-инфраструктуры снижает порог входа для компаний, устраняет зависимость от проприетарных решений и создает единую стандартизированную среду для безопасного и экономного масштабирования автономных систем.
Источник