Nvidia передала фонду CNCF систему защиты автономных ИИ-агентов OpenShell

Nvidia передала фонду CNCF (Cloud Native Computing Foundation), который работает при Linux Foundation, проект OpenShell. Это система защиты и контроля автономных ИИ-агентов. В тот же период компания поддержала проект Agent Substrate, разрабатываемый Google, и представила новые открытые компоненты платформы DSX AI Factory Platform.

Все эти разработки построены вокруг Kubernetes, системы оркестрации контейнеров для управления распределёнными приложениями. Сейчас она становится стандартной средой для запуска крупных задач, связанных с ИИ.

OpenShell задаёт жёсткие правила для действий программных модулей. С его помощью предприятия могут контролировать использование инструментов, доступ к сервисам вывода нейросетей и выполнение задач. Архитектуру можно расширять за счёт собственных вычислительных ресурсов, хранилищ учётных данных и систем мониторинга. За год после запуска инструмент применяют более 100 организаций, а сообщество внесло свыше 10 000 правок в код.

Масштабировать такие системы без оптимизации вычислений сложно. Agent Substrate сохраняет среды выполнения ИИ-агентов между задачами и освобождает мощности в периоды простоя. В связке с Nvidia Dynamo, системой вывода моделей, и KAI Scheduler, планировщиком распределения ресурсов кластера, он позволяет приостанавливать и возобновлять работу агентов в общем пуле без выделения отдельного сервера под каждую сессию. Nvidia и Google готовят интеграцию OpenShell и Agent Substrate, чтобы управлять агентами единообразно и в облачных, и в локальных сетях.

Для ускорения развёртывания инфраструктуры Nvidia анонсировала открытые компоненты Nvidia Kubernetes Engine и Nvidia Kubernetes Recipes. Первый автоматизирует управление жизненным циклом кластеров, второй поставляет проверенные образы программного обеспечения. Инструмент Nvidia Snapshot восстанавливает сохранённые состояния реплик за секунды, без перезапуска нейросети. Партнёры компании протестировали решение на системах HGX B300. Время готовности рабочей нагрузки сократилось с 8 минут до 31 секунды, а запуск сервисов обработки запросов ускорился с 2–8,5 минуты до 6–34 секунд.

Разработки поддерживают шесть вендоров управляемых Kubernetes-сервисов и две телекоммуникационные компании, которые встроят функции в свои продукты. Открытый доступ к критическим компонентам ИИ-инфраструктуры снижает порог входа для предприятий и уменьшает зависимость от проприетарных решений. По словам компании, это формирует единую стандартизированную среду для безопасного и экономичного масштабирования автономных систем.