NVIDIA официально выпустила Dynamo 1.0 — открытую операционную систему для ИИ-инференса промышленного уровня. Платформа предназначена для управления GPU-кластерами в так называемых «ИИ-фабриках» — дата-центрах нового поколения, специализирующихся на генеративном и агентном искусственном интеллекте. Dynamo 1.0 оркестрирует ресурсы GPU и памяти на тысячах ускорителей, обеспечивая максимальную эффективность обработки запросов.
Ключевое достижение — ускорение инференса на GPU NVIDIA Blackwell до 7 раз по сравнению с предыдущими решениями. При запуске модели DeepSeek-R1 на кластере GB200 NVL72 система увеличивает количество генерируемых токенов более чем в 30 раз на один GPU. Это напрямую снижает стоимость токена и увеличивает потенциальный доход ИИ-фабрик.
Dynamo использует технологию дезагрегированного обслуживания: фазы обработки и генерации больших языковых моделей выполняются на разных GPU, что позволяет оптимизировать каждую фазу независимо. Система динамически добавляет, удаляет и перераспределяет GPU в зависимости от нагрузки, а также перемещает данные на более дешёвые хранилища для минимизации затрат.
В состав Dynamo 1.0 входят модули KVBM для управления памятью, NIXL для перемещения данных между GPU и Grove для масштабирования. Платформа интегрируется с популярными фреймворками: LangChain, vLLM, SGLang, FlashInfer и llm-d, что делает её универсальным инструментом для разработчиков ИИ-инфраструктуры.
«Инференс — это двигатель интеллекта, питающий каждый запрос, каждого агента и каждое приложение», — заявил генеральный директор NVIDIA Дженсен Хуанг. Dynamo уже интегрирован крупнейшими облачными провайдерами: AWS, Microsoft Azure, Google Cloud и Oracle Cloud, а также партнёрами Alibaba Cloud, CoreWeave, Together AI и Nebius.
Среди компаний, уже использующих Dynamo, — Cursor, Perplexity, ByteDance, Meituan, PayPal и Pinterest. Будучи полностью открытым и бесплатным ПО, Dynamo 1.0 знаменует переход NVIDIA от стратегии исключительно обучения моделей к доминированию на рынке инференса — самом быстрорастущем сегменте ИИ-индустрии.
