Nvidia представила Isaac Lab 3.0 — обновление набора инструментов для обучения роботов в симуляциях. В версии появилась модульная архитектура, движок Newton с несколькими методами расчёта физики и модуль LEAPP для переноса моделей на реальное оборудование.
Nvidia представила Isaac Lab 3.0 — обновление набора инструментов для обучения роботов в симуляциях. В новой версии расширили возможности физического моделирования, добавили варианты рендеринга и упростили перенос готовых моделей на реальное оборудование.
Модульная архитектура
Одним из главных обновлений стала модульная архитектура: физический движок, рендеринг изображений для виртуальных камер и средства визуализации теперь можно выбирать независимо. Многие сценарии работают без установки и запуска полноценного Isaac Sim — достаточно движка Newton или отдельных библиотек OVPhysX и OVRTX.
Движок Newton и рендеринг
Newton объединяет несколько методов расчёта физики: MJWarp моделирует роботов с жёсткими звеньями и суставами, VBD — ткани, мягкие тела и кабели, MPM — жидкости и сыпучие материалы. Есть также экспериментальный Kamino для механизмов с замкнутыми кинематическими цепями.
Для виртуальных камер доступны системы быстрого рендеринга Newton Warp и RTX-рендеринга OVRTX. Система Cosmos 3-Nano Transfer превращает карты глубины в фотореалистичные видео по текстовым подсказкам. С поддержкой 3D Gaussian rendering появилась возможность использовать в симуляторе реконструкции реальных сцен.
Перенос на реальное оборудование
За перенос обученных моделей на реальное оборудование отвечает модуль LEAPP: он экспортирует модель вместе с обработкой входных данных, на выходе получается пакет с файлами модели в формате ONNX и метаданные.
Стабильная версия Isaac Lab 3.0 доступна на GitHub, на сайте Nvidia опубликованы интерактивные демонстрации, а в документации есть руководство по миграции на новую версию.