RobodexBRICS

Nvidia выпустила Isaac Lab 3.0 с движком Newton и модульной архитектурой

Nvidia представила Isaac Lab 3.0 — обновление набора инструментов для обучения роботов в симуляциях. В версии появилась модульная архитектура, движок Newton с несколькими методами расчёта физики и модуль LEAPP для переноса моделей на реальное оборудование.

Nvidia представила Isaac Lab 3.0 — обновление набора инструментов для обучения роботов в симуляциях. В новой версии расширили возможности физического моделирования, добавили варианты рендеринга и упростили перенос готовых моделей на реальное оборудование.

Модульная архитектура

Одним из главных обновлений стала модульная архитектура: физический движок, рендеринг изображений для виртуальных камер и средства визуализации теперь можно выбирать независимо. Многие сценарии работают без установки и запуска полноценного Isaac Sim — достаточно движка Newton или отдельных библиотек OVPhysX и OVRTX.

Движок Newton и рендеринг

Newton объединяет несколько методов расчёта физики: MJWarp моделирует роботов с жёсткими звеньями и суставами, VBD — ткани, мягкие тела и кабели, MPM — жидкости и сыпучие материалы. Есть также экспериментальный Kamino для механизмов с замкнутыми кинематическими цепями.

Для виртуальных камер доступны системы быстрого рендеринга Newton Warp и RTX-рендеринга OVRTX. Система Cosmos 3-Nano Transfer превращает карты глубины в фотореалистичные видео по текстовым подсказкам. С поддержкой 3D Gaussian rendering появилась возможность использовать в симуляторе реконструкции реальных сцен.

Перенос на реальное оборудование

За перенос обученных моделей на реальное оборудование отвечает модуль LEAPP: он экспортирует модель вместе с обработкой входных данных, на выходе получается пакет с файлами модели в формате ONNX и метаданные.

Стабильная версия Isaac Lab 3.0 доступна на GitHub, на сайте Nvidia опубликованы интерактивные демонстрации, а в документации есть руководство по миграции на новую версию.