一、NVIDIA Isaac 是什么

NVIDIA Isaac 是一款由 NVIDIA 开发的 AI 机器人开发平台，旨在加速自主移动机器人（AMR）、机械臂和人形机器人的开发。该平台由 NVIDIA CUDA 加速库、应用框架和 AI 模型组成，提供了全面的工具集，支持从仿真到实际部署的整个机器人系统开发流程。

主要组件：

NVIDIA Isaac ROS： 基于开源 ROS 2 构建，集成了 NVIDIA CUDA 加速计算包和 AI 模型，旨在简化和加速高级 AI 机器人应用的开发。

NVIDIA Isaac Sim： 基于 NVIDIA Omniverse 构建，提供基于物理的虚拟环境，用于设计、仿真、测试和训练 AI 驱动的机器人。 它支持生成合成数据、训练机器人策略，并在部署前验证整个机器人堆栈。

NVIDIA Isaac Lab： 一个用于机器人学习的开源统一框架，基于 Isaac Sim 构建，旨在加速机器人策略的训练。 它提供了高保真仿真环境，支持强化学习和模仿学习等训练方法。

NVIDIA Isaac Manipulator： 基于 Isaac ROS 构建，支持开发 AI 驱动的机械臂，使其能够感知和理解环境并与之交互。

NVIDIA Isaac Perceptor： 基于 Isaac ROS 构建，旨在加速自主移动机器人（AMR）的开发，使其能够在非结构化环境中进行感知、定位和操作。

二、NVIDIA Isaac Sim

NVIDIA Isaac Sim是NVIDIA推出的一款基于Omniverse平台的机器人模拟和合成数据生成（SDG）工具。是一个高性能、高保真度的仿真平台，它专为加速机器人的开发而设计。Isaac Sim 基于 NVIDIA 的实时物理引擎 PhysX 和渲染技术，结合了强大的图形处理能力与精确的物理模拟，使得开发者能够在虚拟环境中创建复杂的场景，以测试和验证机器人算法。

Isaac Sim 4.5 新特性

2.1 参考应用程序模板

Isaac Sim 已重新设计为可自定义的参考应用程序。一个用于更快启动的最小模板和一个具有完整功能以及所有依赖项的完整模板。这使你能够根据你的特定需求定制应用程序，无论是无头应用程序还是完整的 Isaac Sim 体验。

2.2 改进了 URDF 导入和设置

URDF 导入器已得到重大改进。用户界面已简化，以提供更简化的流程并与其他格式的导入方式保持一致。现在可以单独配置关节驱动器，使机器人在导入后立即可用。为了协助关节驱动器配置，提供了基于自然频率的调整选项。

首先，确认NVIDIA Isaac Sim 中的isaacsim.asset.importer.urdf扩展是否开启，依次点击Window-> Extensions并开启isaacsim.asset.importer.urdf

然后依次点击File->Import导入本地URDF

2.3 改进的物理模拟和建模

Isaac Sim 4.5 在物理建模和仿真方面取得了重大进展。你可以定义和配置机器人组件之间的各种关节类型，设置刚度和阻尼等参数以微调关节行为。

2.4 新的联合可视化工具

新的联合可视化工具可让您检查所选图元的物理属性，包括其位置、旋转、线性和角速度以及加速度。现在，您可以在运行模拟之前查看和优化各种场景参数，例如可变形表面或内存使用情况。

2.5 模拟精度和统计数据

通过对刚体和关节的完全动量守恒的新实现，模拟精度得到了极大提高。

现在，您还可以可视化可以相互交互或完全独立的对象和场景的模拟统计数据。您可以查看从可变形表面到缓冲区中使用的总内存等不同参数。这提供了一种在运行模拟之前排除故障和优化场景的方法。

2.6 NVIDIA Cosmos 世界基础模型

在 CES 上宣布，NVIDIA Cosmos世界基础模型平台与 Isaac Sim 搭配使用， 可用于生成海量可控合成数据来训练感知机器人。

在 Isaac Sim 中，你可以通过统一各种数据输入（包括 CAD、激光雷达到点云扫描以及来自 AI 模型（例如Edify 3D）的 3D 对象）来构建SimReady 3D 场景。然后，可以编写和安排场景以反映机器人必须执行的特定任务，并渲染图像或视频。

Cosmos 可以摄取图像和视频并输出真实的视频片段，然后重新训练策略模型。

三、NVIDIA Isaac Lab 2.0

Isaac Lab是一个 GPU 加速的开源框架，旨在统一和简化机器人研究工作流程，例如强化学习、模仿学习和运动规划。它基于NVIDIA Isaac Sim构建，结合了快速准确的物理和传感器模拟，使其成为机器人模拟到现实转移的理想选择。

Isaac Lab 为开发人员提供了一系列精确传感器模拟的基本功能，例如基于 RTX 的摄像头、激光雷达或接触式传感器。该框架的 GPU 加速使用户能够更快地运行复杂的模拟和计算，这对于强化学习和数据密集型任务等迭代过程至关重要。此外，Isaac Lab 可以在本地运行或分布在云端，为大规模部署提供了灵活性。

Isaac Lab 提供了一套全面的工具和环境，旨在促进机器人学习：

• 机器人：种类繁多的机器人，从机械手、四足动物到人形机器人，共有 16 种常见型号。
• 环境：30 多个环境的现成训练实现，可以使用流行的强化学习框架（例如 RSL RL、SKRL、RL Games 或 Stable Baselines）进行训练。我们还支持多智能体强化学习。
• 物理学：刚体、铰接系统、可变形物体
• 传感器：RGB/深度/分割相机、相机注释、IMU、接触传感器、射线投射器。

他的新版本 Isaac Lab 2.0 做了性能和可用性改进：

• 平铺渲染： 平铺渲染速度提高 1.2 倍，将同时模拟的输出组合成一个大图像，而不是处理来自各个摄像机的大量小图像。
• 生活质量改进： 使用 Python 包管理器简化安装过程。Isaac Lab 还将作为容器提供，从而实现跨系统移动工作负载而无需底层依赖。

可以通过强化学习使用 Isaac Lab 来训练机器人，执行如下命令训练一只机器狗：

./isaaclab.sh -p scripts/reinforcement_learning/rsl_rl/train.py --task=Isaac-Velocity-Rough-Anymal-C-v0 --headless

添加 --headless 不启动可视化界面，可以加快训练速度，我们这里去掉它以展示训练界面。

在 CES 上预览后，人形机器人开发人员还可以利用NVIDIA Isaac GR00T 蓝图构建自定义数据管道，仅通过少量人类演示即可生成大量合成轨迹数据。GR00T 蓝图目前仅供受邀者早期访问。

四、NVIDIA Isaac Manipulator

NVIDIA Isaac Manipulator基于 ROS 2 构建，是 NVIDIA CUDA 加速库、AI 模型和参考工作流程的集合。它使您能够构建支持 AI 的机械臂或操纵器，这些机械臂或操纵器可以感知、理解并与环境交互。

Isaac Manipulator 现在包含用于拾取放置和物体跟踪的全新端到端参考工作流程，使你能够快速开始基本的工业机器人手臂任务：

• 物体跟随：显示机器人夹持器在绕过障碍物时保持相对于移动物体的一致位置的能力。
• 拾取和放置：展示机器人如何拾取物体并将其释放到预定区域同时避开障碍物。

五、NVIDIA Isaac Perceptor

NVIDIA Isaac Perceptor基于 ROS 2 构建，是用于开发自主移动机器人 (AMR) 的 NVIDIA CUDA 加速库、AI 模型和参考工作流程的集合。它使 AMR 能够在仓库或工厂等非结构化环境中感知、定位和操作。

Isaac Perceptor 包含 CUDA 加速库，例如用于 3D 场景重建的nvblox和用于立体视觉惯性 SLAM（同时定位和映射）的cuVSLAM ，您可以将其集成到现有的 AMR 工作流程中。

Isaac Perceptor 的最新更新显著提高了 AMR 在仓库等动态环境中的环境感知和运营效率。主要新功能和改进包括：

• 新的端到端视觉 SLAM 参考工作流程
• 运行带有多个摄像头的 nvblox 的新示例，用于具有人体检测和动态场景元素的3D 场景重建
• 通过在多个 RGB-D 相机上运行 Isaac Perceptor来改进 3D 场景重建

这些更新显著改善了 3D 场景重建，从而提高了在现实场景和复杂动态环境中 3D 场景捕捉和映射性能的准确性和稳健性。

Orbbec、LIPS (Realsense)、StereoLabs (Zed) 等 NVIDIA 生态系统合作伙伴提供兼容的摄像头。开发人员支持还包括使用 Isaac Perceptor 进行地图绘制和定位教程，该教程介绍了使用 Nova 传感器的 cuVGL 和 cuVSLAM 库实现离线地图绘制功能。

六、丰富的生态系统

多个行业合作伙伴已宣布将 NVIDIA Isaac 集成到他们的平台和解决方案中：

• 波士顿动力公司正在使用 Isaac Lab和 NVIDIA Jetson AGX Orin 来直接部署模拟策略进行推理，从而简化部署过程。
• 为了训练他们的 GR-1 和 GR-2 人形机器人，Fourier 团队转向 NVIDIA Isaac Gym（现已弃用）进行强化学习。他们目前正在将他们的工作流程移植到 NVIDIA Isaac Lab。
• Foxglove在 Isaac Sim 中开发了一个扩展，可以直接在 Foxglove 中实时可视化机器人模拟数据。
• Main Street Autonomy 的Calibration Anywhere 软件可自动校准传感器，从而使用 Isaac Perceptor 改善机器人的传感器融合。
• Miso Robotics使用先进的机器人技术、Isaac Manipulator 和 NVIDIA Isaac ROS 实现厨房任务自动化，从而提高商业厨房的效率、一致性和客户满意度。
• RGo Robotics和 NVIDIA 正在利用 Isaac Perceptor 和 Isaac ROS 通过先进的 AI 和感知技术改造移动机器人。
• NVIDIA 初创成员Scaled Foundations开发了通用机器人智能开发 (GRID)，这是一个先进的基于云的平台，可加速机器人 AI 解决方案的开发。GRID 无缝集成了 Isaac Sim 和 Isaac Lab 技术，为机器人开发人员和研究人员提供了一个端到端平台，用于训练、模拟和部署他们的机器人应用程序。有关更多信息，请参阅GRID 上的 NVIDIA Isaac Sim。
• Virtual Incision正在使用 NVIDIA 平台，包括 Holoscan、IGX、Sensor Bridge、Isaac Sim。他们正在探索使用 Cosmos 进行训练、模拟和测试，同时还在探索用于下一代辅助机器人手术设备的推理 AI 功能。
• NVIDIA Inception成员和深度科技初创公司Wandelbots正在使用其操作系统 Wandelbots NOVA 构建定制机器人模拟，该系统与 Isaac Sim 无缝集成。