常见问题#

Isaac Lab在Isaac生态系统中扮演什么角色?#

多年来,NVIDIA开发了许多面向机器人和人工智能的工具。这些工具利用GPU的强大性能加速模拟,提高了模拟的速度和逼真度,在模拟技术领域显示出极大的潜力,并被全球许多研究员和公司广泛应用。

Isaac Gym [MWG+21] 提供了一个高性能的基于GPU的机器人学习物理模拟器。它建立在 PhysX 之上,支持GPU加速的刚体模拟和用于直接访问物理模拟数据的Python API。通过端到端的GPU流水线,相对于基于CPU的物理引擎,可以实现高帧率。该工具已成功应用于许多研究项目中,包括:四足动物行走 [RHRH22] [RHBH22] 、手中操作 [HAM+22] [AML+22] 和工业装配 [NSA+22]

尽管Isaac Gym很成功,但它不是为机器人学习而设计的通用模拟器。例如,它不包括可变形和刚性对象之间的交互,高保真度渲染以及ROS的支持。该工具主要是作为预览版发布,以展示底层物理引擎的功能。随着 Isaac Sim 的发布,NVIDIA正在构建通用的机器人模拟器,并将Isaac Gym的功能集成到Isaac Sim中。

Isaac Sim 是一个构建在Omniverse之上的机器人模拟工具包,Omniverse是旨在统一复杂3D工作流的通用平台。Isaac Sim利用最新的图形和物理模拟技术,为机器人提供高保真度的模拟环境。它支持ROS/ROS2、各种传感器模拟、域随机化和合成数据创建工具。Isaac Sim中的平铺渲染支持在环境中进行矢量化渲染,并支持使用 Isaac Automator 在云中运行。总的来说,它是机器人学家的一个强大工具,是机器人模拟领域的一个重要进步。

随着以上两个工具的发布,NVIDIA还发布了一个名为 IsaacGymEnvsOmniIsaacGymEnvs 的开源环境集,它们是分别建立在Isaac Gym和Isaac Sim之上。这些环境旨在展示底层模拟器的功能,并为了解模拟器用于机器人学习的可能性提供了一个起点。这些环境可用于基准测试,但不适用于开发和测试定制环境和算法。这就是Isaac Lab的作用所在。

Isaac Lab建立在Isaac Sim之上,为机器人学习提供一个统一且灵活的框架,利用最新的模拟技术。它被设计成模块化和可扩展的,旨在简化机器人研究中常见的工作流程(如RL、基于演示的学习和运动规划)。尽管它包含一些预先构建的环境、传感器和任务,但它的主要目标是提供一个开源的、统一的、易于使用的界面,用于开发和测试定制环境和机器人学习算法。它不仅继承了Isaac Sim的功能,还添加了一些与机器人学习研究相关的新功能。例如,在模拟中包括执行器动力学、程序地形生成和支持从人类演示中收集数据。

Isaac Lab取代了以前的 IsaacGymEnvsOmniIsaacGymEnvsOrbit 框架,将成为Isaac Sim的单一机器人学习框架。之前发布的框架已被弃用,我们鼓励用户按照我们的 迁移指南 完成迁移工作。

我为什么要使用Isaac Lab?#

由于Isaac Sim仍然是闭源的,用户很难为模拟器做出贡献并构建一个共同的研究框架。在当前的道路上,我们看到使用模拟器的社区将仅开发自己的框架,这将导致分散的努力和大量重复的工作。这在过去的其他模拟器中已经发生过,我们认为这不是社区向前发展的最佳方式。

Isaac Lab为社区提供了一个开源平台,通过联合倡议驱动集中努力,为机器人学习系统设计基准和公用程序。这使我们能够重复使用现有的组件和算法,并在彼此的工作基础上建立。这不仅节省了时间和精力,还使我们能够专注于更重要的研究方面。我们希望Isaac Lab能成为机器人学习研究的事实标准平台,并成为利用Isaac Sim的环境 动物园 。随着框架的发展,我们预见将从NVIDIA和合作伙伴的内部发展以及机器人学习研究中受益最多的最新模拟发展。

我们已经与大学和研究机构的实验室合作,将他们的工作整合到Isaac Lab中,并希望社区的其他成员也加入我们的努力中。如果您有兴趣为Isaac Lab做出贡献,请与我们联系。