常见问题#
Isaac Lab在Isaac生态系统中扮演什么角色?#
多年来,NVIDIA开发了许多面向机器人和人工智能的工具。这些工具利用GPU的强大性能加速模拟,提高了模拟的速度和逼真度,在模拟技术领域显示出极大的潜力,并被全球许多研究员和公司广泛应用。
Isaac Gym [MWG+21] 提供了一个高性能的基于GPU的机器人学习物理模拟器。它建立在 PhysX 之上,支持GPU加速的刚体模拟和用于直接访问物理模拟数据的Python API。通过端到端的GPU pipeline,相对于基于CPU的物理引擎,可以实现高帧率。该工具已成功应用于许多研究项目中,包括: 四足动物行走 [RHRH22] [RHBH22] 、手中操作 [HAM+22] [AML+22] 和工业装配 [NSA+22] 。
尽管Isaac Gym很成功,但它不是为机器人学习而设计的通用模拟器。例如,它不包括可变形和刚性对象之间的交互,高保真度渲染以及ROS的支持。该工具主要是作为预览版发布,以展示底层物理引擎的功能。随着 Isaac Sim 的发布,NVIDIA正在构建通用的机器人模拟器,并将Isaac Gym的功能集成到Isaac Sim中。
Isaac Sim 是一个构建在Omniverse之上的机器人模拟工具包,Omniverse是旨在统一复杂3D工作流的通用平台。Isaac Sim利用最新的图形和物理模拟技术,为机器人提供高保真度的模拟环境。它支持ROS/ROS2、各种传感器模拟、域随机化和合成数据创建工具。Isaac Sim中的平铺渲染支持在环境中进行矢量化渲染,并支持使用 Isaac Automator 在云中运行。总的来说,它是机器人学家的一个强大工具,是机器人模拟领域的一个重要进步。
随着以上两个工具的发布,NVIDIA还发布了一个名为 IsaacGymEnvs 和 OmniIsaacGymEnvs 的开源环境集,它们是分别建立在Isaac Gym和Isaac Sim之上。这些环境旨在展示底层模拟器的功能,并为了解模拟器用于机器人学习的可能性提供了一个起点。这些环境可用于基准测试,但不适用于开发和测试定制环境和算法。这就是Isaac Lab的作用所在。
Isaac Lab建立在Isaac Sim之上,为机器人学习提供一个统一且灵活的框架,利用最新的模拟技术。它被设计成模块化和可扩展的,旨在简化机器人研究中常见的工作流程(如RL、基于演示的学习和运动规划)。尽管它包含一些预先构建的环境、传感器和任务,但它的主要目标是提供一个开源的、统一的、易于使用的界面,用于开发和测试定制环境和机器人学习算法。它不仅继承了Isaac Sim的功能,还添加了一些与机器人学习研究相关的新功能。例如,在模拟中包括执行器动力学、程序地形生成和支持从人类演示中收集数据。
Isaac Lab取代了以前的 IsaacGymEnvs 、 OmniIsaacGymEnvs 和 Orbit 框架,将成为Isaac Sim的单一机器人学习框架。之前发布的框架已被弃用,我们鼓励用户按照我们的 迁移指南 完成迁移工作。
我为什么要使用Isaac Lab?#
由于Isaac Sim仍然是闭源的,用户很难为模拟器做出贡献并构建一个共同的研究框架。在当前的道路上,我们看到使用模拟器的社区将仅开发自己的框架,这将导致分散的努力和大量重复的工作。这在过去的其他模拟器中已经发生过,我们认为这不是社区向前发展的最佳方式。
Isaac Lab提供了一个开源平台,让社区能够以集中的努力推动进步,共同设计基准和机器人学习系统。这使我们能够重复使用现有的组件和算法,并在彼此的工作基础上进行开发。这样不仅节省了时间和精力,还让我们能够专注于研究的更重要方面。我们希望Isaac Lab成为机器人学习研究的事实标准平台,并成为一个利用Isaac Sim的环境 动物园 (即多样化的环境)。随着该框架的成熟,我们预见它将大量受益于NVIDIA内部和合作伙伴的最新仿真进展以及机器人技术领域的研究。
我们已经与大学和研究机构的实验室合作,将他们的工作整合到Isaac Lab中,并希望社区的其他成员也加入我们的努力中。如果您有兴趣为Isaac Lab做出贡献,请与我们联系。