操作指南

操作指南#

这里提供使用 Isaac Lab 开发项目的分步指南。可以按主题搜索,并直接在本页打开指南。后端标签表示各指南涵盖的物理后端;Isaac Sim 标签表示该工作流程需要 Isaac Sim 运行时。没有标签的指南介绍与后端无关的概念。

仿真基础

创建空场景

启动空仿真,了解核心启动顺序。

在场景中生成 prim

向仿真舞台添加灯光、地面和基本形状。

深入了解仿真启动

通过 Python 和命令行配置并启动仿真应用。

资产

与刚体对象交互

创建、重置并控制圆锥体;包含可运行的 run_rigid_object.py 示例。

与关节体交互

操作关节状态、命令和关节体数据。

与可变形物体交互

在场景中生成并操控可变形体。

使用表面夹爪

通过表面夹持器附着和释放刚性物体。

导入新资产

将 URDF、MJCF 或网格资产转换为 Isaac Lab 可用的 USD。

机器人与关节体配置

复用或编写机器人配置,包含 Jetbot/Dofbot 示例。

固定物理 prim

将浮动资产转换为仿真中的固定物体。

生成多个资产

批量操作刚性物体,并在不同环境中使用不同资产配置。

管理资产下载

缓存远程资产、迁移 Nucleus 配置,并选择区域资产服务。

为 Newton / MJWarp 准备资产

为运行 Newton MJWarp 物理预设准备资产与任务。

场景与克隆

使用交互式场景

通过高层交互场景接口组合资产和传感器。

克隆环境

选择克隆策略、构建异构场景并过滤碰撞。

环境与训练

创建基于管理器的基础环境

使用可复用的管理器项构建非强化学习环境。

创建基于管理器的强化学习环境

为强化学习添加奖励、终止条件、课程和指令。

创建直接工作流的强化学习环境

直接控制环境循环,实现强化学习任务。

注册环境

向 Gymnasium 注册 Isaac Lab 任务,并提供其配置入口。

使用强化学习智能体训练

通过受支持的强化学习库启动训练与推理。

配置强化学习智能体

自定义智能体设置和训练超参数。

修改现有的直接工作流强化学习环境

扩展和调整直接工作流任务,无需从头构建。

在 USD 环境中运行策略推理

在 USD 舞台定义的环境中运行已训练策略。

封装环境

将 Isaac Lab 环境适配到外部强化学习接口。

添加自己的学习库

为 Isaac Lab 任务集成其他学习框架。

运行脚本状态机

通过确定性状态机策略驱动环境。

课程学习工具

在训练期间动态改变环境参数。

在 PhysX 与 Newton 之间迁移策略

在 PhysX 和 Newton 后端间验证、评估策略检查点。

传感器、相机与渲染

为机器人添加传感器

向环境添加相机、射线投射和接触传感器。

保存渲染图像与三维重投影

保存相机输出,并从深度图重建点云。

选择与配置渲染器

选择 Newton Warp、OVRTX 或传统 Isaac RTX,并调整所选渲染器。

在可视化器中显示相机流视图

在实时可视化面板中显示多个环境的平铺相机真值图像。

在训练期间采集传感器帧

从运行中的训练任务录制选定的传感器输出。

录制视频

通过 CLI 或环境配置,从可视化器或场景传感器录制 MP4 视频片段。

创建可视化标记

在场景中绘制坐标系、箭头和自定义形状,帮助调试各环境的状态。

控制器

使用任务空间控制器

通过微分逆运动学控制机器人末端执行器。

使用操作空间控制器

对机械臂应用操作空间控制。

仿真与数据

可复现性与确定性

设置随机种子,并为物理仿真、渲染和训练启用确定性选项。

使用 ProxyArray

通过 Torch 和 Warp 使用资产、传感器数据,并保持留存视图有效。

仿真性能

诊断瓶颈,提高仿真吞吐量。

调优 PhysX 求解器

调整时间步长、迭代和接触,诊断 PhysX 求解器稳定性。

调优 MJWarp 求解器

调整 Newton MuJoCo-Warp 的接触容量、时间步长、摩擦和收敛。

调优 Kamino 求解器

调整 Newton Kamino PADMM 或 DVI 的收敛、稳定化、时间步长和子步数。

调优 VBD 求解器

调整 Newton 顶点块下降(VBD)的材料、接触、布料、软体,以及代理或 ADMM 耦合。

调优 MPM 求解器

调整 Newton 物质点法(MPM)的分辨率、时间步长、收敛和材料参数。

遥操作

配置 Isaac Capture 与 CloudXR

通过 CloudXR 连接 XR 设备,实现沉浸式遥操作。

配置 Haply 遥操作

使用 Haply 设备,以定向力反馈控制机器人。

工具与工作流

录制仿真动画

采集仿真状态并导出动画。

掌握用于机器人的 Omniverse

查找与 Isaac Lab 有关的 Omniverse 工作流和资源。

使用 Nsight Systems 分析 Isaac Lab 性能

使用 NVIDIA Nsight Systems 采集和检查运行时跟踪数据。

备注

本指南集仍在完善。如果这里未能解答你的问题,可在 Isaac Lab GitHub 仓库 提交 issue。