强化学习库比较

强化学习库比较#

在本节中，我们将提供Isaac Lab支持的强化学习库的概述，以及对各个库的性能基准测试。

支持的库有:

特性比较#

特性

RL-Games

RSL RL

SKRL

Stable Baselines3

算法包含

PPO, SAC, A2C

PPO, Distillation

详细列表

扩展列表

矢量化训练

是

是

是

否

分布式训练

是

是

是

否

ML 框架支持

PyTorch

PyTorch

PyTorch, JAX

PyTorch

多智能体支持

PPO

PPO

PPO + Multi-Agent 算法

外部项目支持

文档

少

少

全面

广泛

社区支持

小型社区

小型社区

小型社区

大型社区

Isaac Lab 中的可用示例

多

多

多

少

训练性能#

我们在单个 NVIDIA GeForce RTX 4090 上使用 --headless 模式，在相同的 Isaac-Humanoid-v0 环境中对每个强化学习库进行训练，并记录了 65.5M 步的总训练时间（4096 个环境 x 32 个展开步数 x 500 次迭代）。

RL 库

时间（秒）

RL-Games

201

SKRL

201

RSL RL

198

table-Baselines3

287

训练命令（请检查终端输出中的 'Training time: XXX seconds' 行）：

python scripts/reinforcement_learning/rl_games/train.py --task Isaac-Humanoid-v0 --max_iterations 500 --headless
python scripts/reinforcement_learning/skrl/train.py --task Isaac-Humanoid-v0 --max_iterations 500 --headless
python scripts/reinforcement_learning/rsl_rl/train.py --task Isaac-Humanoid-v0 --max_iterations 500 --headless
python scripts/reinforcement_learning/sb3/train.py --task Isaac-Humanoid-v0 --max_iterations 500 --headless
目录