PyTorch 深度学习实战（25）：逆向强化学习（Inverse RL）-CSDN博客

GAIL的代码实现流程：

1. 采集专家数据：使用预训练策略生成专家轨迹

2. 构建策略网络：基于 PPO 的生成器

3. 构建判别器网络：二分类网络区分专家/生成数据

4. 对抗训练：交替优化生成器和判别器

IRL 的本质逻辑
强化学习（RL）的目标是 “已知奖励函数，学习最优策略”；而 IRL 则是 “已知专家的最优行为（如轨迹），反推其背后的奖励函数”。奖励函数是 IRL 的输出而非输入，因此不需要奖励的真实标签（reward gt）。

例如，在自动驾驶场景中，专家示范是人类驾驶员的历史轨迹，IRL 通过这些轨迹推断出 “靠近车道中心行驶”“遵守信号灯” 等隐含的奖励逻辑（无需人工定义这些奖励的具体数值）。