基于专家行为先验的强化学习

EBP：专家行为先验强化学习

论文：Expert Behavior Prior Reinforcement Learning

作者：Gong Gao, Weidong Zhao, Xianhui Liu, Ning Jia

机构：同济大学计算机科学学院

链接：arXiv:2607.21302

---

一句话总结

EBP 摒弃传统 BPRL 对静态离线数据集的依赖，提出从在线经验回放缓冲区直接学习策略先验的 Q 引导条件变分自编码器（Q-CVAE），配合专家策略引导（EPG）机制从生成支持集中选择高价值动作锚点，以及策略梯度校正（PGC）模块协调 Q 引导与专家监督，在 Gym、PyBullet、DMControl 三类连续控制基准上显著超越 TD3、SAC 等 SOTA 在线 RL 算法的样本效率和收敛稳定性。

---

研究背景与动机

在线强化学习（RL）近年来取得显著进展，但与模仿学习等离线范式相比仍以样本效率低下著称。一个重要原因在于大多数在线 RL 算法依赖 Bellman 方程，而 Bellman 方程常提供不准确的值估计——Q 函数的认知不确定性会误导策略更新并加剧探索低效。

行为先验强化学习（BPRL）作为应对方向应运而生：在离线数据集上预训练行为克隆模型，利用监督学习范式引导策略更新。离线预训练在加速策略收敛中起到关键作用：其一，离线预训练利用行为克隆模型提供专家策略先验，为策略更新提供显式引导；其二，离线预训练帮助缓解 Q 引导驱动的无效探索。

然而，现有 BPRL 方法依赖静态离线数据集，这些数据集常受低数据多样性和次优轨迹质量困扰。这种依赖限制了策略先验的有效性，阻碍了策略利用和在线训练稳定性。具体而言，静态数据集的覆盖范围有限，无法适应在线训练中策略不断变化的分布。代理因此倾向于低效探索和不稳定学习动态。

图1：Toy 环境描述及 EBP 与 TD3 学习策略的对比分析。EBP 更准确地捕捉状态值分布的整体结构。

---

预备知识

EBP 基于 TD3 的 actor-critic 架构。值函数 RL 中，Q 网络通过时序差分误差训练：

$$ L_{Q}(\theta)={[Q_{\theta}(s,a)-y]^{2}} $$

其中目标值 $y = R(s,a) + \gamma\min_{n=1,2}Q_{\theta'_{n}}(s', \pi_{\phi'}(s'))$，使用双 Q 网络取最小值以缓解过估计。策略 $\pi_\phi$ 通过最大化 Q 值更新：$J_\pi(\phi) = \mathbb{E}[\nabla_\phi Q_\theta(s, \pi_\phi(s))]$。TD3 引入延迟策略更新和目标策略平滑来稳定训练。

---

方法详解

1. Q-CVAE：在线训练策略先验

图2：EBP 框架概览，包含 Q-CVAE 训练阶段和 RL 训练过程。Q 值函数引导行为策略生成多个高价值支持集动作，从中选择专家动作引导策略更新。

EBP 首先训练 Q 网络建立基础，然后构建条件变分自编码器（CVAE）从当前经验回放缓冲区学习高价值动作重构。CVAE 模型 $G_\omega(s)$ 由编码器 $p_\omega(s,a)$ 和解码器 $q_\omega(s,z)$ 组成，通过最大化变分下界优化，等价于最小化重构损失加 KL 散度：

$$ \mathcal{H}_{\text{Rec}}(\omega)=\mathbb{E}_{(s,a)\sim\mathcal{B},\,z\sim p_{\omega}(s,a)}[(a-q_{\omega}(s,z))^{2}+\text{KL}(p_{\omega}(s,a),\mathcal{N}(0,\mathbf{I}))] $$

然而，仅重构训练数据分布的动作本质上是简单行为克隆，未能充分利用 CVAE 的生成能力。受 DIDI 启发，EBP 提出 Q 引导损失，利用双 Q 网络引导 CVAE 的梯度更新方向，使其生成高价值动作：

$$ \mathcal{H}_{\text{Q}}(\omega)=-0.5\sum_{n=1}^{2}Q_{\theta_{n}}(s, q_{\omega}(s,z)) $$

总 CVAE 损失为 $\mathcal{H}(\omega) = \mathcal{H}_{\text{Rec}}(\omega) + \alpha\,\mathcal{H}_{\text{Q}}(\omega)$，其中 $\alpha$ 为 Q 引导系数。采样时，从先验 $\mathcal{N}(0, \mathbf{I})$ 采样潜变量 $z$，与状态 $s$ 一起送入解码器获得动作。

2. EPG：专家策略引导

EPG 机制从 Q-CVAE 生成的支持集中选择专家动作作为锚点引导策略更新。具体而言，对给定状态 $s$，从 CVAE 采样 $H$ 个候选动作 $\{a_1, \ldots, a_H\}$，用双 Q 网络评估并选择 Q 值最高的作为专家动作锚点 $\tilde{a}$：

$$ \tilde{a} = \arg\max_{a_i, i \in \{1,\ldots,H\}} \min_{n=1,2} Q_{\theta_n}(s, a_i) $$

专家动作锚点通过监督损失引导 actor 更新，增强策略利用。$H=10$ 在性能增益和训练稳定性间取得最佳平衡——$H$ 过大增加采样低质量动作的概率引入不稳定性。

3. PGC：策略梯度校正

PGC 模块协调 Q 引导和专家监督的梯度方向，避免冲突。组合梯度为：

$$ \nabla J_\pi(\phi) = \nabla_\phi Q_\theta(s, \pi_\phi(s)) + \mu \cdot \text{ReLU}(1 - m - \cos(\nabla_Q, \nabla_{\text{Sup}})) \cdot \nabla_{\text{Sup}} $$

其中 $\nabla_Q$ 为 Q 引导梯度，$\nabla_{\text{Sup}}$ 为专家监督梯度，$\mu$ 为 EPG 系数，$m$ 为余弦相似度阈值。ReLU 门控确保仅在两梯度方向严重不一致时引入校正。梯度范数有界：

$$ \lambda_{1} \leq \|\nabla J_{\pi}(\phi)\| \leq \lambda_{1}+(4-2m)\mu\lambda_{2} $$

由于 $\lambda_2 \ll \lambda_1$，专家监督的影响保持有限，仅引入微小扰动同时通过改善梯度对齐增强更新稳定性。EPG 系数 $\mu$ 随训练指数衰减：$\mu \leftarrow \text{decay\_rate} \cdot \mu$（每 20000 步），使后期训练逐渐减弱先验影响以利于探索。

图3：EBP 算法伪代码——初始化行为策略网络、评论家网络、演员网络，循环训练 Q-CVAE 和 actor。

flowchart TD
    A["在线经验回放缓冲区 B"] --> B["训练 Q 网络
时序差分误差"]
    B --> C["训练 Q-CVAE
重构损失 + Q引导损失"]
    C --> D["生成 H 个候选动作
支持集"]
    D --> E["EPG: 选择最高Q值
专家动作锚点 a_tilde"]
    E --> F["PGC: 梯度校正
协调 Q引导 + 专家监督"]
    B --> F
    F --> G["更新 actor 策略 pi_phi"]
    G --> A
    G --> H["mu 指数衰减
后期减弱先验影响"]
    style C fill:#e1f5fe
    style E fill:#fff3e0
    style F fill:#e8f5e9

---

实验结果

Gym 环境实验

图4：八个 Gym 连续控制任务的学习曲线。EBP 在所有任务上一致超越 TD3。

表1：Gym 基准在 200K、1M、2M 步的平均性能（10 个随机种子），最优加粗

任务	步数	TD3	SAC	BAC	NNPG	EBP
HalfCheetah-v3	200K	4977	4516	6039	6204	6177
HalfCheetah-v3	2M	8259	8672	11255	12429	12877
Ant-v3	2M	5697	3906	5631	4083	6672
Hopper-v3	1M	3273	2463	1018	3312	3448
Walker2d-v3	2M	4008	4419	3102	4978	5247
Humanoid-v3	2M	5003	4892	3444	5292	7359
BipedalWalker-v3	2M	265	322	321	-116	334

EBP 相对 TD3 在 200K、1M、2M 步的平均性能增益分别为 51.2%、19.5%、26.0%。EBP(DDPG) 相对 DDPG 增益为 5.6%、16.2%、63.9%。值得注意的是，EBP 常在 1M 步即超越 TD3 在 2M 步的性能，突出样本效率优势。NNPG 在 BipedalWalker 等低维动作任务上因早期缺乏多样专家锚点而失效；BAC 在 Hopper、Walker2d、Humanoid 上因过度依赖历史策略导致性能退化。

PyBullet 与 DMControl 实验

图5：四个 PyBullet 连续控制任务的学习曲线。EBP 一致超越 TD3 和 NNPG。

表2：消融研究总结——各组件对性能的贡献

消融变体	关键发现	最佳参数
w/o Q-guided loss（纯CVAE）	Q引导损失显著提升动作质量，两者均超TD3但Q-CVAE更优	α=0.11
不同 H（支持集大小）	H增大增加采样低质量动作概率引入不稳定	H=10
不同 μ（EPG系数）	μ=1.5后期过保守阻碍Q引导更新	μ=1.0
w/o PGC	无PGC性能显著下降，PGC缓解梯度冲突	μ=1.0最佳
不同 decay_rate	0.99后期先验过强限制探索导致退化	decay_rate=0.97

图6：Gym 基准性能表，展示各算法在 200K、1M、2M 步的平均性能和标准差。

---

局限性

1. 对 Q 值估计的依赖：Q-CVAE 的生成质量和 EPG 的动作选择都依赖 Q 网络的准确性。当 Q 值估计严重偏差时（如高维复杂环境），生成的专家先验可能误导策略更新——Toy 环境中 $S \in [900,1000]$ 区域因探索不足导致 Q 值不准，EBP 和 TD3 均无法学习准确状态值。
2. 超参数敏感性：虽然论文展示了鲁棒性范围，但 α、H、μ、decay_rate 四个关键超参数仍需调优，且最优组合可能因环境而异，增加了实际部署的调参成本。
3. 计算开销：Q-CVAE 的训练和 H 个候选动作的生成评估增加了每步计算量，在高维动作空间中支持集采样和 Q 值评估的开销可能更显著。

---

总结与展望

EBP 通过三个协同模块——Q-CVAE 从在线回放缓冲区生成高价值策略先验、EPG 从生成支持集选择专家动作锚点、PGC 协调 Q 引导与专家监督——摒弃了对静态离线数据集的依赖，在三类连续控制基准上实现了更高的样本效率和更稳定的收敛。消融实验确认每个模块的独立贡献，且方法对关键超参数展现良好鲁棒性。未来工作可探索自适应超参数调整和在高维动作空间中的扩展。

金句：「从在线经验回放缓冲区而非静态离线数据集学习策略先验——因为在线训练中策略分布不断变化，静态先验无法适应，而 Q 引导的 CVAE 能动态生成与当前策略匹配的高价值动作。」