超越模仿：通过离线策略 Q-Planning 实现机器人策略自我改进

元信息

论文：Beyond Imitation: Self-Improving Robot Policies via Off-Policy Q-Planning
作者：Varun Giridhar、Anant Khandelwal、Jeremy A. Collins、Ignat Georgiev、Animesh Garg
机构：Georgia Institute of Technology
链接：arXiv:2608.21204 · 项目主页
代码状态：论文引用 FastWAM 的公开权重与评测代码，但截至采集时未发现 Q-Planning 官方代码仓库。

一句话总结

Q-Planning 冻结大型行为克隆策略，只在旁边训练一个约十亿参数的离线 Q 函数；推理时用 Q 值对多条候选动作块做单步加权，在线时让 Q 吸收成功与失败回放，从而把 LIBERO 平均成功率从 92.1% 提升到 97.6%，并在双臂真机任务上从 40%/25% 提升到 90%/80%。

一、研究背景与动机

大规模行为克隆（Behaviour Cloning, BC）已经成为机器人操控的重要基线。RT-2、Octo、Diffusion Policy、FastWAM 等模型利用海量人类演示获得了强大的零样本泛化能力，但它们继承了一个结构性限制：BC 的训练目标只鼓励复现人类动作，一旦策略在部署中失败，失败轨迹无法直接转化为训练信号。若没有新的遥操作演示，模型无法从自身错误中恢复。

强化学习微调提供了一条自改进路径，但在现代视觉-语言-动作（VLA）模型上代价很高。多亿参数策略在稀疏奖励的在线数据上更新，既昂贵又脆弱，还可能破坏 BC 先验本身。换句话说，RL 微调把“学习价值”和“保持已学会的行为”压在同一组巨大权重上，导致自我改进的收益与灾难性遗忘的风险绑在一起。

另一条路线是价值引导规划：冻结策略，在推理时用值函数对候选动作重排序。这类方法避免了策略更新，但通常缺少在线迭代；即使收集了部署回放，也不会主动把它们转化为更强的价值估计。作者因此提出一个关键问题：能否让大型 BC 策略不更新自身参数，却持续从部署成功与失败中变强？

Q-Planning 的核心洞察来自 BC 与 Q 学习之间的不对称性。BC 只能模仿成功演示，而 Q 函数估计的是状态-动作价值，其目标在任意轨迹数据上都良定义。失败回放对 SFT 是噪声，对 Q 却是有价值的信息：它能把导致失败的状态-动作价值压低。这个不对称性正是本文自改进闭环的基础。

与 DSRL、IBRL、DAWR 等方法相比，Q-Planning 同时满足五个条件：冻结 BC、可直接插入大型 VLA、能从失败学习、从离线到在线更新 Q、无辅助 actor。它不是让一个小网络替代 BC 行为，而是让 BC 继续产生多样、合理的候选动作，Q 只负责在候选之间选择与放大。

二、预备知识

论文采用部分可观测 MDP 描述语言条件操控任务。在每个控制步，观测 $\mathbf{o}_t$ 包含一个或多个相机图像，语言条件为 $\boldsymbol{\ell}$，动作为 $\mathbf{a}_t\in\mathbb{R}^{d_a}$。现代 VLA 策略通常输出长度为 $H$ 的动作块 $\mathbf{a}_{t:t+H}\in\mathbb{R}^{H\times d_a}$，执行一部分后重新规划。

奖励设置为稀疏终端奖励 $r_t\in\{0,1\}$，只在任务成功完成的时刻为 1。若直接学习标量 Q 并做一步 bootstrap，长视野操控会让误差持续累积。论文因此采用两个稳定化技术：第一，把长度为 $H$ 的动作块作为一个“超级动作”，使有效 bootstrap 视野缩短 $H$ 倍；第二，用 HL-Gauss 分类回归替代标量回归，把目标投影到固定 bin 上并以交叉熵训练。

基座 FastWAM 是一个多模态流匹配策略。它每次可以采样出多个覆盖不同动作模式的候选块，而不是围绕单一高斯均值抖动。这种多模态性质对 Q-Planning 尤其重要：如果 BC 完全无法产生某种成功行为，规划器也无从选择它；反之，只要某行为有非零采样概率，Q 就有机会放大它。

三、方法详解

图 1：Q-Planning 总览。左侧为推理时冻结 BC 采样 N 个候选动作块并由 Q 打分、加权平均；右侧为部署回放进入 replay buffer，只更新 Q 函数。

3.1 离线 Q 函数

Q 函数拥有独立的视觉与语言编码器，与 BC 参数完全不共享。视觉编码器采用 DinoV2，语言编码器采用 T5：

$$\mathbf{z}^{\mathrm{vis}}_t=E^{\mathrm{vis}}_\phi(\mathbf{o}_t),\qquad \mathbf{z}^{\mathrm{txt}}=E^{\mathrm{txt}}_\phi(\boldsymbol{\ell})$$

随后，Transformer 解码器以 $[\mathbf{z}^{\mathrm{vis}}_t;\mathbf{z}^{\mathrm{txt}}]$ 为上下文，把候选动作块作为 query token 序列。解码器输出被投影到 $B$ 个 HL-Gauss logits，标量 Q 值由 softmax 分类分布的期望得到：

$$Q_\phi(\mathbf{o}_t,\boldsymbol{\ell},\mathbf{a}_{t:t+H})=\sum_{b=1}^{B}v_b\cdot \mathrm{softmax}\!\left(\ell_\phi(\mathbf{o}_t,\boldsymbol{\ell},\mathbf{a}_{t:t+H})\right)_b \tag{1}$$

这里 $v_b$ 是均匀分布在 $[v_{\min},v_{\max}]$ 上的第 $b$ 个 bin 中心。分类形式避免了稀疏奖励下回归目标分布过于尖锐或双峰造成的不稳定。

在训练实现中，HL-Gauss 先把标量 Bellman 目标 $y$ 变成 bin 上的高斯分布。设第 $b$ 个 bin 中心为 $v_b$，则非归一化目标权重可写作：

$$\tilde{p}_b=\exp\!\left(-\frac{(v_b-y)^2}{2\sigma_{\mathrm{HL}}^2}\right),\qquad p_b=\frac{\tilde{p}_b}{\sum_{j=1}^{B}\tilde{p}_j} \tag{4}$$

其中 $\sigma_{\mathrm{HL}}$ 控制目标在相邻 bin 上的平滑程度。网络以交叉熵逼近 $p_b$，而不是直接回归 $y$。这使零奖励失败与成功终端奖励都能形成稳定监督，并减少离群 bootstrap 目标带来的梯度尖峰。

3.2 块级 Bellman 目标

训练数据初始为成功演示 $\mathcal{D}_{\mathrm{BC}}$，之后加入部署回放。每个样本是块级转移 $(\mathbf{o}_t,\mathbf{a}_{t:t+H},r_{t:t+H},\mathbf{o}_{t+H},\mathbf{a}_{t+H:t+2H})$。值得注意的是，bootstrap 使用 buffer 中真实存在的下一块动作，而不是重新查询 $\pi_{\mathrm{BC}}$。因为演示中的下一块正是 BC 被训练去模仿的样本，所以目标仍是 $Q^{\pi_{\mathrm{BC}}}$ 的无偏估计。

论文给出的块级平方误差 Bellman 目标为：

$$\mathcal{L}(\phi)=\mathbb{E}_{\mathcal{D}}\left[\left(Q_\phi(\mathbf{o}_t,\boldsymbol{\ell},\mathbf{a}_{t:t+H})-\sum_{t'=0}^{H-1}\gamma^{t'}r_{t+t'}-\gamma^H Q_{\bar\phi}(\mathbf{o}_{t+H},\boldsymbol{\ell},\mathbf{a}_{t+H:t+2H})\right)^2\right] \tag{2}$$

其中 $\bar\phi$ 为指数滑动平均目标参数。实际优化时，式(2)中的标量目标先被 HL-Gauss 投影到 bin 分布，再用交叉熵训练。失败轨迹是全零奖励轨迹，终止块不 bootstrap，其目标被压向零。这个性质让失败数据无需特殊损失即可被吸收。

3.3 Q 加权动作选择

在每个规划步，策略用 3 步流匹配采样 $N$ 个候选动作块 $\mathbf{a}^{(n)}_{t:t+H}\sim\pi^{\mathrm{BC}}(\mathbf{o}_t,\boldsymbol{\ell})$。相比完整 10 步去噪，3 步既降低延迟，也保留样本多样性。随后 Q 对所有候选打分，执行温度为 $\lambda$ 的 softmax 加权平均：

$$w^{(n)}\propto\exp\!\left(\frac{Q_\phi(\mathbf{o}_t,\boldsymbol{\ell},\mathbf{a}^{(n)}_{t:t+H})}{\lambda}\right),\qquad \bar{\mathbf{a}}_{t:t+H}=\sum_{n=1}^{N}w^{(n)}\mathbf{a}^{(n)}_{t:t+H} \tag{3}$$

这不是迭代搜索，而是一次前向选择。候选全部来自 BC 的可行动作流形，避免 MPPI 风格的锯齿噪声把动作推到 Q 的训练支持之外。视觉和语言编码器每个规划步只运行一次，约 25 ms；$N$ 个候选作为并行 query 进入约 500M 的 Q 解码器，因此额外成本约为每个候选 2–3 ms。

EMA 目标参数的更新规则为：

$$\bar{\phi}\leftarrow\eta\phi+(1-\eta)\bar{\phi} \tag{5}$$

其中 $\eta$ 是很小的更新速率。该规则与式(2)配合，使 bootstrap 目标比在线参数 $\phi$ 更平滑，降低自改进过程中 replay buffer 分布变化带来的价值震荡。

3.4 自改进闭环

图 2：算法 1。每轮先在当前规划器下收集回放，再将成功与失败全部加入 buffer，最后做 S 次 Q-only 梯度更新并更新 EMA 参数。

闭环从 $\mathcal{D}\leftarrow\mathcal{D}_{\mathrm{BC}}$ 开始。每轮迭代，对每个任务收集 $M$ 个回合；每个回合中，当前 Q 规划器持续采样、加权并执行动作。回合结束后，无论成功还是失败，轨迹都进入 buffer。随后做 $S$ 次 Q-only 更新，并用 $\bar\phi\leftarrow\eta\phi+(1-\eta)\bar\phi$ 更新目标参数。仿真中 $M=100$，$S=200$；真机中每任务每轮 $M=20$。

这一设计的关键在于“只更新 Q”。策略权重不变意味着 BC 先验不会被新数据灾难性遗忘；Q 编码器与 BC 参数不相交，也避免失败梯度通过共享主干反向污染策略。自改进的计算规模由约十亿参数的 critic 决定，而不是由多亿甚至百亿参数的策略决定。

3.5 与 MPPI 的关系

论文还比较了动作候选来源。普通 MPPI 在 BC 均值附近加入独立高斯噪声，但由于相邻时间步噪声不相关，会产生锯齿轨迹，使动作偏离 BC 支持并诱导 Q 过度相信伪高分。时间平滑 MPPI 用一维高斯核沿动作块时间轴卷积噪声，恢复时序一致性，但需要三轮迭代。Q-Planning 的式(3)可视为一轮候选选择：直接从多模态流匹配采样，让 BC 的原生多模态替代手工平滑噪声。

四、实验设置

仿真实验覆盖 LIBERO-Spatial、LIBERO-Object、LIBERO-Goal、LIBERO-10 与 47 个任务的 RoboTwin。主结果比较三种设置：冻结 FastWAM 基线、离线 Q-Planning（只有 Q 加权选择，没有在线自改进）以及 10 轮自改进后的 Q-Planning。真机实验使用两台 6 自由度 YAM 机械臂，任务为堆叠塑料杯和把卡片插入钱包，每轮每任务收集 20 个回合。

实验围绕四个问题展开：哪个动作来源最适合规划；自改进是否提升所有基准；相比同样在线预算的基线，Q-Planning 是否真正带来增益；以及自改进能否迁移到真机接触丰富任务。所有方法使用相同回放预算，避免把优势归因于更多数据。

五、实验结果

5.1 动作来源

在 LIBERO-10 上，普通 MPPI 甚至低于冻结 BC，说明候选必须留在 BC 与 Q 的支持集内。时间平滑 MPPI 与本文方法成功率相同，但本文方法少三个手工超参数，并且快 1.7 倍，这使实时闭环成为可能。

5.2 主结果

离线 Q 选择已经比冻结 BC 平均提高 1.3 个百分点，并在五个基准中的四个上占优。开启自改进后，每个基准成功率都进一步提高，平均达到 97.6%，较冻结 BC 提升 5.5 个百分点。更细的现象是，在已经接近天花板的 Object 与 Goal 套件上，成功率无法继续显著提升，系统转而缩短成功回合长度，从 139 步到 120 步、110 步到 99 步，说明 Q 学到的不仅是“能否完成”，还包括“更快完成”。

图 3：论文 Table 1 的方法定位。Q-Planning 同时具备冻结 BC、即插即用大型 VLA、失败学习、离线到在线 Q 更新与无辅助 actor 五个属性。

5.3 在线基线对比

在相同在线预算下，论文比较了 Best-of-N、Filtered SFT、IBRL、DSRL 和 DAWR。Q-Planning 在 LIBERO-10 上从 93% 提升到 99%，而基线大多停滞、振荡或崩塌。Filtered SFT 只使用成功回放，丢弃失败；IBRL 与 DSRL 需要辅助 actor 或额外策略网络；DAWR 直接更新策略权重，代价高且风险大。这个对比说明关键不在“是否收集在线数据”，而在“哪些网络能够消化失败数据”。

5.4 真机自改进

两个真机任务从 100 条演示开始，每轮每任务收集 20 个回合，共 5 轮。BC 参数始终冻结，机器人不在回放中被遥操作，人工输入仅限场景复位和逐回合成功标签。堆杯任务从 BC 的 40% 提升到 90%；插卡任务从 25% 提升到 80%。相反，只用成功回放做 SFT 分别停在 55% 和 30%。

六、局限性

BC 依赖与探索边界是第一重限制。作者明确指出，Q-Planning 不能从零引导策略：如果 BC 头以接近零的概率产生某种行为，规划器无法选择它，闭环也无法学会利用它。多模态流匹配扩大了候选覆盖范围，但当基础 BC 完全没有成功候选时，方法仍然失效。

Q 解码器随 N 线性扩展是第二重限制。编码器每个规划步只摊销一次，但约 500M 的 Q 解码器成本随候选数线性增长，在 L40S 上约为每个候选 2–3 ms。部署配置 LIBERO $N=64$、RoboTwin $N=32$ 仍在延迟预算内；若为了更难探索把 N 推向数百，解码器将成为瓶颈。

终端奖励依赖是第三重限制。仿真使用环境成功位，真机由人工提供逐回合成功标签。开放任务需要语言条件或学习式成功模型。此外，真机协议仍包含人工场景复位；虽然不进行人工遥操作，但“完全自主”的说法应谨慎理解。

七、总结与展望

Q-Planning 的贡献不在于发明新的 Q 学习形式，而在于把一个工程上可实现的不对称性推到 VLA 尺度：BC 负责产生多样、可信的动作，Q 负责从所有部署结果中学习价值。由于策略权重冻结，自改进的风险与成本从策略规模转移到 critic 规模；当 VLA 主干向百亿参数扩展时，这种分离更具吸引力。

方法也给后续研究留下清晰接口。候选分布不必是 BC：离线 RL、奖励加权模仿或世界模型 rollout 只要多模态且覆盖合理动作流形，都可以作为 proposal distribution。若再结合自动成功检测或语言条件价值函数，Q-Planning 有机会从受控 benchmark 走向更开放的长期自改进系统。

金句：BC 从成功中学会模仿，Q 从失败中学会拒绝；把两者分开训练，反而让它们在线上共同变强。