PAPER DEEP DIVE
基于相位条件策略优化的多阶段机器人全身移动操作
该论文扩展近端策略优化（PPO），用状态机定义任务阶段，并通过相位门控奖励、演员相位预测辅助任务、相位条件评论家和多相位重置课程训练单一长时程策略。方法在宇树 G1 与搭载机械臂的 Boston Dynamics Spot 上完成推箱、抬箱、搬运和轮胎滚动，通过执行器延迟随机化、摩擦课程与等效力矩约束解决接触密集型任务的仿真到现实迁移。
论文元信息：Simone Manni、Annika Wollschläger、Dario Bellicoso、Abel Gawel、Marco Hutter、Simon Le Cleac'h、Jan Brüdigam；arXiv 2610.36270；2026 年 10 月 26 日提交。
论文链接：https://arxiv.org/abs/2610.36270。本文没有发布相位条件策略优化方法的完整开源实现；Spot 实验复用了公开的 ReLIC 低层控制基础设施，因此不能把 ReLIC 仓库误认为这篇论文的官方代码。
一句话总结
这篇论文把长时程移动操作拆成状态机定义的若干行为阶段，同时只训练一个高层策略：训练时用相位门控奖励、相位预测辅助任务、相位条件评论家和多相位重置课程提供结构，部署时演员完全不读取相位标签，仍能自主完成搬箱、推箱和轮胎滚动。
研究背景与动机
移动操作要求机器人在同一任务中行走、下蹲、接触、抬升和搬运。短时程抓取已经能被强化学习较稳定地解决，但当动作链延长到数十秒甚至数分钟，稀疏成功信号、接触突变和多段奖励会共同放大探索难度。机器人很容易在早期学会把箱子踢走或拖走，因为这些局部方案比完整抬升更快获得奖励，却与任务真正目标相反。
现有的人类动作数据路线能够提供自然、丰富的运动先验，尤其是人形机器人的全身控制。然而，这类方法依赖动作捕捉、遥操作或大规模视频数据的整理，训练结果往往绑定特定的人形平台。论文希望回答一个更基础的问题：如果任务本身具有清楚的行为阶段，能否只依靠环境交互和一个可跨平台复用的层次控制接口，让一条策略学会完整的移动操作序列。
作者没有把“阶段”当作部署时必须输入的外部时钟。传统有限状态机会为每段训练一个子策略，再在运行时按照状态阈值切换。这个方法降低了单个子任务的难度，却把稳定性转移到策略切换边界：机器人有惯性，接触也会持续变化，上一段策略的终止状态未必适合下一段策略平稳启动。论文因此选择保留任务结构的训练价值，但把执行阶段合并进入单一策略。
论文关注的三个难点分别是：如何在不用人类演示的情况下跨越长时程探索壁垒；如何避免不同阶段的奖励相互冲突；如何让算法同时适配四足机器人和人形机器人，而不是只针对一个本体调参。方法设计都围绕这三点展开，而实验也刻意选择 Spot 轮胎任务与宇树 G1 的推箱、抬箱和搬运任务，以检验跨形态复用能力。
预备知识与整体控制接口
作者把问题写成部分可观测马尔可夫决策过程。机器人看不到完整物理状态，只能根据本体传感器和任务观测选择动作；控制器需要最大化带折扣的长期回报：
$$\mathcal{M}=(\mathcal{S},\mathcal{O},\mathcal{A},\mathcal{P},\mathcal{R},\gamma)$$
其中状态、观测、动作、转移概率、奖励和折扣因子共同定义一个交互环境。策略根据当前观测采样动作，轨迹则由连续的状态动作对组成：
$$\begin{aligned}\pi(\boldsymbol{a}_{t}\mid\boldsymbol{o}_{t}),\\\tau=(\boldsymbol{s}_{0},\boldsymbol{a}_{0},\boldsymbol{s}_{1},\boldsymbol{a}_{1},\ldots)\end{aligned}$$
训练目标是最大化期望折扣回报：
$$J(\pi)=\mathbb{E}_{\tau\sim\pi}\left[\sum_{t=0}^{\infty}\gamma^{t}\mathcal{R}(\boldsymbol{s}_{t},\boldsymbol{a}_{t})\right]$$
直接让一个网络输出全部电机目标会造成动作空间过大。论文沿用 ReLIC 的解耦层次架构，把系统分成低层全身控制器与高层任务策略。低层网络只负责维持平衡并跟踪速度、骨盆高度和躯干俯仰；高层策略输出这些目标的变化量，手臂关节目标则由高层直接给出。这样的分工把“怎样站稳”和“下一步做什么”分开，使同一套高层学习框架可以接到不同的低层控制器上。
宇树 G1 的低层策略控制 15 个腿部和腰部自由度，接收五维命令：平面速度两项、偏航角速度、骨盆高度和躯干俯仰。网络是三层多层感知机，隐藏层宽度依次为 512、256、128，输入观测总维度为 104。五维命令可以写成：
$$\mathbf{c}_{t}=[v_{x},v_{y},\omega_{z},z_{\mathrm{base}},\theta_{\mathrm{pitch}}]^{T}$$
为了防止高层输出突然跳变，动作不是绝对位置，而是对上一时刻命令的残差增量。每个增量先缩放，再裁剪到机器人可执行范围：
$$\mathbf{c}_{t}=\operatorname{clip}\left(\mathbf{c}_{t-1}+\mathbf{a}_{t}\Delta_{\mathrm{scale}},\mathbf{c}_{\min},\mathbf{c}_{\max}\right)$$
这个递推形式让动作平滑成为结构约束，而不是等训练结束后再靠较大的动作变化惩罚修补。对下蹲任务尤其重要：骨盆高度每帧略微改变，比直接输出新的绝对高度更容易保持平衡。
图 2 的关键不只是网络结构，而是可行命令区域。站立时，骨盆高度和躯干俯仰必须落在逆运动学关键帧形成凸包内；移动时，允许的高度与俯仰范围还会随目标速度收缩。这样低层策略不会被要求跟踪物理上不可达的命令，缓减了高层策略把探索浪费在失衡姿态上的问题。手臂在本体上被观测，但低层不控制手臂；它们交给高层决定是否接近物体、包住物体或保持夹持。
方法详解
1. 用状态机定义行为阶段，而不是规定时间表
论文把任务拆成若干离散阶段，每个阶段由当前物理状态的局部条件决定。例如距离轮胎足够近时从接近阶段进入扶正阶段，箱子离开地面足够高时从抬升阶段进入保持阶段。第 k 个阶段的索引可以看作从阶段变量中取得最大值的位置：
$$k=\arg\max_{j\in\{1,\ldots,N\}}\psi_{j}$$
这种划分与固定时间窗口不同。同一任务的成功 episode 可能持续不同长度，阶段应由物体、机器人或接触状态触发，而不是到第几秒强行切换。训练环境中可以使用接触、物体高度等仿真特权量来判定阶段，但部署时不需要把这些标签送给演员。
阶段边界还设置了滞回。前进条件严格，回退条件相对宽松，使机器人更愿意停留在当前阶段继续尝试，而不是在阈值附近来回跳转。这样做会带来少量状态在相邻阶段的重叠，却换来了更稳定的探索。阶段不是任务的最终控制输入，而是训练时的结构化监督：帮助奖励、评论家和重置分布知道“当前应该练什么”，而不是替部署策略做在线切换。
2. 相位门控奖励把冲突目标分时开放
如果接近、下蹲、夹持、抬升、搬运的奖励从第一步同时开启，策略会不断收到互相拉扯的梯度。接近箱子的速度奖励可能鼓励碰撞，保持高度的奖励又要求身体稳定，夹持奖励则需要在尚未接触时保持为零。论文在原奖励项之上加入阶段门控，只有当前阶段相关的项才活跃。可以概括为：
$$\begin{aligned}r_{t}={}&\sum_{k=1}^{N}\mathbf{1}[\psi_{t}=k]\,r_{k}(\boldsymbol{s}_{t},\boldsymbol{a}_{t})\\&+\lambda_{+}r_{\mathrm{forward}}-\lambda_{-}r_{\mathrm{backward}}\end{aligned}$$
这里不公开每一项的数值权重，但机制很明确：接近阶段优化到箱子的距离，下蹲阶段关闭接近项并优化骨盆高度和平衡，夹持、抬升和保持阶段再逐段激活对应目标。除阶段内奖励，状态机向前推进会得到稀疏正奖励，后退则受到更强惩罚，避免策略通过反复跨过边界刷奖励。
门控奖励是论文把先验任务结构注入 PPO 的主要方式之一。它没有直接生成动作，也没有在部署时强制执行转移，而是改变训练信号的时间局部性。对长时程任务来说，这相当于把一个大而混合的优化问题拆成共享策略上的多个局部窗口。
3. 相位预测辅助头迫使演员内部表示保留任务进度
演员本身不观察阶段标签，因此不能简单把 one-hot 相位拼接到输入。作者在与动作头共享的特征主干上增加一个辅助分类头，让它从高层观测预测当前仿真阶段。若真实阶段是第 k 类，预测概率为 p-hat，则交叉熵损失可写为：
$$\mathcal{L}_{\mathrm{CE}}=-\sum_{k=1}^{N}\mathbf{1}[\psi_{t}=k]\log \hat{p}_{k}(\boldsymbol{o}^{H}_{t})$$
这个损失不直接改变低层动作空间，而是要求共享表示能够区分“正在接近”“正在下蹲”“已经夹住”“正在搬运”等行为窗口。部署时移除标签和状态机，演员仍然只吃正常观测，但由于主干被迫编码了阶段信息，动作序列更有机会自然衔接。
消融结果说明这不是装饰性辅助任务。Spot 轮胎任务成功率从 89% 降到 44%，G1 双箱推动任务从 92% 降到 14%。G1 的下降尤其大，说明当阶段更多、接触更长时，仅靠普通 PPO 的回报梯度很难让共享表示形成清楚的行为边界。
4. 相位条件评论家用全局值加局部残差估计价值
评论家可以看到仿真阶段，但它不是为每个阶段训练完全独立的评论家。网络先产生一个全局基础价值，再由各阶段专用残差头修正局部价值：
$$V(\boldsymbol{s}_{t},\psi_{k})=V_{\mathrm{base}}(\boldsymbol{s}_{t})+\Delta V_{k}(\boldsymbol{s}_{t})$$
这一结构同时表达长期任务进度和当前阶段特有的价值变化。接近物体时，全局头理解“离最终搬运还有多远”；局部头则可以处理“这一阶段主要奖励下蹲高度”这样的短时偏好。为了防止残差头承担过多参数、破坏跨阶段共享，作者对残差权重加正则项：
$$\mathcal{L}_{\mathrm{reg}}=\lVert\theta_{\mathrm{res}}\rVert_{2}$$
完全独立的阶段评论家能快速适应局部奖励，却在阶段边界产生较大价值跳变；纯全局评论家稳定，但容易被主导回报的全局目标淹没局部差异。残差结构处在两者之间：共享主干保留整体任务理解，小型残差允许局部修正，同时对不连续程度形成约束。
5. 多相位重置课程同时练习整条行为链
只从初始状态开始采样会产生严重的顺序探索问题。策略必须先学会第一段，才有机会见到第二段；如果第一段失败，后面的接触动力学永远不会出现在训练分布中。论文借鉴动作学习中的重置课程，在训练早期直接把机器人放到随机阶段，例如靠近已扶正的轮胎、箱子悬空但仍需夹持、或者已经抓住箱子准备抬升。
课程随后逐步降低中段重置比例，最终把所有 episode 初始化都送回第一阶段。这个安排不是改变测试任务，而是扩大训练早期对后续阶段状态的覆盖。G1 推双箱实验表明，如果只从初始相位重置，策略在学会推第一个箱子后便会在第二阶段崩掉；多相位重置则能让所有阶段的技能并行获得梯度。
对抬箱任务，重置不是简单随机噪声，而是由经过整理的关键帧给出。箱子形状或抓取姿态改变时，关键帧也需要更新。这个人工设置在解决夹持探索的同时，带来了后面会讨论的可扩展性成本。
flowchart LR
A["High-level observation"] --> B["Shared actor trunk"]
B --> C["Residual action head"]
B --> D["Phase prediction head"]
C --> E["Clip delta command"]
E --> F["Low-level whole-body policy"]
G["Simulator phase machine"] --> H["Phase-gated rewards"]
G --> D
G --> I["Phase-conditioned critic"]
I --> J["Global base value"]
I --> K["Phase residual value heads"]
H --> L["PPO update"]
D --> M["Cross-entropy loss"]
K --> N["Residual weight regularizer"]
M --> L
N --> L
J --> L
F --> O["Robot and object transition"]
O --> G
P["Multi-phase reset curriculum"] --> O
L --> B
上面的流程图对应论文真正的训练闭环：状态机只在仿真训练中给出相位；演员动作经过增量裁剪后交给低层控制器；相位预测、门控奖励与条件评论家共同更新共享表示。部署链路会删去状态机、相位标签和评论家，只保留观测到动作的演员路径。
任务与硬件实验
论文在两类机器人上测试五种任务。Spot 配备机械臂完成轮胎滚动；G1 完成单箱推动、双箱推动、地面抬箱和抬箱搬运。五种任务覆盖 3 到 7 个阶段，既有短序列准静态接触，也有包含持续双臂夹持和行走的接触密集任务。
| 任务 | 平台 | 阶段数 | 行为阶段 |
|---|---|---|---|
| 轮胎滚动 | Spot | 4 | 接近、扶正、滚动、倾倒 |
| 单箱推动 | G1 | 3 | 接近、推动、起身 |
| 双箱推动 | G1 | 5 | 靠近第一箱、推第一箱、靠近第二箱、推第二箱、起身 |
| 地面抬箱 | G1 | 5 | 接近、下蹲、夹持、抬升、保持 |
| 抬箱搬运 | G1 | 7 | 接近、下蹲、夹持、抬升、搬运、卸载、起身 |
所有策略在 GPU 加速的 mjlab 仿真环境中训练。G1 策略导出为 ONNX，并通过自定义 ROS2 框架部署到硬件；Spot 使用另一套控制框架。实验同时随机化物体质量、尺寸和摩擦，最终在真实机器人上执行完整行为链。论文还展示了一种不依赖外部动作捕捉的执行方式：G1 利用本体状态估计和机载相机识别 ArUco 标记，完成推箱和抬箱。
图 3 中尤其值得注意的是部署语义。虽然图中的状态机、相位编码和评论家都很显眼，但它们都属于训练机制。测试时参考轨迹、仿真接触标签和阶段变量不再提供给执行器，策略只依据本地观测输出残差命令。这让“相位条件”不会被误解为测试时先验，它更像是训练期间塑造共享表示的课程信号。
论文没有报告真实硬件的大样本成功率，也没有给出跨物体尺寸的系统评测，因此硬件部分最稳妥的结论是：五种任务均有真实机器人完整执行，且机载定位版本完成推箱与抬箱；不能据此推断所有环境变化下都能获得相同成功率。作者的主要定量证据来自仿真消融，主要迁移证据来自接触密集的 G1 部署。
消融实验说明了什么
消融选择 Spot 轮胎滚动和 G1 双箱推动两个任务，使用三个随机种子。前者较简单，便于观察收敛；后者阶段较多，能检验训练是否在中间阶段崩溃。比较对象包括完整方法、去掉相位预测、只从初始阶段重置、普通多层感知机评论家和完全分开的多头评论家。
| 任务 | 完整方法 | 去掉相位预测 | 只从初始相位重置 |
|---|---|---|---|
| Spot 轮胎滚动 | 89% ± 2% | 44% ± 9% | 可学会，但方差较高 |
| G1 双箱推动 | 92% ± 2% | 14% ± 6% | 复杂阶段训练崩溃 |
相位预测的贡献最直接。没有辅助分类损失时，演员仍能接收同样的观测和奖励，但共享特征没有明确压力去保留行为阶段的边界，策略更快收敛到局部行为。G1 任务只剩 14% 成功率，说明多阶段接触任务对表示结构极其敏感。初始相位重置的失败则说明，探索覆盖比单纯增加训练步数更重要：如果策略从未经历后续阶段，评论家就无法对该阶段的价值作出可用估计。
价值网络拓扑的差异更细微。残差结构比普通共享多层感知机达到更高成功率、更低方差，也比完全拆开的值头在阶段边界更平滑；但作者坦白，在标准基准上的量化差距并不夸张。他们更多依靠复杂抬箱任务中的定性稳定性来选择残差头。这个表述降低了“单一架构必然最优”的强度，也让消融结论更可信。
论文还使用 1000 个成功的 Spot episode 分析阶段预测，并把不同长度 episode 按阶段转移锚定到统一时间轴。预测头在主要阶段内基本跟随真实阶段，误差集中在切换边界。这个结果与辅助监督的动机一致：它并不要求部署时输出完美阶段标签，而是要求表示在大多数时段包含任务进度信息。
从仿真到硬件的关键修补
G1 抬箱任务的真正难点在接触。机器人需要持续用前臂包住箱子，而不是只用末端接触；MuJoCo 的柔性接触会产生微小滑移，仿真中的不可压缩模型又会诱发过大的夹持力。作者没有把这些问题简单归因于奖励不足，而是分别修改执行延迟、摩擦和关节目标偏差。
| 问题 | 方法 | 论文给出的关键数值与结果 |
|---|---|---|
| 真实机械臂振荡 | 训练时随机化执行器延迟 | 最多 5 个物理步，在 200 Hz 下为 25 ms；抓取明显稳定 |
| 持续接触微滑移 | 滑动摩擦课程 | 从最高 3.0 退火到最终 1.5 至 2.0 |
| 肩部电机过热 | 限制命令与当前关节位置偏差 | 以 7 N·m 的位置增益等效约束限制夹持力 |
| 长时间保持 | 接触、延迟和力限制联合调整 | 稳定夹持可持续到 5 分钟 |
执行器延迟是最典型的仿真缺口。仿真控制回路默认动作立刻到达，真实机械臂却存在高频延迟和未建模动态；只在奖励中提高平滑性不能完全补偿。作者把延迟直接注入训练过程后，策略学会提前制动或补偿，摆动和掉箱显著减少。
摩擦课程处理的是另一类误差。训练早期用很高的滑动摩擦帮助策略先学会夹住，再逐步降低到更接近硬件的 1.5 至 2.0。由于仿真器缺少原生的接触修正，最终摩擦仍偏高，但它的作用是给策略一个连续可学的过渡，而不是声称已经完全解决接触建模。
位置偏差约束比额外力惩罚更直接。作者把命令关节与当前关节的最大差限制在对应 7 N·m 的等效水平，使策略不能无限增加夹持命令。硬件上这个约束消除了肩部电机过热，同时保持足够的包覆力。5 分钟稳定保持说明该修补在目标实验里有效，但它仍依赖具体硬件增益、箱体形状和摩擦条件。
图 4 显示了感知与操作的接口：机载相机只负责给出物体相对位姿，策略仍在本体局部坐标系里规划。训练时没有专门模拟标记漏检，真实系统却能在标记识别正常时完成推箱和抬箱。这支持了框架对本体传感的依赖较小，但还不能证明在强遮挡、强反光或标记丢失时具备同等鲁棒性。
开源代码与可复现边界
论文没有发布名为“相位条件 PPO”的独立仓库。公共代码部分的直接来源是 ReLIC，它提供了 Spot 的层次移动操作控制架构。该仓库当前提交 27f8033c5064d32f049a17accb71cd1091422878 中的 spot_joint_actions.py 展示了手臂、腿部和全身关节目标如何分别写入仿真执行器，interlimb_env_cfg.py 则给出速度命令、手臂腿部姿态命令和本体观测配置。
论文中人类使用的低层网络宽度与 ReLIC 的 PPO 配置一致。仓库里的 rsl_rl_cfg.py 把演员和评论家隐藏层都设为 [512, 256, 128]，动作裁剪参数为 0.2，价值损失系数为 1.0，学习率从 0.001 开始并采用自适应调度。这些配置可以帮助理解低层基础设施，但相位条件评论家、门控奖励、演员相位预测头和多相位课程是论文新增部分，不能从公开 ReLIC 代码中直接找到。
因此，复现边界应当明确：ReLIC 足以作为 Spot 层次控制器和命令接口的参考，却不能替代论文的完整高层训练逻辑；G1 的低层策略、真机 ROS2 部署和仿真环境配置也没有随论文公开。对于希望复现的工程团队，第一步是建立一个可复用命令接口，第二步才是把状态机、奖励门控和相位条件价值网络接到 PPO。
局限性与风险
第一项局限由作者明确指出：阶段数量增加后，策略容量与价值估计会变得困难。每个离散阶段都需要局部残差头，长时程任务还可能让全局价值压过细粒度变化。当前实验最多覆盖 7 个阶段，不能直接外推到几十个阶段的家庭任务或仓储任务。
第二项局限是手工工程成本。任务如何分段、阶段边界条件如何定义、各段奖励如何门控，都需要设计者根据任务预先决定。抬箱和搬运还需要维护关键帧重置库；一旦箱子形状、抓取姿态或质量分布改变，关键帧可能需要重新整理。这与完全无结构的端到端强化学习相比，降低了训练难度，却提高了任务部署的人工门槛。
第三项局限来自接触仿真。论文通过延迟随机化、摩擦课程和等效力矩限制把 G1 抬箱迁移到硬件，但这些修补仍依赖 MuJoCo、具体物体材质和机械臂增益。更换机械臂末端、箱体软硬程度或传感器延迟后，必须重新验证。最终摩擦系数高于真实接触参数，也说明仿真策略可能仍带有保守夹持倾向。
第四项是我基于实验设置作出的判断：定量实验主要是仿真消融，硬件展示没有公开逐物体的成功率、重复次数和失败分布。因此结果足以证明方法能够产生真实行为，但不足以证明它在工业级物体变化、光照变化和长时间自主运行下依然可靠。作者也把仿真器对复杂接触的建模能力列为整体局限。
总结与展望
这篇论文的核心不是“把状态机塞进 PPO”这么简单，而是重新分配任务结构在训练与部署中的位置。训练阶段允许环境状态机、阶段标签和特权物体状态存在，用它们塑造奖励、评论家和重置课程；部署阶段则移除这些外部支撑，让单一演员靠共享表示自主完成整条行为链。它把长时程任务的先验转成了可消失的监督，而不是永久的运行时脚手架。
跨 Spot 与 G1 的结果说明，统一的高层命令接口可以让同一套多阶段学习思路适配四足和人形本体。最有说服力的设计证据是：去掉相位预测后，G1 双箱任务从 92% 降到 14%；去掉多相位初始化后，复杂任务直接训练崩溃。它们共同说明，长时程强化学习失败往往不是网络容量不足，而是表示和探索分布没有覆盖关键阶段。
下一步可以沿三个方向推进。算法上，论文建议把相位引导机制迁移到离策略方法，以提高样本效率；任务上，可以用离线数据或采样模型预测控制自动发现阶段，减少手工分段和奖励调参；系统上，则可以把多相位课程扩展到多机器人协作，让阶段不仅是单机行为窗口，也成为机器人之间的协调契约。
金句
长时程移动操作的阶段标签应当塑造训练，而不是替测试时的演员做决定。
