PAPER DEEP DIVE
基于强化学习的四足机械臂多地形自适应全身控制
本文提出一种面向四足机械臂的强化学习全身控制框架,把末端位置表示在机器人身体坐标系中,把末端姿态锚定到重力方向,并通过“身体稳定优先于运动、运动优先于操作”的软优先级动态调度奖励。研究在 Unitree Go1 与 1.5 千克六自由度 Lite Arm 组成的 13.5 千克平台上验证,系统可穿越 30 度坡面、10 厘米台阶和可变形地面。仿真中高速重载条件下 4096 个回合仅失败 2 次;实机末端跟踪和人工扰动补偿保持稳定,并在可变形地面与横向台阶上完成 32/40 次自主抓取,总体成功率为 80%。
一句话总结:论文把机械臂末端位置放在机器人身体坐标系中,把末端姿态锚定到重力方向,再用“身体稳定优先于运动、运动优先于操作”的软优先级调度奖励,使一台 13.5 千克的 Unitree Go1 加轻量六自由度机械臂能够在坡面、台阶和可变形地面上边走边完成目标抓取。
一、研究背景与问题定义
四足机器人能够把移动能力带到楼梯、碎石和松软地面,机械臂则让这种移动平台从“到达现场”进一步走向“在现场做事”。这类任务被称为移动操作或四足移动操作。论文关注的不是机械臂在固定基座上完成一次抓取,而是机器人背着机械臂穿越复杂地形,并在身体持续俯仰、横滚和上下起伏时保持末端执行器对目标的任务一致性。
问题首先来自尺度。大型移动机械臂可以留出较大的质量、空间和关节冗余,小型四足平台的载重却非常有限。论文指出,常见机械臂可能占据四足机器人有效载荷的很大一部分,并且机械臂不是静止配重,而是随构型变化的移动负载。机械臂展开、侧摆或抬升时,系统质心会移动,腿部关节的力矩需求随之变化;反过来说,腿部为适应地形产生的身体运动又会通过机械臂基座传到末端。
这种双向耦合使“把现有四足控制器和现有机械臂控制器接起来”很难获得稳定结果。分层方案通常让四足负责速度跟踪,再让逆运动学控制机械臂。但身体在坡面上的姿态变化会改变机械臂可用工作空间,机械臂为了维持目标姿态又会改变系统质心。若两层各自优化局部目标,它们可能在关键时刻提出相互冲突的动作。
论文进一步区分末端位置与末端姿态的不同角色。位置误差有时可以通过重新定位机体来补偿,尤其在目标仍可重新观测时;姿态误差却可能直接破坏任务,例如端着开口容器、保持工具方向或在接触前维持抓取角。把所有任务都放在世界坐标系中,有利于保持末端姿态的绝对一致性,却依赖更可靠的全局定位,并可能在身体大幅度运动时让机械臂超出局部可达范围。把所有任务都放在身体坐标系中,局部可达性较好,却会让末端跟着机身一起倾斜。论文的方法正好围绕这一取舍展开。
研究目标因此包含三层:第一,硬件上降低机械臂给小型四足平台带来的负担;第二,任务表示上同时保留局部可达性与相对环境的一致性;第三,学习信号上让身体稳定、速度跟踪和末端操作按照依赖关系动态让路,而不是用一组固定权重硬碰硬。
论文将控制过程描述为命令条件马尔可夫决策过程。策略接收包含移动命令和机械臂任务的全身命令,输出 18 个受控关节的目标位置。目标不是逐帧求解带接触约束的全身优化,而是在仿真中训练一个固定推理成本、部署时无需在线二次规划的反馈策略。
二、平台与预备知识
实验平台由 Unitree Go1 四足机器人、定制的 Lite Arm 六自由度机械臂和末端夹爪组成。机械臂质量约 1.5 千克,最大伸展超过 60 厘米,结构使用聚乳酸碳纤维复合材料与嵌入的碳纤维管,在减轻质量的同时维持刚度。系统总质量约 13.5 千克,策略控制的主动关节共 18 个,其中 12 个属于四条腿,6 个属于机械臂;夹爪本体是否闭合属于抓取流水线,不在 18 维连续关节策略的动作空间中。
论文采用非对称演员评论家结构。演员只使用部署时可获得的传感器状态,评论家在训练时额外读取速度、末端加速度、目标误差和局部高度图等特权信息。这样可以降低价值估计的方差,又不会把仿真特权传感器偷偷带入实机部署。
任务表示采用混合空间。$ {}^{B}\mathbf{p}_{t} $ 表示在身体坐标系中表达的末端位置,$\mathbf{q}_{t}$ 表示由重力方向约束的末端单位四元数。前者使目标跟随机械臂基座,后者让末端在世界竖直方向上保持任务需要的姿态。这里的“混合”不是两套控制器简单叠加,而是同一个命令向量的两个分量。
奖励调度采用软优先级。所谓软优先级,不是硬约束下层任务完全不能违反上层条件,而是根据身体是否足够直立、运动性能是否足够好,连续缩放下层的奖励影响。它允许策略在短暂扰动中保留协调动作,但在高优先级状态长期不足时把学习重点拉回稳定与移动。
三、方法详解
1. 用统一目标优化一个共享策略
策略 $\pi_{\theta}$ 由近端策略优化训练,目标是最大化任务优先奖励的期望累计回报:
$$ \max_{\theta}\mathcal{J}(\theta)=\mathbb{E}_{\pi_{\theta}} \left[\sum_{t=0}^{T-1}r_{t}^{\mathrm{pri}}\right] $$
其中 $T$ 是一个回合的策略步数,$r_{t}^{\mathrm{pri}}$ 不是普通人工设计的单一奖励,而是后文由多个目标组和动态优先级合成后的奖励。该目标让一套共享网络同时学习腿部支撑、身体调节与机械臂动作,避免分层控制中两个独立优化器在耦合处互相抵消。
2. 混合末端任务把两种坐标系拆开使用
完整全身命令由移动命令和混合末端命令组成:
$$ \mathbf{c}_{t}^{\mathrm{WBC}} =\left(\mathbf{c}_{t}^{\mathrm{loco}},\mathbf{c}_{t}^{\mathrm{EE}}\right), \qquad \mathbf{c}_{t}^{\mathrm{EE}} =\left({}^{B}\mathbf{p}_{t},\mathbf{q}_{t}\right) $$
$\mathbf{c}_{t}^{\mathrm{loco}}$ 包含身体沿前后、左右方向的目标线速度和绕竖直轴的目标偏航角速度;${}^{B}\mathbf{p}_{t}$ 是身体坐标系中的末端位置目标;$\mathbf{q}_{t}$ 是以重力和任务朝向构造的目标姿态。身体可以承担大范围移动,机械臂只需处理身体附近的局部任务,因此不必要求全局定位一直精确。末端姿态又不会随着 30 度坡面上的机身一起倾斜。
这个设计的关键不是“身体坐标系比世界坐标系更好”,而是两类量需要不同参照。位置跟身体走可以保持机械臂局部可达;姿态跟重力走可以保持与环境一致。对于没有运动学冗余、工作空间有限的六自由度轻量臂,这种分工比完全世界坐标或完全身体坐标更符合实际约束。
3. 三个目标组按依赖关系排序
论文将全身目标组织为清晰层级:
$$ \mathrm{Body\ Regulation}\succ\mathrm{Locomotion} \succ\mathrm{Manipulation} $$
身体姿态与足端接触决定机器人是否还具备继续移动的条件,因此身体调节位于最高层;运动可行又决定机械臂能否在穿越过程中保持目标,因此运动位于中间;末端操作位于最下层。该排序表达的是任务依赖,不表示机械臂永远服从一个固定低权重。动态激活因子会随上层当前表现改变。
4. 身体直立度控制下层奖励的开启程度
身体层根据投影重力定义直立激活因子:
$$ \lambda_{\mathrm{upright}} =\min\left( \frac{\max\left(-\mathbf{g}^{\top}\mathbf{e}_{z},0\right)}{c_{0}}, 1 \right) $$
$\mathbf{g}$ 是身体坐标系中的投影重力,$\mathbf{e}_{z}$ 是身体竖直轴,$c_{0}$ 是达到完全激活的直立阈值。机身越偏离期望直立状态,$\lambda_{\mathrm{upright}}$ 越接近零,运动与操作目标的影响被压低。它不直接替代姿态奖励,而是担任“门控”:先让全身策略把身体恢复到可执行其他任务的区域,再逐步放大下层目标。
5. 运动性能继续门控机械臂目标
第二个激活因子由当前运动目标值决定:
$$ \lambda_{\mathrm{loco}} =\min\left(R_{\mathrm{loco}}/c_{1},1\right) $$
$R_{\mathrm{loco}}$ 是当前非负运动表现,$c_{1}$ 是运动表现达到饱和的阈值。若速度跟踪较差,机械臂目标不会与移动目标以相同强度竞争;待运动能力足够,机械臂才获得完整影响。这里的顺序非常重要:操作并非不重要,而是它建立在机器人仍然能走过去、站稳并承受反作用力的前提之上。
6. 末端位置奖励分为粗跟踪与近目标精跟踪
机械臂目标由粗位置、细位置和姿态三部分组成。细位置项使用双曲正切构造:
$$ R_{\mathrm{pos}}^{\mathrm{fine}} =1-\tanh\left(\frac{e_{\mathrm{pos}}}{\sigma}\right), \qquad \left|\frac{\partial R_{\mathrm{pos}}^{\mathrm{fine}}} {\partial e_{\mathrm{pos}}}\right| =\frac{1}{\sigma}\operatorname{sech}^{2} \left(\frac{e_{\mathrm{pos}}}{\sigma}\right) $$
$e_{\mathrm{pos}}$ 是命令位置与实际末端位置之间的距离,$\sigma$ 决定细粒度奖励的有效范围。误差很大时奖励导数迅速减小,避免远处的机械臂为了追逐局部梯度而做出过激动作;误差接近目标时导数更明显,以提高最终跟踪精度。这与粗位置项形成由远及近的训练信号。
7. 优先级向量把三个目标组合成一个奖励
三个目标组通过状态相关向量组合:
$$ \boldsymbol{\Lambda} =[1,\lambda_{\mathrm{upright}}, \lambda_{\mathrm{upright}}\lambda_{\mathrm{loco}}]^{\top} $$
$$ r_{t}^{\mathrm{pri}} =\boldsymbol{\Lambda}^{\top}\mathbf{R}, \qquad \mathbf{R}=[R_{\mathrm{body}},R_{\mathrm{loco}}, R_{\mathrm{mani}}]^{\top} $$
身体目标始终保留权重 1;运动目标受身体直立度门控;机械臂目标同时受身体直立度和运动性能门控。这里的乘法结构保证机械臂不会在身体或运动条件明显恶化时保持满权重。与固定系数相加相比,这种调度会随回合中的状态改变,并通过 PPO 的回报与优势估计影响整个共享策略。
8. 姿态奖励分成偏航对准与竖直对准
末端姿态先约束水平面内的偏航方向,再约束末端竖直轴与重力方向的一致性。偏航奖励写成:
$$ r_{\mathrm{EE\text{-}yaw}} =\exp\left(-ke_{\mathrm{yaw}}^{2}\right) $$
竖直对准项则写成:
$$ r_{\mathrm{EE-z-align}} =\exp(-k\bar{\theta}^{2}), \qquad \bar{\theta} =\arccos\left(\mathbf{z}^{\top}\mathbf{e}_{z}^{W}\right) $$
$\mathbf{z}$ 是末端局部竖直轴在世界坐标系中的表达,$\mathbf{e}_{z}^{W}$ 是世界竖直方向。两个指数奖励都随误差平方衰减,但分别处理偏航与倾斜。实际抓取中,夹爪朝向和开合方向往往都有明确要求,因此只维持“朝上”还不够;论文用两个分量把姿态误差拆开考核。
9. 观测、特权信息与动作空间
演员输入是 70 维向量,包括 18 个关节位置、18 个关节速度、18 个上一时刻动作、10 维全身命令、3 维身体角速度和 3 维投影重力。动作是 18 维连续向量,表示 12 个腿部关节与 6 个机械臂关节的归一化目标位置。部署时策略不依赖目标物体图像,视觉结果只在更外层被转换成身体坐标系中的末端目标。
训练时评论家额外获得 3 维身体线速度、末端线加速度与角加速度、相对于重力的姿态偏差、末端位姿误差,以及 $17\times11$ 的局部高度图。高度图和非部署传感器帮助评论家更准确地评估状态价值;演员仍只依赖机载关节、惯性测量和命令,避免形成无法在实机复现的输入通路。
10. 课程学习、命令采样与域随机化
训练在 Isaac Lab 中并行运行 4096 个环境,每个回合 1000 个策略步,控制频率 50 赫兹,对应 20 秒;物理步长为 0.005 秒,并采用 4 次物理子步对应一次策略步。地形从平地逐步扩展到坡面、台阶、箱体和随机障碍。地形难度从 0.0 提升到 1.0,使策略先学会基本支撑,再面对更复杂的接触。
移动命令与末端命令在每个回合前半段保持不变,在中点联合重采样,用来模拟任务意图变化。静止时末端目标从完整可达工作空间采样,移动时则偏向适合持续运动的目标区域。这个采样方式没有回避机械臂极限,而是把训练样本集中到“运动时仍可达”的任务分布上。
域随机化覆盖驱动器刚度、阻尼、机械臂连杆质量、末端负载、动作延迟、持续躯干外力与速度扰动。具体而言,比例微分控制的刚度缩放范围为 $0.8$ 到 $1.3$,阻尼缩放范围为 $0.5$ 到 $1.5$,每个机械臂连杆质量缩放为 $1.0$ 到 $1.8$ 倍,末端附加负载为 0 到 0.5 千克,动作延迟为 0 到 3 个控制步,即 0 到 60 毫秒。躯干外力与力矩分量均在 $[-2,2]$ 范围采样,并每 10 到 15 秒施加 $[-0.5,0.5]$ 米/秒的水平速度扰动。
flowchart LR
subgraph CMD["Command construction"]
L["Locomotion command
vx vy yaw rate"] --> W["70D policy input"]
P["Body frame EE position
local reachability"] --> W
Q["Gravity referenced EE orientation
task consistency"] --> W
end
subgraph PRI["Priority modulation"]
G["Projected gravity"] --> U["upright gate"]
V["Locomotion return"] --> M["locomotion gate"]
U --> M
end
W --> A["PPO actor"]
A --> J["18 target joint positions"]
J --> LEG["12 leg joints"]
J --> ARM["6 arm joints"]
LEG --> C["Terrain contacts"]
ARM --> E["End effector pose"]
C --> S["Body motion and slip"]
E --> R["Tracking and task reward"]
S --> R
R --> PRI
PRI --> A
图 3 所示的训练与消融进一步说明,优先级不是装饰性权重。去掉运动优先级时,机械臂可以得到更小的末端误差,却牺牲身体移动能力;去掉机械臂优先级时,机身运动尚可,但末端位置明显靠近舒适构型而不是目标;去掉身体优先级时,运动与操作同时变差。完整策略在复合运动误差与复合末端误差之间取得最低的综合代价。
四、实验设置与结果
仿真评估分成两类。第一类在最高难度地形上比较优先级消融,每次使用 1024 个并行回合,指标包括身体线速度误差、角速度误差、末端位置误差和末端姿态误差。第二类改变地形难度、机械臂质量和末端轨迹条件:难度从 0.2 到 1.0,比较完整全身控制、仅移动基线、运动控制加逆运动学机械臂的分层方法和 3 千克重机械臂版本;速度与负载实验分别在 0.4 与 0.8 米/秒、0.2 与 0.5 千克条件下进行,每个条件同样使用 1024 个并行环境。
| 项目 | 论文设置 | 意义 |
|---|---|---|
| 机器人 | Unitree Go1 加 1.5 千克、六自由度 Lite Arm | 总质量约 13.5 千克,最大伸展超过 60 厘米 |
| 受控关节 | 12 个腿关节加 6 个机械臂关节 | 动作空间为连续 18 维目标关节位置 |
| 策略输入 | 演员 70 维,评论家增加特权观测 | 训练稳定,部署只依赖可用机载状态 |
| 训练规模 | 4096 个并行环境,1000 步/回合,50 赫兹 | 每回合约 20 秒,物理步长 0.005 秒,抽取因子 4 |
| 地形 | 平地、坡面、台阶、箱体与随机障碍 | 课程难度从 0.0 逐渐提升到 1.0 |
在速度与负载扩展实验中,分层方法在慢速轻载条件下的失败率为 8.50%,到快速重载时升至 13.77%;成功回合上的末端均方根误差也从 0.070 米增加到 0.108 米。完整全身控制在全部 4096 个回合中只出现 2 次失败,末端均方根误差保持在 0.057 至 0.069 米。这里的差别不仅来自平均精度,更来自尾部可靠性:分层系统在更强的动力学耦合下明显更容易失效。
| 条件 | 分层方法的失败率 | 分层方法末端均方根误差 | 完整全身控制表现 |
|---|---|---|---|
| 0.4 米/秒、0.2 千克 | 8.50% | 0.070 米 | 全部 4096 回合仅 2 次失败 |
| 0.8 米/秒、0.5 千克 | 13.77% | 0.108 米 | 末端均方根误差 0.057 至 0.069 米 |
地形难度实验还观察到,随着难度上升,所有方法的误差和关节接近力矩上限的比例都会增加。带机械臂的方法比纯移动基线承受更多关节负载,这符合额外质量与末端运动带来的物理代价。但在带机械臂的方法内部,完整全身控制比分层方法具有更低的身体运动误差、末端跟踪误差和高负载暴露;3 千克重机械臂版本的关节高负载暴露更高,说明 1.5 千克轻量设计确实减轻了执行器压力。
实机验证使用 30 度坡面和 10 厘米连续台阶。机器人携带装有两颗 36 毫米弹性球的容器,弹性球会放大地形引起的末端运动,便于肉眼观察任务一致性。策略在 NVIDIA Jetson Xavier NX 上以 49.9 赫兹运行,平均推理时间 1.53 毫秒,传感器到命令平均时延 2.76 毫秒,底层关节控制频率为 500 赫兹。该数据说明整套策略能够在机载嵌入式计算平台上留出足够的控制周期余量。
论文报告了台阶段与人工扰动下的定量跟踪。平均足端支撑平面倾角为 0.421 弧度时,末端位置误差为 0.016 加减 0.004 米,姿态误差为 0.045 加减 0.017 弧度。五次人工扰动下,足端支撑平面的峰值倾角平均达到 0.752 加减 0.031 弧度;腿部的主动补偿把机身峰值倾角限制到 0.499 加减 0.037 弧度,机械臂又继续吸收残余俯仰。末端沿前后和左右方向的位置误差均低于 0.009 米,竖直方向误差为 0.034 加减 0.029 米,姿态误差为 0.039 加减 0.024 弧度。
| 实机指标 | 测得结果 | 解释 |
|---|---|---|
| 台阶段足面平均倾角 | 0.421 弧度 | 四足处于明显非水平支撑条件 |
| 台阶段末端位置误差 | 0.016 加减 0.004 米 | 机械臂与机身共同补偿地形起伏 |
| 台阶段末端姿态误差 | 0.045 加减 0.017 弧度 | 重力参考姿态在运动中仍可维持 |
| 扰动时足面/机身峰值倾角 | 0.752 加减 0.031 / 0.499 加减 0.037 弧度 | 腿部减少了传到机身的姿态变化 |
| 扰动时末端前后左右误差 | 均低于 0.009 米 | 残余运动主要由机械臂在竖直方向吸收 |
| 扰动时末端竖直/姿态误差 | 0.034 加减 0.029 米 / 0.039 加减 0.024 弧度 | 任务姿态比绝对三维位置更稳定 |
自主抓取实验把全身控制接入语义感知流水线。自然语言命令和首帧彩色图先交给视觉语言模型,生成包含颜色、形状等场景特征的目标描述;GroundingDINO 以 10 赫兹定位目标,机载深度测量把像素转换成三维位置,再转到身体坐标系。规划器在目标不可达时输出接近速度并保持末端,在连续观测确认可达后切换为抓取位姿。策略本身不读取视觉数据,因此上游感知模块可以在相同目标表示与更新频率下更换,而不要求重新训练控制器。
正式抓取测试覆盖可变形地面和横向下台阶两类地形,共使用纸杯、透明玻璃容器、透明管和 600 克电动螺丝刀四个目标,每种地形 20 次,总计 40 次。可变形地面由沙袋和海绵组成,接触柔顺且存在训练中未出现的接触不确定性,成功 17 次;横向下台阶时四个足端持续处于不同高度,支撑多边形引发的俯仰和横滚更大,成功 15 次。总成功率为 80%,即 32/40。
八次失败分布在完整任务链的不同阶段:两次在穿越最陡支撑位置时失去平衡;四次是透明管或透明容器的目标定位不准;一次是机体未能及时停止并碰到桌边;一次是夹爪已经闭合但在抬升阶段没有保持住物体。按原因归类,三次涉及运动控制,五次涉及定位或抓取执行。这个分解比单一成功率更有价值,因为它说明剩余瓶颈已经跨越控制器、感知和末端执行机构,而不是仅靠继续调策略奖励就能全部解决。
| 自主抓取条件 | 成功/尝试 | 成功率 | 主要观察 |
|---|---|---|---|
| 沙袋与海绵可变形地面 | 17/20 | 85% | 柔顺接触带来仿真中未显式覆盖的不确定性 |
| 横向下台阶 | 15/20 | 75% | 四足不同高度的支撑导致更大的机身俯仰和横滚 |
| 合计 | 32/40 | 80% | 失败包括 2 次跌倒、4 次透明物定位、1 次桌边碰撞、1 次抬升滑脱 |
五、讨论:为什么这些设计有效
混合末端表示解决的是参照系选择问题。位置在身体坐标系中表达,意味着外部规划器会把目标转换成一个随身体移动的局部目标;身体越接近目标,机械臂需要补的行程越短。姿态使用重力参考,又避免了机身倾斜直接变成夹爪倾斜。实机上台阶段末端姿态误差低于位置相关变化的数量级,正是这种分工的直接体现。
软优先级解决的是多目标学习中的时间顺序问题。训练初期或严重扰动时,身体稳定和移动能力尚未恢复,机械臂若保持固定权重,可能诱导网络用错误的机身姿态换取局部末端奖励。门控因子使下层目标随着上层条件恢复逐步进入。由于调度发生在每个控制步而不是训练阶段之间,同一个策略能够在地形变化中自行切换侧重点。
轻量硬件与全身学习相互配合。如果机械臂质量接近平台载荷上限,纯算法补偿需要频繁消耗腿部力矩余量;轻量结构降低了系统惯性,但并没有消除耦合,因此仍需要全身策略协调机械臂构型与腿部动作。论文同时比较 3 千克机械臂版本,正说明硬件减重和学习控制不是可互相替代的两条路线,而是在同一物理系统中共同决定可达到的性能边界。
部署数据也给出了工程可行性证据。50 赫兹策略、500 赫兹底层关节控制、毫秒级策略推理意味着控制计算不是主要瓶颈。真正的困难仍然是接触多样性、感知质量和末端执行,这解释了为什么自主抓取失败中只有三次归入运动控制。
六、局限性
作者明确说明,复杂地形测试区域没有外部动作捕捉覆盖,因此实机定量评估依赖机载惯性测量、关节测量和前向运动学。身体倾角可由投影重力估计,足端平面可由前向运动学足端位置拟合,但末端真实世界位姿并没有独立外部基准。这使论文能够证明系统可运行,却不足以估计绝对世界坐标误差和长期漂移。
作者还明确指出,验证只覆盖单一机器人平台和一组有代表性但有限的地形与操作条件。平台参数、机械臂质量、关节功率和目标对象都固定在一个范围内。论文展示了对沙袋与海绵的泛化,但没有覆盖未知动物、泥地、雪地、破损楼梯、持续外部牵引或动态移动目标等更开放的条件。
从独立分析看,软优先级阈值 $c_{0}$ 与 $c_{1}$ 如何选择、对阈值变化是否敏感,正文没有给出系统性扫描。它们决定高层目标何时被视为足够好,也会影响下层任务多早接管。若阈值设置偏保守,系统可能长期压住机械臂;偏激进则可能在身体尚未恢复时追逐末端目标。论文通过消融验证层级结构有效,但没有把这一连续调度器与更多固定权重方案完整比较。
抓取流水线仍是较慢的开环式任务链:视觉语言模型在任务开始时查询一次,GroundingDINO 持续定位,目标位置再交给全身策略。透明物体造成四次定位失败,说明固定语义提示和深度感知在透明材质上仍脆弱。真正端到端地让感知不确定性进入控制器,或在线重选目标与抓取姿态,是后续提高可靠性的自然方向。
仿真训练还使用“不提前终止”的 20 秒回合。这有利于收集长期恢复行为,但也意味着评价回报与真实任务中的灾难性跌倒需要分开解释。实机安全层、跌倒保护、硬件磨损和连续数小时运行下的热稳定性,论文没有展开。
七、结论与展望
论文的主要贡献不是单独发明某个奖励项,而是把硬件、任务表示和多目标学习组织成一个闭环:轻量六自由度机械臂降低物理负担;混合任务表示分别保护局部可达与任务姿态;软优先级把身体、移动和操作的依赖关系写入逐步奖励。仿真中,完整方法在 4096 个高速重载回合里只有两次失败;实机中,它在 30 度坡面、10 厘米台阶和人工扰动下维持较小的末端误差,并在可变形地面和横向台阶上完成 80% 的端到端自主抓取。
后续工作的合理方向不是单独扩大网络,而是同时补充更大规模的真实移动操作数据、更可靠的透明与反光物体感知、不同机器人之间的硬件随机化,以及把动态目标与动态阻碍纳入训练。论文作者也将大规模数据采集、硬件改进和更复杂动态环境中的操作列为未来工作。
金句:复杂地形上的机械臂控制,不是让机械臂赢过身体,而是让身体、移动和操作按依赖顺序共享同一次全身决定。



