一手看另一手:动态环境中样本高效的双臂操作多Agent协作

DynaMAC：动态环境双臂操作的样本高效多智能体协作

机构：弗莱堡大学  |  arXiv：2607.22119v1

---

一句话总结

DynaMAC是一个轻量级、策略无关的框架，通过将对手臂视为动态任务参数来解决多流策略在动态环境中的因果假设失效问题，统一了动态操作和双臂协调，在动态环境和双臂任务上超越基线35+个百分点且仅需1/20的样本。

---

研究背景与动机

多流机器人操作策略通过将动作相对于环境参考帧建模，实现了极高的样本效率和泛化能力。但现有方法假设这些参考帧是严格外生的——即不受机器人动作影响。这一因果假设在动态场景中崩溃：当机器人操作移动物体或两臂协调时，每个手臂实际上成为另一个手臂的动态环境的一部分。

现有双臂操作方法分三类：(1) 单体策略联合预测双臂动作，但动作空间增大降低样本效率；(2) 领导者-跟随者架构需预定义固定领导者，无法适应角色变化；(3) 层次化方法需额外协调模块。DynaMAC无需显式领导者或协调模块，协调关系从示教中学习且角色可动态变化。

图1：DynaMAC将双臂操作统一为动态多智能体协作，每个手臂独立运行并将对手臂视为动态任务参数。

多流策略学习基础

模仿学习寻求策略 $p(\boldsymbol{a} | \boldsymbol{o})$ 最大化示教动作的似然。多流策略将观测条件动作分布分解为多个以物体为中心的坐标帧，在每个帧 $f$ 中学习局部模型 $p(\boldsymbol{\xi}_{\text{ee}} | f)$，然后通过专家乘积融合为联合策略：

$$p(\boldsymbol{\xi}_{\text{ee}}) = \frac{\prod_{f=1}^{F} p(\boldsymbol{\xi}_{\text{ee}} | f)}{\int \prod_{f=1}^{F} p(\boldsymbol{\xi}_{\text{ee}} | f) d\boldsymbol{\xi}_{\text{ee}}}$$

其中 $\boldsymbol{\xi}_{\text{ee}}^{(f)}$ 为末端执行器在帧 $f$ 中的局部位姿，通过位姿变换计算：

$$\boldsymbol{\xi}_{\text{ee},t}^{(f)} = \begin{bmatrix} \boldsymbol{q}_{f,t}^{-1}(\boldsymbol{x}_{\text{ee},t} - \boldsymbol{x}_{f,t}) \boldsymbol{q}_{f,t} & \boldsymbol{q}_{f,t}^{-1} \boldsymbol{q}_{\text{ee},t} \end{bmatrix}^T$$

其中 $\boldsymbol{x}_{f,t}$ 和 $\boldsymbol{q}_{f,t}$ 分别为帧 $f$ 在时刻 $t$ 的位置和姿态四元数。专家乘积通过精度加权融合各流：

$$p(\boldsymbol{\xi}_{\text{ee}}) \propto \prod_{f=1}^{F} \mathcal{N}(\boldsymbol{\xi}_{\text{ee}}; \boldsymbol{\mu}_f, \boldsymbol{\Sigma}_f)$$

图2：多流策略——局部模型在共享世界帧中融合。

核心问题：因果假设失效

每个流 $p(\boldsymbol{\xi}_{\text{ee}} | f)$ 将参考帧 $f$ 视为外生变量，建模单向因果效应 $f \rightarrow \boldsymbol{\xi}_{\text{ee}}$。当机器人抓住物体后，物体位姿由机器人决定，因果方向逆转为 $\boldsymbol{\xi}_{\text{ee}} \rightarrow f$。此时条件密度 $p(\boldsymbol{\xi}_{\text{ee}} | f)$ 方差趋近于零，该流在专家乘积中占主导地位，导致策略塌缩为常数预测。

DynaMAC的解决方案：在帧变为与末端执行器运动学链接的瞬间动态过滤掉该帧，恢复任务参数的外生性。这解耦了竞争的因果方向 $f \rightarrow \boldsymbol{\xi}_{\text{ee}}$ 和 $\boldsymbol{\xi}_{\text{ee}} \rightarrow f$。运动学链接检测使用流精度（precision determinant）——当精度异常高时表示存在链接：

$$\text{link}(f, t) = \begin{cases} \text{True} & \text{if } \det(\boldsymbol{\Sigma}_f^{-1}(t)) > \tau \\ \text{False} & \text{otherwise} \end{cases}$$

图3：运动学链接检测——抓取前因果方向为Mug→EE，抓取后逆转为EE→Mug，精度急剧升高表示链接。

DynaMAC算法（四步）

1. 技能分割：使用TAPAS将长时序示教分割为较短技能
2. 运动学链接检测：在每个技能内使用流精度识别链接帧
3. 虚拟末端执行器帧：在每个技能边界补充虚拟帧补偿被移除的动态物体帧
4. 任务参数选择：使用TAPAS为每个技能选择相关任务参数

图4：虚拟末端执行器帧补充动态物体帧——抓取后遮蔽Mug帧，创建虚拟Grasp帧驱动抓取后行为。

双臂操作作为多智能体协作

将双臂操作形式化为多智能体协调问题，每个手臂独立运行。从一只手臂的视角，对手臂是环境中的另一个动态元素。将对手臂末端执行器添加为候选任务参数（左臂候选集加 $\boldsymbol{\xi}_{\text{left}}$，右臂加 $\boldsymbol{\xi}_{\text{right}}$），无需硬编码领导者-跟随者关系：

$$C_{\text{right}} = \{\boldsymbol{\xi}_f\}_{f=1}^{F} \cup \{\boldsymbol{\xi}_{\text{left}}\}, \quad C_{\text{left}} = \{\boldsymbol{\xi}_f\}_{f=1}^{F} \cup \{\boldsymbol{\xi}_{\text{right}}\}$$

流 $p(\boldsymbol{\xi}_{\text{right}} | \boldsymbol{\xi}_{\text{left}})$ 建模左臂对右臂的影响。若空间收敛是双向的，则两组策略流都反映这种双边影响。临时领导者角色从任务参数选择中自然涌现——对手臂仅在适当时作为主导空间焦点。

图5：PlaceCups任务的帧选择——Mug帧初始使用，运动学链接后被忽略，虚拟帧补充。

graph TD
    A["多流策略学习
物体中心帧分解"] --> B["因果假设问题
f→EE vs EE→f"]
    B --> C["DynaMAC: 运动学链接检测
动态过滤链接帧"]
    C --> D["虚拟帧补充
技能边界处创建EE帧"]
    D --> E["任务参数选择
TAPAS选相关帧"]
    E --> F["动态环境操作
零样本泛化"]
    E --> G["双臂协调
对手臂=动态任务参数"]
    G --> H["无需领导者
角色动态涌现"]
    F --> I["DynaBench评估
动态环境基准"]
    H --> I

DynaBench基准

基于RLBench构建，利用其自动示教生成和100+多样任务库。通过动态任务增强（物体位姿在推理时变化）创建动态环境测试。关键设计是最大化任务实例变异性——每次物体位姿随机化，确保策略必须适应而非记忆。

实验结果

方法	静态环境	零样本动态	零样本传送	平均
Diffusion Policy (100 demos)	0.58	0.59	0.59	0.59
TAPAS-GMM (5 demos)	0.49	0.16	0.16	0.27
MiDiGaP (5 demos)	0.99	0.00	0.00	0.32
DynaMAC (5 demos)	1.00	0.94	0.94	0.96

DynaMAC以5个示教（vs 100个）达到接近完美的成功率，零样本从静态示教泛化到动态环境，平均超越基线35+个百分点。在双臂动态协调中，MiDiGaP在静态任务上表现强但动态协调时完全失败；Diffusion Policy对环境动态有一定反应但无法重新协调被扰动臂；DynaMAC对两者均保持鲁棒。

双臂动态协调结果

方法	静态双臂	动态环境	臂扰动	说明
Diffusion Policy	中等	适度下降	完全失败	无法重新协调
MiDiGaP	强	失败	失败	静态帧策略局限
DynaMAC	强	鲁棒	鲁棒	动态重新协调

表2：双臂动态协调对比。DynaMAC在环境动态和臂扰动下均保持鲁棒，能动态重新协调。

真实世界实验

在双臂Franka Emika机器人上验证，使用单个RealSense D405 RGB-D相机。每任务5个示教，每场景25个评估回合。DynaMAC在静态场景与MiDiGaP持平，在动态变体上有效泛化，特别是在无静态焦点的自由空间交接中表现突出。人机协作初步验证：修改HandOver任务，移除对手臂位姿迫使策略仅依赖跟踪物体，DynaMAC仍能有效协作。

图6：真实世界双臂Franka实验——物体存储、交接、联合抬升和不对称协调。

局限性

1. 剩余失败案例主要由感知误差导致，特别是深度测量故障
2. 运动学链接检测依赖精度阈值 $\tau$，需针对不同场景调参
3. 人机协作验证为初步探索，需更全面评估
4. DynaBench的动态模型较简单（线性运动），更复杂的物体动力学有待集成

---

总结与展望

DynaMAC通过将对手臂视为动态任务参数，解决了多流策略在动态环境中的因果假设失效问题，统一了动态操作和双臂协调。四步算法（技能分割→链接检测→虚拟帧补充→参数选择）使框架轻量且策略无关。DynaBench为动态环境操作建立了严格基准。实验表明DynaMAC以1/20的样本超越基线35+个百分点，并零样本从静态示教泛化到动态环境，为人机协作搭建了优雅桥梁。

金句：当机器人抓住物体时，因果方向逆转——物体不再引导机器人，而是被机器人引导。DynaMAC通过动态过滤运动学链接帧，解耦了这一因果困境。