立体视觉策略：用双目感知提升机器人操作

方法详解

1. 双目观测与共享编码器

StereoPolicy 首先把每个视角拆成左右图像分支。若只有一张图像，模型面对的是二维纹理到三维动作的欠定映射；左右图像则通过像素位移提供额外约束。编码器对每一帧独立提取特征，但同一对图像的左右分支共享权重。共享权重不是实现细节，而是几何归纳偏置：同一个表观区域在左右图中应产生相近的局部描述，网络才会把注意力放到位置差异而非分支身份差异上。

具体地，网络使用 ResNet18 与特征金字塔网络提取多尺度特征。FPN 同时保留高分辨率边缘与低分辨率上下文，前者对薄把手、杯沿和插槽边界重要，后者帮助识别物体整体。消融实验显示，去掉 FPN 后三个任务的平均成功率从 84.0% 降到 74.0%，说明双目融合不能只依赖最深层语义特征。

2. 只在外置视图注入 DINOv2

每个外部视角还会加入冻结的 DINOv2 特征。DINOv2 提供较强的单目语义先验，可在纹理重复或对应关系模糊的位置帮助判别区域。网络用线性投影对齐维度，再把 DINOv2 与卷积特征拼接。论文没有让 DINOv2 参与微调，因此它更像稳定的语义锚点，而不是一个新的可训练空间编码器。

关键发现是 DINOv2 在外部视角有帮助，在腕部视角反而降低性能。作者将原因归结为自我中心图像与 DINOv2 预训练分布之间的差异。于是模型只对外置相机使用 DINOv2，腕部相机保留同一卷积编码器但不注入该特征。消融中，去掉 DINOv2 的平均成功率是 76.0%，而错误地把它用于腕部后是 79.3%，完整配置为 84.0%。这说明双目收益的主体不是外部大模型特征，而是后续跨视图融合。

融合后的单图表示写作：

其中 f_t,i^· 是第 i 个视角在时刻 t 的卷积特征，f^DINO 是冻结语义特征，φ 是维度对齐投影，双竖线表示通道拼接。

3. Stereo Transformer 的交替注意力

Stereo Transformer 由两层、八个注意力头组成。每一层先在左右图内部做自注意力，让同一图像中的像素交换上下文；随后做左右交叉注意力，让左图 token 查询右图 token，反之亦然。交叉注意力的查询与键加入二维旋转位置编码，使匹配不仅依赖外观，也受像素坐标约束。相比把左右 token 直接拼成长序列做联合注意力，这种交替结构显式区分了“图内上下文”和“图间对应”。

每个视角独立执行成对融合，第 i 对图像得到固定维度表示：

这里 z_t,i 是该视角的 128 维双目特征。不同视角不共享同一个融合输出，因为外置相机与腕部相机观察的是不同空间尺度，但所有视角都可以共享相同的融合模块结构。

注意力设计消融提供了直接证据。输入真实左右图时，Stereo Transformer 在 ToolHang 达到 94%，联合注意力只有 82%；在 Square 达到 88%，联合注意力为 82%；在 PourWater 达到 70%，联合注意力为 60%。当左右分支故意输入同一张左图时，Stereo Transformer 在 ToolHang 只有 62%，说明性能提升并非来自更复杂的融合模块本身，而来自模块对真实双目差异的利用。

4. 多视角聚合与本体状态

每个相机对完成融合后，模型把所有视角特征与低维本体状态拼接。本体状态包含机器人当前关节或末端信息，能够把视觉中的相对位置转换成可执行动作。拼接顺序在实现中是稳定的，但论文的核心主张并不依赖某个特定顺序，而依赖“双目特征在前、状态共同条件化”的结构。

公式中 s_t 是本体状态，z_obs 是最终送入策略骨干的观测表示。这个表示已经成为任务策略的一部分，不再对应一张可单独查看的深度图。

5. 与扩散策略结合

在 StereoPolicy-DP 中，扩散策略预测长度为 H 的连续动作序列。视觉编码器、Stereo Transformer 与去噪网络联合训练，只有 DINOv2 保持冻结。动作序列可写为：

训练时向示教动作加入高斯噪声，网络学习在给定噪声动作、扩散步和双目观测的条件下预测噪声：

其中 ε 是真实噪声，x^(τ) 是第 τ 步被污染的动作序列，ε_θ 是去噪网络。推理时从随机噪声开始迭代去噪。由于双目模块通过动作损失训练，它不需要额外的深度监督，也不需要显式视差标签。

6. 与视觉语言动作模型结合

StereoPolicy-VLA 保留预训练视觉语言动作骨干，只把单目视觉嵌入替换为双目融合表示。左右图像仍由骨干原有视觉编码器提特征，Stereo Transformer 在其上生成任务自适应融合，再把结果注入动作头。语言指令与状态作为额外条件进入策略：

这种设计使 π0.5 与 GR00T-N1.5 无需改变网络层级。论文分别用 30、100、300 条 RoboCasa 示教微调两个模型，并比较单目、直接输入两张图的多视图版本与 StereoPolicy。直接输入双图只带来很小提升，而可训练融合带来更稳定的增益，说明额外图像本身不足以保证模型学会对应关系。

7. 任务训练的双目表示是否包含几何信息

为了验证融合特征不是只记住任务捷径，作者冻结动作训练后的视觉表示，再用同等容量的线性探针预测相机坐标系下夹爪与目标的相对深度。探针按完整轨迹和空间布局划分训练与测试集，避免同一轨迹泄漏。结果是 ToolHang 的相对深度平均绝对误差从训练前的 3.1 厘米降到 1.1 厘米，PourWater 从 4.0 厘米降到 1.5 厘米。

这一步重要，因为它把“动作成功率更高”与“表示真的保留几何量”连接起来。双目模块没有输出深度图，却在线性可读性上明显改善相对深度估计。与此同时，左右输入同一张图的控制组没有复现这种增益，进一步排除了单纯增加参数或容量的解释。

8. 基线比例与相机配置

双目系统的关键硬件量不是双目基线本身，而是基线与相机到物体距离的比值。基线过小或距离过远时视差不足，深度区分能力弱；基线过大或距离过近时左右视图重叠减少，遮挡和透视差异增加。论文将两者写成：

实验扫描 2、4、6、8、10 厘米基线与约 0.6 至 1.0 米工作距离，最佳区间集中在 r 等于 0.09 至 0.13。对常见桌面设置，6 厘米基线与 0.6 至 0.8 米距离通常表现较好。训练时使用 6 厘米基线，测试时只改到 4 厘米或 8 厘米，成功率从 94% 分别降到 86% 与 88%，说明模型对中等硬件偏移有容忍度，但训练配置仍最优。

flowchart LR
    A[Left RGB] --> B[Shared ResNet18 FPN]
    C[Right RGB] --> B
    A --> D[Frozen DINOv2 external views]
    C --> D
    B --> E[Feature concat and projection]
    D --> E
    E --> F[2D RoPE cross attention]
    F --> G[Two layer Stereo Transformer]
    G --> H[128 dimensional view feature]
    H --> I[Concatenate all views and state]
    I --> J{Policy backbone}
    J --> K[Diffusion denoising]
    J --> L[VLA action prediction]

这张流程图对应论文实际数据流：左右图像先共享编码，再在每对视角内部融合，最后与本体状态拼接并进入扩散或视觉语言动作骨干。它不是通用的“编码后预测”模板，而是该论文区别于普通多视图拼接的核心路径。

9. 训练复杂度与部署开销

论文报告完整模型约 1.12 亿参数，其中 Stereo Transformer 约 1000 万参数；单次前向计算约 128 GFLOPs，峰值显存约 1.4 GB。测试条件为单张 H100、批大小 1、观测时域 2、预测时域 16、七维动作和 100 步去噪。端到端延迟中位数为 698 毫秒，95 分位为 736 毫秒。

与联合注意力相比，Stereo 融合只多约 3 毫秒。相比 FoundationStereo 加三维扩散动作策略的 1008 毫秒，StereoPolicy 快 310 毫秒；相比 Fast FoundationStereo 加三维动作策略的 777 毫秒，也快 79 毫秒。这里的比较同时改变感知和动作后端，因此不能把速度差全部归因于双目模块，但它反映了论文完整部署链路的实际表现。

实验设置与主要结果

真实机器人实验覆盖七项任务。五项桌面任务使用 7 自由度 Franka 机械臂，每项收集 200 条示教，包括香蕉抓放、吐司插入、塑料杯悬挂、钢杯悬挂和玻璃杯悬挂。两项双臂移动操作使用 24 自由度 Galaxea R1 Pro，每项 75 条示教，要求机器人靠近货架、抓取收音机并按键，或完成吐司交接与放置。

仿真包括三个基准。Robomimic 选择 ToolHang、Square、Transport 三项较难任务；RoboCasa 使用 24 个厨房任务评估 π0.5 与 GR00T-N1.5；OmniGibson 包含四个自建长时序家庭操作任务。所有扩散策略基线尽量共享骨干、图像分辨率、训练预算与优化参数，以减少数据或模型容量混杂。

真实桌面任务：双目平均成功率达到 59%

表 1 是最能体现真实环境差异的结果。StereoPolicy-DP 的五任务平均成功率为 59%，单目 RGB 为 43%，RGB-D 为 41%，RGBD-3DDA 为 45%，多视图 RGB 也为 45%。点云方法明显更差，PointNet 平均 14%，DP3 平均 27%。这一差距不能简单解释为“多了一个相机”，因为参数匹配的多视图基线同样看到了左右图像，却没有使用成对跨注意力。

提升最大的项目并非全都依赖透明物体。Toast Insert 从 RGB 的 8/20 提升到 12/20，说明狭窄槽口的空间对准直接受益。Steel Cup Hang 从 10/20 提升到 13/20，说明金属反光使显式深度更脆弱时，双目表观对应仍有价值。玻璃杯仍是最困难任务，StereoPolicy 只成功 3/20，远未解决折射和弱边界问题。

点云方法在真实任务中的低表现与预处理有很大关系。论文将 RGB-D 融合到共同坐标系、裁剪工作空间，再用最远点采样保留 4096 个点；增加到 10000 点也没有提高表现，反而增加推理成本。这个消融削弱了“点云失败只是点太稀”的解释，更支持任务相关几何在重建阶段已经缺失或变形。

仿真与低数据表现

扩散策略仿真结果延续了同一趋势。在 OmniGibson 的 Strawberry 任务中，100 条示教时 RGB 为 62%，StereoPolicy 为 82%；少数据差距最明显。PourWater 从 86% 提升到 100%。Robomimic ToolHang 在 100 条示教时为 94%，200 条时为 96%。Square 从 100 条示教的 88% 提升到 200 条示教的 100%。

也需要保留反例：TurnOnRadio 在 100 条示教下 RGBD-3DDA 达到 100%，StereoPolicy 为 57%；Transport 在 100 与 200 条示教下 RGB-D 都是 94%，StereoPolicy 分别为 94% 与 96%。因此论文的结论应理解为“在大多数测试任务上优于基线并改善数据效率”，而不是所有任务无条件占优。显式深度在干净仿真和某些几何简单任务里仍可能非常强。

预训练视觉语言动作模型上的增益

RoboCasa 的 24 任务宏平均更能检验 StereoPolicy 的通用性。π0.5 在 30、100、300 条示教下单目结果为 48.71%、67.64%、70.31%；直接输入双图为 49.01%、68.24%、70.81%；StereoPolicy 为 51.72%、71.54%、74.40%。GR00T-N1.5 单目为 44.98%、63.58%、64.30%，直接输入双图为 45.67%、65.24%、65.31%，StereoPolicy 为 47.12%、66.17%、67.50%。

这些增益是温和但稳定的。它们之所以有说服力，是因为原生双图版本只比单目提高少量，说明简单多送一张图不足以让预训练模型学会双目几何。StereoPolicy 的提升出现在两个不同骨干、三个数据规模和二十四项任务上，显示出融合模块的可移植性。

移动操作验证进一步展示任务层面的差异。论文特别指出，单目视觉语言动作策略经常能靠近收音机，却在把夹爪插入把手或准确按键时失败；吐司任务中则常在抓取对准与最终放置处失败。StereoPolicy 通过外部双目线索补足夹爪与目标的相对深度，使这些精细阶段更稳定。

消融与外部双目模型比较

组件消融最关键的对照不是“有相机和无相机”，而是“真实左右图与重复左图”。完整 StereoPolicy 在 ToolHang、Square、PourWater 上的平均成功率为 84.0%；把左右分支都喂同一张左图后降到 62.7%。这说明模型确实从第二视角中的几何差异获益，而不是因为多了参数就自然变好。

去掉 Stereo Transformer 后平均为 70.0%，去掉 FPN 后为 74.0%，去掉 DINOv2 后为 76.0%，错误地把 DINOv2 加进腕部视图后为 79.3%。排序表明最重要的组件是真实双目融合，其次是能够保留多尺度边缘的 FPN，再其次是外部视角的语义先验。Stereo Transformer 不是可有可无的插件，它直接决定第二张图是否被有效利用。

论文还比较了通用双目基础模型。ToolHang 上完整 StereoPolicy 的成功率为 94%、延迟 698 毫秒。冻结 FoundationStereo 特征只有 76%、740 毫秒；用 FoundationStereo 深度替换 RGB-D 后为 44%、995 毫秒；用于 RGBD-3DDA 后为 28%、1008 毫秒。Fast FoundationStereo 的深度版本分别为 38% 与 22%，延迟仍高于 StereoPolicy。

这组比较不能证明通用双目深度模型在所有机器人任务上都无用，因为实验只集中在 ToolHang 和特定后端。但它清楚支持论文的主张：在本任务、本数据和本闭环预算下，预训练视差表示并不能替代由动作目标训练的融合。显式深度会增加耗时，而深度误差经过三维重建和策略后处理还会被放大。

局限性与独立判断

第一项明确局限来自透明物体。玻璃杯悬挂只有 20 次中成功 3 次，尽管这已经高于测试基线的 0 至 1 次。折射、镜面高光和薄弱边界会同时破坏人类可见线索与左右图像对应，模型即使绕过点云，也不能从不确定的像素匹配中恢复稳定几何。论文没有声称解决透明操作，读者也不应把平均提升外推为所有材质都可用。

第二项局限是硬件配置与场景覆盖仍有限。真实实验使用 Franka 与 Galaxea R1 Pro，相机基线和距离扫描主要在仿真 ToolHang 上完成。实际部署时还要处理卷帘快门、曝光差异、机械振动、外参漂移和左右同步误差，论文没有系统测量这些因素对策略的影响。0.09 至 0.13 的最佳比值可以作为起点，但不是跨机器人、跨尺度的普适常数。

第三项局限是延迟仍不适合高频控制。端到端 698 毫秒中位数包含 100 步扩散去噪，在线闭环通常需要动作分块或异步执行来掩盖计算时间。Stereo Transformer 本身开销很小，但整体策略仍受扩散采样限制。论文用 H100 测试，边缘设备上的实时性还需要单独验证。

第四项局限是复现门槛。项目页尚未提供官方代码，公开仓库没有方法实现，第三方权重也缺少完整训练与数据处理说明。论文给出了主要结构、训练预算和超参数线索，但双目同步、相机标定、数据增强、动作空间对齐和真实部署接口仍存在大量工程细节，复现实验不能只依据正文完成。

从独立判断看，这篇论文最有价值的不是“双目优于单目”这一宽泛结论，而是把相机硬件、融合结构和动作目标放进同一因果链。重复左图对照、联合注意力对照、线性深度探针和基线比例扫描共同排除了多个简单解释：提升不是多一个输入、不是多参数、不是 DINOv2，也不是通用视差特征。它更像是一种任务条件化的双目对应学习。

同时，视觉语言动作模型上的提升幅度要谨慎解读。π0.5 在 100 条示教下从 67.64% 提高到 71.54%，GR00T-N1.5 从 63.58% 提高到 66.17%，这些提升具有一致性，但相对真实世界部署风险还不够大。下一步更值得研究的是把双目融合与触觉、力控或主动视角选择结合，并用在线不确定性判断何时信任双目、何时退回单目语义。

总结与展望

StereoPolicy 将一个看似简单的输入变化转化为完整的表示学习问题。左右图像不先被压成深度图，而是由共享二维编码器提取特征，再通过交替自注意力与跨视图注意力生成任务自适应表示。该表示可以接入从零训练的扩散策略，也可以作为轻量模块增强 π0.5 与 GR00T-N1.5，而不改变原骨干结构。

真实桌面平均成功率从单目的 43% 提高到 59%，仿真低数据任务和 24 项 RoboCasa 宏平均也显示一致增益。消融说明，真正重要的是真实双目差异与任务训练融合：重复左图、去掉 Stereo Transformer、改用联合注意力或冻结通用双目特征都会下降。线性探针进一步显示，融合表示包含可用于读取相对深度的几何信息。

这项工作给出的工程结论是，双目系统应从任务需求和硬件比例共同设计。约 10% 的基线与工作距离比是一个有实验支撑的起点，训练时使用的配置仍应尽量匹配部署。对透明物体、极端反光和高频闭环，现有结果还不足；对普通桌面抓取、插入和移动操作，双目跨注意力提供了一条比显式三维管线更轻、比单目更稳健的路线。

双目策略的关键不是先算出一张深度图，而是让动作目标决定哪些左右对应值得被保留。