GRAFT：面向精细机器人操作的接地且高效在线强化适应

输入、动作块与部署边界

在时刻 $t$，策略接收的观测为

$$s_t=(I_t^s,I_t^w,l,q_t),$$

其中 $I_t^s$ 是侧视 RGB 图像，$I_t^w$ 是腕部 RGB 图像，$l$ 是语言指令，$q_t\in\mathbb{R}^8$ 是适配器状态。策略一次预测长度为 $H=10$ 的动作块：

$$a_{t:t+H-1}\in\mathbb{R}^{7H},\qquad H=10.$$

每个低层动作包含平移、旋转和夹爪命令。冻结的视觉语言前缀把两种视图编码为视觉 token $X_t^v\in\mathbb{R}^{P_v\times d}$、汇合上下文 $c_t\in\mathbb{R}^{d}$ 以及前缀键值状态，其中 $v\in\{s,w\}$。训练样本还可以携带与图像 patch 对齐的区域掩码，但这些掩码不属于策略输入。部署公式只依赖观测、语言、状态、学习到的锚点与动作头，因此不需要在推理时调用 Grounding DINO、SAM2 或任何提案生成器。

这一设计比“先检测、再分割、最后把区域送给策略”的常见流水线更适合精细操作。外部感知模块进入控制闭环后，会带来额外延迟，也会让检测类别、置信度阈值和分割边界成为新的失败来源。GRAFT 把这些监督信号留在训练中，试图把区域选择能力蒸馏到锚点注意力里。代价是部署端无法显式检查“当前锚点对应哪个物体”，可解释性主要依赖注意力热图，而不是结构化的物体框。

视图专属锚点：侧视看全局，腕部看接触

GRAFT 为侧视和腕部各维护 $N_v=8$ 个锚点模板，同时共享上下文投影与交叉注意力投影。上下文先调制锚点模板：

$$\widetilde e_i^v=e_i^v+\operatorname{NormScale}(W_c c_t).$$

随后第 $i$ 个锚点只在自己的视图内读取 patch token。原始锚点注意力为

$$A_{i,p}^v=\operatorname{softmax}_p\left(\frac{\langle\operatorname{norm}(W_q\widetilde e_i^v),\operatorname{norm}(W_kX_{t,p}^v)\rangle}{\tau_a}\right),$$

视觉锚点表示为

$$z_i^v=W_o\sum_{p=1}^{P_v}A_{i,p}^vW_vX_{t,p}^v+b_{\mathrm{view}}^v.$$

这里最重要的不是注意力公式本身，而是锚点没有固定的提案身份。一个锚点今天可以关注吸头，明天可以关注盖沿；监督只要求这组锚点覆盖当前帧中与任务相关的多个局部区域，不要求“第 1 个锚点永远是培养皿”。这种身份无关的设计减少了跨任务重新编号的问题，也让同一套参数能够在四种操作之间共享。

模型还会用全局上下文重新加权同一视图内的锚点：

$$g_i^v=\operatorname{softmax}_{i\in v}\left(\frac{W_2\operatorname{swish}(W_1[z_i^v;c_t])}{T_g}\right),$$

$$\bar z_i^v=\left[(1-\alpha_g)+\alpha_gN_vg_i^v\right]z_i^v.$$

因子 $(1-\alpha_g)+\alpha_gN_vg_i^v$ 既允许上下文压低无关锚点，也通过基础项保留下限，避免门控过早删除可能仍有用的区域。论文使用 $\tau_a=0.5$、$T_g=1.5$、$\alpha_g=0.1$、$\beta_g=0.04$。侧视与腕部的分工不是硬编码坐标，而是由视图输入和训练监督共同形成：侧视通常承担整体接近与物体对齐，腕部更适合局部接触与插入。

FreeDice：让多个区域匹配多个锚点，但不固定配对

训练期每个视图可包含多个有效提案掩码 $\mathcal{M}_t^v=\{M_{t,k}^v\}_{k\in\mathcal{V}_v}$。作者先把注意力 $A_i^v$ 与掩码 $M_k^v$ 都视为非负分布，用软 Dice 代价衡量两者差异：

$$C_{i,k}^v=1-\frac{2\langle A_i^v,M_k^v\rangle+\epsilon}{\max(\lVert A_i^v\rVert_1+\lVert M_k^v\rVert_1,\epsilon)}.$$

如果直接为每个锚点指定一个掩码，模型会被迫形成持久的“锚点到物体类别”映射，这与身份无关的设计冲突。FreeDice 因此使用可微软最小函数做双向匹配。对一组代价 $c_j$，定义

$$\operatorname{smin}_{\tau}\{c_j\}=\sum_j[\operatorname{softmax}(-\mathbf c/\tau)]_jc_j.$$

第一项让每个有效提案至少被一个锚点覆盖，第二项让每个锚点至少靠近一个有效提案：

$$\mathcal{L}_{\mathrm{FD}}^v=\frac{1}{|\mathcal{V}_v|}\sum_{k\in\mathcal{V}_v}\operatorname{smin}_{\tau_D}\{C_{i,k}^v\}_{i=1}^{N_v}+\frac{\lambda_{\mathrm{anc}}}{N_v}\sum_{i=1}^{N_v}\operatorname{smin}_{\tau_D}\{C_{i,k}^v\}_{k\in\mathcal{V}_v}.$$

这比简单地把多个提案并成一张二值掩码更细。并集监督只能告诉模型“这些区域整体都重要”，却无法保证不同锚点分别覆盖不同局部；FreeDice 同时鼓励覆盖与分工，又不保存匹配关系。对离心管装管任务而言，管子、夹爪和插孔可能同时出现在两个视图中，模型需要协调多个空间线索，而不是只盯住一个最大目标。

为避免多个锚点塌缩到同一块区域，作者还加入冗余惩罚：

$$\mathcal{L}_{\mathrm{dup}}=\operatorname{mean}_{v,(i,j)\in\mathcal{P}_v}\left[\langle\widetilde A_i^v,\widetilde A_j^v\rangle-m_{\mathrm{dup}}\right]_+,$$

$$\mathcal{L}_{\mathrm{ground}}=\alpha(\mathcal{L}_{\mathrm{FD}}^s+\mathcal{L}_{\mathrm{FD}}^w)+\beta\mathcal{L}_{\mathrm{dup}}.$$

其中 $\widetilde A_i^v$ 是在有效提案并集上重新归一化的注意力。固定超参数为 $\lambda_{\mathrm{anc}}=0.25$、$m_{\mathrm{dup}}=0.90$、$\alpha=0.4$、$\beta=0.5$。如果某个视图没有有效提案，该视图的接地项为零，而不会把空掩码当成“这里什么都不重要”的负样本。

单步一致性动作与冻结前缀缓存

GRAFT 的在线学习效率来自两项互补机制。第一，动作生成从多步流匹配改为单步一致性策略。给定观测后，采样噪声并一次生成完整动作块：

$$w\sim\mathcal{N}(0,\sigma^2I),\qquad a_{t:t+H-1}\sim\pi_\theta(\cdot\mid s_t).$$

它保留随机探索，但不再为每个动作块做多次迭代去噪。第二，视觉语言前缀在适应期间保持冻结，所以回放观测对应的前缀 KV 状态、汇合摘要和视觉 token 可以缓存。学习器更新时仍会重新计算所有可训练的锚点、动作与评论家路径，但不必重复编码同一张回放图像。实时新观测仍然执行一次完整前缀前向，保证 actor 使用的是当前画面。

这两个机制解决的是不同瓶颈。单步动作头减少动作生成阶段的串行步骤；前缀缓存减少回放更新阶段对冻结主干的重复计算。表 II 中，缓存带来的提升远大于只更换动作头，说明在线强化学习的主要浪费并不总是发生在机器人推理那一侧，回放优化同样可能占据大量时间。

在线 actor–learner 如何优化

Actor 在机器人端执行策略并上传交互与人工纠正，learner 在回放窗口达到 100 个后开始更新。每个窗口写成 $(s,a,r,s',m)$，其中 $a\in\mathbb{R}^{7H}$ 是实际执行的动作块，$s'=s_{t+H}$，$r$ 是窗口回报，$m$ 是自举掩码。在线回放与示范数据等量采样，人工介入窗口还会写入示范缓冲区，使纠正动作不只影响一次执行，也进入后续行为克隆。

评论家使用双 Q 网络和目标网络。目标动作由当前策略采样，贝尔曼目标为

$$a'\sim\pi_\theta(\cdot\mid s'),\qquad y=r+\gamma m\min_iQ_{\bar\phi_i}(s',a'),$$

其中 $\gamma=0.98$。每个评论家最小化

$$\mathcal{L}_{\mathrm{critic}}=\mathbb{E}_{(s,a,r,s',m)\sim\mathcal{D}}\left[(Q_\phi(s,a)-y)^2\right].$$

Actor 同时保留示范行为和价值最大化：

$$\mathcal{L}_{\mathrm{actor}}=\lambda_{\mathrm{bc}}\mathcal{L}_{\mathrm{BC}}+\lambda_q\mathcal{L}_Q,$$

$$\mathcal{L}_{\mathrm{BC}}=\mathbb{E}_{(s,a)\sim\mathcal{D}}\left[\lVert a-\pi_\theta(s)\rVert_2^2\right],\qquad\mathcal{L}_Q=-\mathbb{E}_{s\sim\mathcal{D}}\left[Q_\phi(s,\pi_\theta(s))\right].$$

论文取 $\lambda_{\mathrm{bc}}=0.5$、$\lambda_q=1$。每轮做两次评论家更新和一次 actor 更新；每十轮再从带有效提案的示范窗口中执行一次只更新 actor 的接地损失。这个安排把稀疏在线奖励、稳定示范先验和训练期区域指导放在同一优化循环里，但三者频率不同：价值学习每轮进行，接地只在有条件时周期性加入。

flowchart TD
    A[侧视图像 腕部图像 语言与适配器状态] --> B[冻结视觉语言前缀]
    B --> C[侧视 8 个视觉锚点]
    B --> D[腕部 8 个视觉锚点]
    C --> E[上下文门控与锚点融合]
    D --> E
    E --> F[单步一致性动作头]
    F --> G[十步动作块 执行 3 或 10 步]
    G --> H[机器人交互与人工纠正]
    H --> I[在线回放与示范缓冲区]
    I --> J[复用冻结前缀缓存]
    J --> K[双评论家 Bellman 更新]
    K --> L[行为克隆加 Q 最大化 actor 更新]
    L --> M{每十轮且有提案窗口}
    M -->|是| N[训练期 FreeDice 接地更新]
    M -->|否| O[发布最新策略]
    N --> O
    O --> G
    P[离线提案掩码与 GroundingDINO SAM2 等感知] --> N
    P -. 仅训练期 .-> Q[部署时完全移除]
  

四项真实机器人任务

实验平台是一台 JAKA 机械臂。任务包括培养皿开盖、离心管装载、精密液体转移和移液枪头安装。每项任务采集 10 条遥操作示范，并为所有方法提供相同的 45 分钟在线适应预算。机器人初始位姿固定，物体在名义平面位置附近随机扰动，最大偏移为 $\pm30$ 毫米。成功率由任务特定判据决定；只有自主完成才算成功，人工介入回合单独记录。

所有策略使用相同的动作块长度 $H=10$。移液枪头安装每执行 3 个动作就重新规划，其他任务一次执行完整 10 步动作块。这个差异值得注意：更频繁重规划能应对吸头与枪嘴的局部错位，却增加推理次数；一次性执行十步更节省计算，但要求动作块对接触变化有更好的开环稳定性。论文没有为每个任务单独搜索动作执行长度，只说明该设置与任务特性一致。

四条基线或消融的关系如下。RL-FM 使用原始多步流匹配动作生成；RL-CP 只把动作生成替换为单步一致性头；GRAFT-Union 加入视图专属锚点、上下文重加权、重叠正则和提案并集监督；GRAFT 保留其余所有组件，仅把并集监督替换为身份无关的多区域 FreeDice。因此 GRAFT 与 GRAFT-Union 的差异最接近论文核心接地目标的受控比较，而 RL-FM 与 RL-CP 主要隔离动作生成对在线适应和吞吐的影响。

主结果：总成功率提高，但不是每个任务都更快

表 I 报告每条可用轨迹最后十个回合的滚动成功率。它不是冻结策略后重新进行的一组独立测试，而是在线适应过程末端的表现，因此读者不能把它理解为对未知测试集的无偏泛化估计。

原论文表 I：每项任务最后十个在线回合的滚动成功率。

策略	培养皿开盖	离心管装载	精密液体转移	枪头安装	总体
RL-FM	2/10	0/10	0/10	2/10	4/40，10.0%
RL-CP	3/10	3/10	9/10	5/10	20/40，50.0%
GRAFT-Union	7/10	2/10	8/10	6/10	23/40，57.5%
GRAFT	9/10	9/10	8/10	7/10	33/40，82.5%

在相同 45 分钟预算下，GRAFT 的最后十回合总体成功率为 82.5%，比 GRAFT-Union 的 57.5% 高 25 个百分点，比 RL-CP 的 50.0% 高 32.5 个百分点。最大变化出现在离心管装载：GRAFT-Union 只有 2/10，GRAFT 达到 9/10。这个任务要求同时定位离心管、夹爪和装载目标，符合多区域监督更有价值的解释。

但 GRAFT 并非在所有任务上都占优。精密液体转移中，RL-CP 达到 9/10，而 GRAFT 为 8/10；GRAFT-Union 也是 8/10。这说明更复杂的接地监督没有在该任务上提供额外收益，甚至可能略慢于较早达到高成功率的单步一致性策略。更准确的结论是：GRAFT 在固定交互预算末端取得更高的总体成功率、减少最差任务的塌陷，并改善三个任务，而不是“收敛速度在所有任务上都更快”。

图 5 还显示在线适应不是单调上升。培养皿开盖经历中途下降后恢复到 90%，离心管装载在后半段拉开差距，枪头安装则在后期达到更高成功率。曲线和最后十回合结果应该一起读：只截取末端可能掩盖训练中的不稳定，只观察最高点又会高估收敛速度。论文强调最终阶段，但中间波动说明在线 RL 的稳定性仍然依赖任务与更新时机。

学习器吞吐：缓存为什么比只换动作头更关键

效率实验固定使用离心管装载任务、10 条示范、946 个回放动作块和每种配置 1,000 次学习器更新。这个设置只改变动作生成步数与 KV 缓存开关，因此能较清楚地拆出两项机制的边际影响。

原论文表 II：离心管装载任务的学习器离线更新吞吐。

策略形式	前缀 KV 缓存	总学习时间 / 秒	稳态更新 / 步每秒	每步耗时 / 秒
RL-FM，K=10	关闭	597.989	1.990	0.503
RL-FM，K=10	开启	236.405	6.300	0.159
RL-CP，K=1	关闭	542.047	2.210	0.452
RL-CP，K=1	开启	119.216	21.960	0.0455

不开启缓存时，RL-FM 与 RL-CP 分别只有 1.99 和 2.21 步每秒。缓存把 RL-FM 提升到 6.30 步每秒，相当于 3.17 倍；把 RL-CP 提升到 21.96 步每秒，相当于 9.94 倍。开启缓存后，单步一致性策略又比多步流匹配快 3.49 倍。这个结果说明两项优化不是重复计算：动作头减少生成步数，缓存减少回放编码，两者组合后吞吐最高。

这组数字不能直接外推为机器人实时可执行性的完整指标。表 II 测的是学习器更新，不包含 actor 感知、网络通信、机械臂运动、人工干预和策略发布延迟。实际在线适应是否能在更复杂硬件上保持同样的 45 分钟预算，还取决于模型规模、缓存显存、批大小与通信频率。论文提供了清晰的相对加速证据，但没有给出完整的端到端系统剖析。

注意力诊断说明了什么，又没有说明什么

图 6 在枪头安装、离心管装载和精密液体转移三个任务上比较空间注意力。RL-FM 与 RL-CP 展示最后一层动作 token 到图像 patch 的注意力，GRAFT-Union 与 GRAFT 展示原始锚点到 patch 的注意力。前两者与后两者不是同一种注意力量，所以跨家族的比较只能作为定性观察。GRAFT-Union 与 GRAFT 的对比更严格，因为二者可视化的是同一层、同一种锚点注意力，并且只改变接地监督。

在这个受控对比中，GRAFT 的响应更集中在操作相关区域，例如枪头、离心管和液体转移目标；腕部视图更偏向局部接触和插入位置，侧视更偏向整体接近与对齐。这个现象与视图专属设计相符，但它仍然不是区域交并比、关键点误差或遮挡鲁棒性的定量结果。热图能支持“模型确实看得更集中”的描述，却不能单独证明成功提升完全由注意力变化造成。

局限与需要谨慎解读的地方

第一项限制由作者明确承认：GRAFT 是反应式策略，没有显式保存先前动作或任务进度。当相关视觉目标随时间改变、任务需要记住已经完成到哪一步，或者失误后需要依赖更早历史恢复时，仅凭当前观测与状态可能不足。作者建议加入时间上下文，但论文没有给出该扩展的实验结果。

第二项限制是评测规模。四个任务都发生在同一类生物医学桌面场景，使用一台 JAKA 机械臂，每项只有 10 条示范，并未覆盖多机器人形态、透明或反光物体的大量变化、不同相机布置和更长任务链。最后十回合的滚动成功率虽然与交互预算一致，但每项十个样本意味着一个回合就是 10 个百分点；单个任务上的排名对采样波动很敏感。

第三项限制是训练期监督依赖离线提案。论文把部署时的提案生成器移除了，但训练仍需要与 patch 对齐的区域掩码。论文正文没有量化提案漏检、边界不准或类别缺失对最终策略的影响，也没有给出完全不用外部区域模型的对照。因此“无提案部署”是成立的，却不能推成“整个训练管线不需要外部感知”。

第四项限制是缺少独立冻结策略测试。表 I 明确是每条在线轨迹最后十个回合的滚动统计，适合回答“相同交互预算下谁在末端更好”，不适合回答“训练结束后在固定测试场景上的泛化成功率是多少”。如果要声称稳健泛化，还需要在未见物体位置、不同光照和更长重复次数下冻结策略重新评测。

第五项限制是注意力解释仍偏定性。图 6 中的热图能展示局部集中趋势，但没有报告多种子平均、区域命中率或人工标注的一致性。跨方法注意力定义不同，作者也明确承认只能做定性比较，这一点是诚实的；读者仍应避免把一张热图当成机制已经被完全隔离证明。

第六项限制是复现门槛。公开检索没有找到代码，训练所需的提案数据生成方式、视觉语言主干具体版本、缓存实现、actor 与 learner 通信协议和四任务奖励函数都无法从仓库核验。论文提供了足够的方法结构与超参数，但距离独立复现仍有明显工程缺口。

这项工作真正推进了什么

GRAFT 的核心贡献不是把一个大模型直接接到机械臂上，而是重新安排“视觉信息在哪里进入学习”。训练时，多个区域提案通过 FreeDice 塑造身份无关的视觉锚点；部署时，这些提案全部消失，锚点仍能根据观测和语言选择局部线索。与把检测结果作为永久输入的流水线相比，这种设计减少了推理依赖；与只靠任务奖励的在线微调相比，它又把“看哪里”从稀疏成功信号中部分解耦出来。

桌子另一侧的效率设计同样重要。冻结前缀使回放数据可以复用 KV 状态，单步一致性动作头减少完整动作块的采样步数。论文测得缓存对一致性策略带来 9.94 倍学习器吞吐提升，二者结合又比多步流模型快 3.49 倍。这些结果对真实机器人学习很实际，因为等待回放更新的时间直接挤占机器人与环境交互的预算。

最可信的经验结论应该限定在论文自己的比较范围：在四项生物医学精细操作、同一机械臂、每项 10 条示范和相同 45 分钟在线预算下，身份无关的多区域 FreeDice 比提案并集监督把总体末端成功率提高了 25 个百分点，单步动作与前缀缓存显著加快学习器更新。最需要补强的结论也同样清楚：跨任务收敛并不全面占优，精密液体转移上 RL-CP 更好；没有独立冻结策略测试、提案质量分析、多平台验证和公开代码。

结论与后续验证方向

GRAFT 把精细操作中的视觉接地、在线强化学习和计算复用放进同一套系统。视图专属锚点让侧视与腕部分工，FreeDice 在训练期用多区域双向匹配塑造注意力而不绑定永久身份，部署端彻底移除提案路径；单步一致性动作头与冻结前缀缓存则降低动作生成和回放更新的成本。四项真实机器人任务显示，它在相同交互时间下取得更高的末端滚动成功率，尤其是离心管装载从 2/10 提升到 9/10。

下一步最有价值的验证有四类。其一，把冻结策略放到独立测试集，并报告跨种子均值、方差和失败类型，分离在线末端结果与泛化结果。其二，主动降低训练期掩码质量，量化提案漏检与边界误差的影响。其三，加入显式时间上下文，测试目标会随任务阶段变化的更长操作序列。其四，在第二台机械臂或不同相机配置上复现，确认视图分工与 FreeDice 的收益不是某一套硬件和标定条件下的偶然结果。

金句：GRAFT 想让机器人少看无关背景，但不是把更多感知器塞进推理；它是在训练时教会少量锚点看哪里，然后把提案器留在训练场。