PAPER DEEP DIVE

VLA具身智能自回归

G0.5：单一自回归流统一机器人推理与动作

G0.5 用单一 Transformer 解码器在统一目标下同时生成推理与动作 token，配合跨本体动作分词器、原生思维链流与视觉记忆模块，在真机微调、BEHAVIOR、DROID、LIBERO 等 7 项基准上超越 π0.5 与 GR00T-N1.7。

Yicheng Liu, Zibin Dong, Baijun Ye, Tianyuan Yuan, Tao Jiang, Anqi Yang, Shicheng Cao, Haonan Liu, Yue Sun, Zihan Guo, Xiao Liu, Dong Ke, Changxun Pan, Chenru Wu, Tailai Cheng, Xiaoshu Ren, Xinlei Zhang, Jianning Cui, Zijie Zhao, Haoyu Zhang, Kaiming Xu, Haodong Yang, Bowen Zhang, Jiahui Niu, Shaoting Zhu, Shiduo Zhang, Hang Zhao2026年8月12日7 分钟阅读

论文：G0.5: One Autoregressive Stream for Robot Reasoning and Action
作者：Galaxea Team（Yicheng Liu、Zibin Dong、Baijun Ye 等 27 人）
链接：arXiv 2608.11739（2026-08-12）｜项目主页｜代码仓库（已开源）｜模型权重（已发布 g05-base / g05-droid / g05-libero / g05-robotwin20 等检查点）

一句话总结

G0.5 拒绝"VLM 当编码器、动作交给外挂 flow-matching 专家"的主流 VLA 配方，让单个自回归 transformer 解码器在同一 next-token 目标下同时生成推理 token 和动作 token；配合跨本体动作编解码器、原生思维链和多秒视觉记忆三个组件，它在实机微调、BEHAVIOR 长时程家务任务、DROID 零样本迁移、LIBERO、RoboTwin 2.0、SimplerEnv-Bridge 等 7 个独立评测体系中全面超越 π_0.5 与 GR00T-N1.7。

研究背景与动机

视觉-语言-动作（VLA）模型已经成为通用机器人控制的主流范式。早期的 VLA 系统采用自回归接口：把连续动作离散化后追加到语言词表中，让 VLM 与文本 token 一起预测动作 token，RT-2 和 OpenVLA 是这条路线的代表。这种设计保留了 VLM 作为"行动者"的地位，但扩展性很差——随着控制频率、动作时域和动作维度的增加，每个时间步需要生成的动作 token 数量迅速膨胀，高频控制变得又慢又贵。

这个瓶颈把整个领域推向了"VLM 当编码器"（VLM-as-encoder）的架构：预训练 VLM 只提供隐状态或 KV cache，由一个独立训练的 flow-matching 或扩散专家来预测连续动作块。π₀、π_0.5、GR00T-N1/N1.5/N1.6、SmolVLA 都遵循这一模板。动作效率确实提升了，但 VLM 的角色被悄悄改写：它不再是动作生成器，而只是一个视觉-语言条件编码器，最终的动作分布由一套独立参数、独立目标函数的专家产生。

角色改写的代价是什么？VLM 最核心的生成能力——思维链推理、上下文学习、基于提示词的行为引导——都必须先挤过一个压缩的条件瓶颈，才能间接影响动作，而无法作为动作生成的原生部分参与决策。此外，这条路线还有一个被反复观察到的副作用：当动作专家的梯度回传进 VLM 时，VLM 预训练获得的感知和语言能力会退化（anti-forgetting 问题）。主流的补救方案 Knowledge Insulation 选择阻断这些梯度，并重新引入自回归动作预测作为骨干的辅助表征学习目标——这实际上等于承认：自回归动作监督恰恰是保护 VLM 能力的那种信号。VLA-0 更进一步，证明一个未经修改的 VLM 仅靠把动作当文本做自回归训练，就能在 LIBERO 上超过 π₀-KI、OpenVLA-OFT 和 SmolVLA，而且不需要大规模动作预训练。

G0.5 的作者把这个信号当真了：既然自回归不是瓶颈，那就把自回归路线走到底。论文的核心论点是——VLA 的进步方向不应该是在一个被低效使用的 VLM 之上堆叠越来越精巧的动作专家，而是让 VLM 保持预训练赋予它的本来身份：一个自回归推理器，只不过它同时还能行动、记忆，并在上下文中自适应。为此，G0.5 用单个 transformer 解码器在单一目标下同时生成推理 token 与动作 token，只保留一个可选的 flow-matching 头作为推理时的加速器。

具体而言，论文声称三点贡献。第一，统一的自回归 VLA 加上可学习的跨本体动作编解码器，把异构机器人的动作映射进共享词表；第二，通过自回归训练实现的原生思维链——推理 token 与动作 token 共享解码器、上下文和目标函数，不再是外挂模块或仅训练期可见的辅助监督；第三，涌现的提示词驱动行为控制——保持自回归接口使 VLM 的上下文语言能力直接连接到动作生成，提示词可以在不重训的情况下调节动作粒度、任务时域和分布外场景的处理方式。

预备知识：两条路线与三代动作分词

理解 G0.5 的设计选择，需要先梳理动作分词（action tokenization）的三代演进。第一代是逐维逐时间步的分箱（binning），RT-2 和 OpenVLA 把每个动作维度独立离散成 256 个 bin；这在高频灵巧数据上失效，因为相邻时间步强相关，逐维分箱浪费容量。第二代是 FAST/FAST+，用 DCT 加字节对编码（BPE）把时间相关性当作可压缩信号来利用，FAST+ 在一百万条轨迹上训练成通用分词器。第三代是神经/向量量化变体，如 VQ-VLA、BEAST 和更早的 VQ-BeT，以联合训练和更复杂的流水线换取更高的重建质量。

跨本体泛化则是一个与分词正交的问题。主流 VLA 在动作向量层面而非分词器层面处理形态差异：π₀ 把所有机器人填充到 18 维并集状态空间，GR00T-N1 用每本体独立的 MLP 编码/解码器，SpatialVLA 用自适应网格统一动作空间；与本文最接近的 Being-H0.5 把异构控制映射到语义对齐的槽位（甚至把 MANO 手模型折进同一方案），Green-VLA 通过部件对齐做跨机器人重定向，HEX 用人形对齐的规范化身体部件抽象。这三者都停留在动作向量层。G0.5 的贡献是把同样的结构化对齐提升到分词器本身：一个冻结的编解码器消费五部件固定维度布局，输出统一的 27 维动作 token 流，左右对称性由构造保证，新增本体在分词器和动作头里都不需要任何新参数。

方法详解

总体架构：一条流、一个目标

图1：G0.5 把推理与动作放进同一条自回归流。单个 VLM 以多视角图像、指令、本体感受和 embodiment 标识为条件，在同一 next-token 目标下生成可选的思维链与紧凑动作码；ActionCodec 把动作码解码为连续电机指令。底部是一次闭环 rollout：开抽屉→倒核桃→关抽屉，颜色区分条件上下文、推理与动作 token。

G0.5 以 Qwen3.5 2B 视觉语言模型为骨干初始化。整个模型的输入输出被序列化进一条自回归序列（图2，论文中的 token 序列模板）：条件段包含多视角 RGB 图像、embodiment 标识符、自然语言任务指令和本体感受状态，它们以聊天 token 的形式组织在用户侧；生成段则包含可选的思维链跨段和动作码。全部训练只优化一个目标——生成段上的 next-token 交叉熵：

$$\mathcal{L}(\theta)\;=\;-\sum_{i\in\mathcal{G}}\log p_{\theta}\bigl(x_{i}\mid x_{\{<i\}}\bigr)$$

其中 $\mathcal{G}$ 表示生成段的 token 集合。语言回答、思维链轨迹和动作码全部在这一个统一的自回归解码器上被监督，不存在第二个损失函数、第二套优化器或第二个需要平衡权重的目标。这是 G0.5 与所有 VLM-as-encoder 方法的根本分界线：后者必须为动作专家单独设计 flow-matching/扩散目标，并通过隐状态或 KV cache 把两个目标缝合起来。

ActionCodec：跨本体动作分词器

第一个组件是可学习的跨本体动作编解码器（ActionCodecV2）。所有数据源被统一投影到一个 27 维动作空间，按语义部件切分：

$$\underbrace{9}_{\text{左臂控制}} \;+\; \underbrace{1}_{\text{左夹爪}} \;+\; \underbrace{9}_{\text{右臂控制}} \;+\; \underbrace{1}_{\text{右夹爪}} \;+\; \underbrace{7}_{\text{下肢}} \;=\; 27$$

某个本体不驱动的槽位在合并时填入 noop token，因此形态各异的机器人共享同一个输出头，不需要每机器人一个适配器。分词器本身是一个残差向量量化（RVQ）结构：输入是每部件 $(B, T{=}32, D)$ 的动作块，先按时间轴做分块预处理（horizon patch size 为 8），经卷积下采样编码器压缩成潜变量，再由 RVQ 量化，最后解码器重建。开源代码中的形状流显示，量化采用 4 个码本、每个空间位置 8 个码字，因此每个运动部件的 token 预算固定为 $1 \times 8 \times 4 = 32$ 个 token，无论原始动作维度是多少。

更关键的是结构化特殊 token 的注入。生成段中的动作跨段被展开成 $R$ 个残差轮次，每轮先输出当前激活的自由度组标记（<left_control_r>、<right_control_r>，下肢本体则额外有 <lower_body_control_r>），随后跟 8 个动作码。这让模型只预测当前行为真正涉及的部位：只动右臂的任务不需要为左臂和下肢花任何 token。效果是三重的——训练效率提升、异构本体共享统一动作配置、推理时天然支持稀疏动作预测（未激活部位保持静止，无需生成额外 token）。对于移动操作任务，这种分解还有一个直接收益：导航（下肢）与操作（双臂）在 token 空间里被显式解耦，模型学到的是因式化的全身控制先验，而不是一团纠缠的平坦动作向量。

图2：token 序列模板（论文 Figure 2）。所有输入输出被串行化为一条自回归序列：条件段（多视角 RGB、embodiment id、任务指令、本体感受，走用户侧 chat token）与生成段。生成段由可选思维链跨度（Subtask:/BBox:/Trace:/ActionHint: 四个自描述目标的任意子集）加动作码构成，动作码展开为 R 个残差轮次，每轮是 DoF 组标记加 8 个动作码。

原生思维链：推理是动作的前奏，不是外挂

第二个组件是原生思维链（native chain-of-thought）。以往方法通常把 VQA 类辅助任务（子任务预测、物体框预测）当作共训练的监督信号，但这些信号只在训练时存在，从不显式参与动作生成过程，因此很难判断中间推理到底有没有帮助动作预测。G0.5 利用统一自回归形式的便利，把这些辅助任务直接编进动作生成流：模型被训练为在预测动作之前可选地输出四类自描述推理目标——任务分解（Subtask:）、关键物体定位（BBox:）、运动规划（Trace:，即 2D 末端轨迹）和动作提示（ActionHint:）。每个时间步可以输出这四个目标的任意子集，训练时从 8 个精选组合（含无 CoT 基线）中加权采样，全部在同一个 next-token 目标下监督，其中子任务文本格式被赋予更高的采样权重，与 VLM 侧对子任务预测分割的强调保持一致。

这个设计带来两个被单独评估的收益。其一是更强的指令跟随与接地：生成的推理 token 直接出现在动作 token 之前，是解码器上下文的一部分，而不是经过压缩瓶颈的隐状态，因此长时程指令下的接地和执行得到改善。其二是零样本泛化：在未见过的场景和任务上，模型能生成准确的子任务分解、主动定位任务相关物体及其包围框、预测 2D 运动轨迹和动作提示。论文据此主张：中间推理不只是辅助监督信号，而是可以作为推理时（test-time）对具身动作生成的有效引导。标准基准评测时使用固定的无 CoT 格式，以排除推理开销对对比的影响。

视觉记忆：秒级历史的低延迟注入

第三个组件是视觉记忆模块。复杂的移动操作任务本质上是非马尔可夫的：单帧观测在机械臂遮挡或环境杂乱时经常失效，也缺乏识别失败、制定重试策略所需的时间上下文。但朴素地堆叠历史视觉 token 有两个硬伤——计算代价随序列长度平方增长，高频控制下延迟不可接受；且模型在未见过的时间轨迹上容易误差累积、状态漂移。

G0.5 的做法是在视觉 Transformer 内部每隔四层插入分解式（factorized）的空间与时间注意力模块：一次 QKV 投影之后，时间注意力先跨时间步混合信息（V→V′），空间注意力再用原始 Q、K 与混合后的 V′ 做空间聚合，依次在时间和空间两个方向上融合历史上下文。为严格限制延迟，所有历史 token 在最后一层被整体丢弃；训练时以 30% 的概率随机丢弃全部历史帧，防止模型过拟合历史上下文。本体感受输入则不用离散文本 tokenizer，而是以连续状态嵌入的形式注入，与对应视觉帧严格同步。预训练采用 5 秒窗口内采样的 6 帧历史 $\{o_{t-h}^{(k)}\}$（$k$ 为相机视角，$h$ 为历史帧偏移）。一个值得注意的实验事实是：BEHAVIOR 后训练阶段为了公平对比只用单帧输入，但视觉记忆预训练的收益依然体现在下游长时程任务上——分解式时间注意力让每个相机的表征不仅编码当前观测，还隐式编码场景如何随时间演变。

预训练配方：14 种本体与自动标注流水线

G0.5 在单阶段内完成预训练，数据是机器人示范与网页级视觉-语言数据的异构混合。机器人部分覆盖 14 种本体，横跨真实与仿真平台；DROID 数据刻意不包含在基础预训练混合中，以便后续做干净的后训练零样本评测。所有数据源被统一进 27 维动作空间，但预处理按来源单独处理：归一化模式（带尾部裁剪的 z-score，或 $q_{01}/q_{99}$ 分位数缩放）和逐通道动作滤波器都按数据源设置，而非全混合统一。

为弥补大规模机器人语料的标注缺口，团队构建了自动多模态标注流水线：先用规则化的时间分割找出候选动作段和关键帧，再调用 Gemini 3、Doubao Seed 2.0 Pro 等多模态模型 API 生成动作提示、原子任务描述和整集指令，形成多粒度语言标注；视觉接地用多模态基础模型加 SAM3 跟踪生成逐帧目标框与分割掩码；2D 末端轨迹则由正运动学从关节位姿算出双臂末端位置、再投影到头部相机像平面得到。语言侧共训练混合了通用网页 VQA、具身 VQA 和上述自动标注生成的自有标注，机器人动作样本与 VQA 样本按约 1:4 的比例混合，两类样本在同一个 next-token 交叉熵下优化。优化器为 AdamW，学习率经 warmup、常数段到余弦衰减，视觉塔全程不冻结，训练至收敛。

论文还分析了预训练语料中动作与物体概念的频率分布：动作动词和物体名词都呈明显长尾，高频动作集中在抓取、放置、移动等通用操作原语，物体词汇集中在常见家庭与桌面实体——语料对日常机器人操作场景有广覆盖，同时保留了低频技能与物体的长尾。

flowchart TD
    A["多视角 RGB 当前帧"] --> V["ViT 视觉编码器
每4层插入分解式注意力"]
    H["历史帧 (5秒窗口 6帧)
{o_t-h^(k)}"] --> V
    P["本体感受状态
连续嵌入 (与视觉帧同步)"] --> D
    I["任务指令 + embodiment ID"] --> D
    V --> D["单一 Transformer 解码器
Qwen3.5 2B 骨干"]
    D --> C{"可选思维链跨段"}
    C --> C1["Subtask: 任务分解"]
    C --> C2["BBox: 物体定位"]
    C --> C3["Trace: 2D 轨迹"]
    C --> C4["ActionHint: 动作提示"]
    C1 --> S
    C2 --> S
    C3 --> S
    C4 --> S
    D --> S["动作跨段: R 个残差轮次
DoF 组标记 + 每轮 8 个动作码
仅生成激活部位"]
    S --> Q["ActionCodecV2 (冻结)
RVQ 4 码本 x 8 码字
每部件 32 token"]
    Q --> U["27 维统一动作
左臂9+左爪1+右臂9+右爪1+下肢7"]
    U --> E["按本体切分执行
noop 槽位保持静止"]
    E --> R["机器人执行"]
    R -->|"闭环: 新观测重新条件化"| A

论文方法与开源代码的对应

代码仓库（OpenGalaxea/GalaxeaVLA）已随论文发布，核心组件与论文一一对应。ActionCodecV2 的形状流在 src/g05/tokenizer/models/actioncodec2_v2/modeling_actioncodec2v2.py 中写得非常清楚：输入 {key: (B, T=32, D_i)} → 每部件 pad 到 9 维 → horizon_patch_size=8 重排 → Conv2d 下采样 → ActionEncoder（strides=[[1,1],[2,1],[2,1]]，时间维 4→4→2→1）→ RVQ（4 码本、8 码字）→ 对称解码器重建 → 每部件 32 个 token。这正是论文 3.1 节"残差轮次 + 每轮 8 个动作码"的实现：

# modeling_actioncodec2v2.py（节选注释）
# ↓ RVQ: z_q (B*N, latent_dim, 8), codes (B*N, n_codebooks=4, 8)
# tokens per key = code_h × code_a × n_codebooks = 1 × 8 × 4 = 32

视觉记忆的分解式注意力在 src/g05/models/g05/qwen35/vision.py 中实现，代码注释直接点明了两种融合模式：factorized（一次 QKV，时间混合 V→V′，空间注意力用原始 Q、K 加混合后的 V′）与 cascaded（TimeSformer 式，时间注意力后重新投影 QKV），并配有正弦时间位置编码。思维链跨段对应 src/g05/data_processor/processor/samples_builder.py 里的 SubtaskCoTBuilder，它在动作段之前输出 Subtask: ... 文本段；策略包装器 src/g05/models/g05/g05_policy.py 则说明 AR 解码位于 ar_helper、flow-matching 位于 fm_helper——与论文"FM 头仅作推理时可选加速器"的表述一致。

实验结果

实验布局：七个独立评测域

作者把评测组织成七个相互独立的域，覆盖一个通用 VLA 应该具备的各种能力维度：R1-Lite/R1-Pro 实机微调、2025 BEHAVIOR Challenge 长时程家庭移动操作、DROID 后训练后的环境与物体级零样本迁移、自建的语言跟随 Pick-and-Place 基准（PP Bench），以及三个标准仿真套件 LIBERO、RoboTwin 2.0、SimplerEnv-Bridge。对照对象覆盖三个模型家族：VLM-as-encoder（π₀、π₀.₅、GR00T-N1.5/N1.7、SmolVLA）、自回归（RT-2、OpenVLA、π₀-FAST）与 world action model（Fast-WAM）。这种布局本身就是一个论点：单一架构如果只在某一个域领先，说服力有限；只有在优化方式、数据分布、硬件平台都不同的七个域上同时站得住，"统一自回归流"才是结构性优势而非偶然。

实机微调：长时程双臂任务的代际差距

实机评测在 R1-Lite 与 R1-Pro 两个本体上展开四个任务、六个任务-本体配置：叠毛巾、折纸箱（两个本体共有，可做跨本体对比）、R1-Pro 的箱子搬运码垛、R1-Lite 的笔袋收纳。任务设计专挑硬骨头：毛巾是高度可变形物体，抓取与张力控制的微小误差会沿折叠链条累积；纸箱需要边缘对齐与结构稳定的多阶段双手协调；箱子码垛要求上身（双臂加躯干）协调以够到目标高度并对齐凹槽；笔袋收纳则把拉拉链这种精细工具操作与可变形容器结合起来。每个任务除二元成功率外还报告过程分（process score），按预定义的阶段完成度给部分分。

图3：实机微调评测的任务成功率（论文图 8 左）。G0.5 在六个配置中的五个取得最高成功率。

图4：实机微调评测的过程分（论文图 8 右）。过程分按阶段完成度给部分分，可区分"差一步完成"与"完全失败"。

结果是三个模型中最高的平均表现：G0.5 平均成功率 76.7%，π₀.₅ 为 53.3%，GR00T-N1.7 为 24.4%；平均过程分 129.2，对照分别为 105.2 与 68.9。六个配置中 G0.5 赢下五个，唯一失手的是 R1-Pro 箱子搬运码垛——π₀.₅ 拿到 93.3%，G0.5 为 80.0%——但即便如此 G0.5 的过程分（142.5）仍与 π₀.₅（148.0）相当，并全面超过 GR00T-N1.7。在两个共有的跨本体任务（叠毛巾、折纸箱的四个配置）上差距进一步拉大：G0.5 平均成功率 75.0%，π₀.₅ 仅 43.3%，GR00T-N1.7 只有 13.3%。也就是说，任务越需要长时程的多阶段双手协调，统一自回归流的优势越明显。

模型	平均成功率	平均过程分	获胜配置数（共6个）
G0.5	76.7%	129.2	5 / 6
π₀.₅	53.3%	105.2	1 / 6
GR00T-N1.7	24.4%	68.9	0 / 6

表1：R1-Lite/R1-Pro 六配置实机微调总览（论文图 8 汇总数字）。三个模型在匹配算力与相同协议下微调。

BEHAVIOR Challenge：单策略打赢四套 checkpoint

2025 BEHAVIOR Challenge 基于 BEHAVIOR-1K 与 OmniGibson（NVIDIA Isaac Sim）构建，从 1000 项家庭活动中选出 50 个完整任务，提供 10000 条遥操作示范（1100+ 小时，单条平均 6.6 分钟、最长 14 分钟）。策略要驾驶 R1-Pro 同时处理头部与双腕相机 RGB，在房屋尺度环境里导航并完成双手操作。排名指标 Task Success Score 不是二元成功率，而是按 BDDL 目标谓词的完成比例给部分分，取最佳匹配的目标子句——这更适合衡量"有实质进展但未完成"的策略。评测时每任务 10 个回合，初始物体状态与机器人位姿系统性随机化。

关键实验设计是公平性：作者遵循冠军方案的设置，在后训练中使用单帧观测（但去掉其显式 stage head），并把 50 个任务的全部 10000 条示范联合后训练，因此 G0.5 与 π₀.₅ 都只用单一 checkpoint 评测全部 50 个任务，而冠军方案 RLC 用了 4 个 checkpoint、亚军 Comet 也是多策略提交。

方法	checkpoint 数	Task Success Score
RLC（冠军方案）	4	0.2605
Comet（亚军方案）	多策略	0.1830
π₀.₅（4 epochs）	1	0.2626
G0.5（1 epoch）	1	0.2904
G0.5（4 epochs）	1	0.3136

表2：2025 BEHAVIOR Challenge 总榜（论文表 4）。G0.5 两个训练量级均为单 checkpoint 评测。

两个发现值得拆开看。其一是训练效率：只后训练 1 个 epoch，G0.5（0.2904）就超过训了 4 个 epoch 的 π₀.₅（0.2626）约 10.6%；训满 4 个 epoch 后差距扩大到 19.4%。这说明预训练 backbone 的表征质量直接决定了下游数据的学习效率。其二是单策略泛化：G0.5（4 epochs）用单一 checkpoint 超过冠军方案 20.4%，甚至 1 epoch 版本就已领先冠军 11.5%——预训练学到的全身控制先验足够通用，不需要按任务分布挑选 checkpoint。

作者把优势归因于三点。第一，结构化动作分解天然适配移动操作：左右控制、下肢在 token 空间解耦，等价于把"导航"与"操作"拆成因式化的控制先验，这在移动箱子入库（相对 π₀.₅ +0.35）、捡垃圾（+0.30）、装车（+0.28）这类"导航—抓取—放置"交替的任务上体现得最明显。第二，预训练分布塑造下游强项：预训练数据以 pick-and-place 为主（图 4 的长尾分布），G0.5 在开放空间取放任务上优势巨大（布置捕鼠夹 +0.46、组装礼篮 +0.26、鞋子进架 +0.20）；而在容器交互类任务（微波炉爆米花：π₀.₅ 0.95 vs G0.5 0.55）上落后——但差距随训练量快速收窄（煮热狗从 1 epoch 的 0.45 涨到 4 epochs 的 0.90，逼近 π₀.₅ 的 0.93）。整体上 G0.5 在 50 个任务中的 29 个（58%）领先，π₀.₅ 只领先 15 个（30%）。第三，视觉记忆预训练的红利：即便后训练用单帧，分解式时间注意力在移动操作预训练中习得的"场景如何随时间演变"的隐式理解，仍让 G0.5 在导航密集的长时程任务（移动箱子、装车、搬木柴、整理卧室）上表现更好——训练时 30% 概率整体丢弃历史帧的正则化，反而逼出了空间信息更充分的单帧表征。

DROID 零样本迁移与仿真基准

DROID 实验的协议设计得很克制：DROID 数据不在预训练混合里，模型先在 DROID 上后训练（剔除评测环境与评测物体实例的所有示范），再部署到一台留出环境的 Franka Research 3（Robotiq 2F-85 夹爪、右侧第三人称相机加腕部相机）。10 个桌面任务、每任务 10 次试验，覆盖物体放置、颜色条件选择、小口径插入、可变形物体、空间位移与多步顺序执行。G0.5 平均成功率 82.5%，比 π₀-DROID 的 57.5% 高 25.0 个百分点，比 MolmoAct2-DROID 的 52.0% 高 30.5 个百分点，且在全部 10 个任务上都不落下风。最能说明问题的是顺序任务"积木放进打开的抽屉并关上抽屉"：MolmoAct2-DROID 完全失败，G0.5 有一半以上试验成功——多阶段执行能力正是原生思维链应该发力的地方。

图5：DROID 环境级与物体级零样本评测任务示例（论文图 5 的 (c)：方块→杯子）。任务要求精确估计竖直间隙，把方块投入高杯而不碰到杯沿。

一个诚实的负面发现也被完整记录：抽屉柜体是白色半透明材质，视觉对比度低，G0.5 在毛巾插入任务上无标记时只有 60%（π₀-DROID 90%、MolmoAct2 80%）；在抽屉内壁贴上橙色高对比标记后，G0.5 直接升到 100%。这说明 G0.5 对低对比半透明表面的目标定位存在感知短板——作者在结论里把它列为自承的失败模式之一。

仿真三件套上 G0.5 全部登顶：LIBERO 平均 98.9%（Long 套件 98.6% 为全场最强，对比 π₀.₅ 96.9%、GR00T-N1.7 97.0%、Xiaomi-Robotics-0 98.7%）；RoboTwin 2.0 平均 93.3%（Clean 93.7% / Randomized 92.8%，超过 LingBot-VA 的 92.2%）；Bridge-SimplerEnv 平均 87.3%——值得一提的是后训练用 80K 步、学习率 $3\times 10^{-5}$ 在 BridgeData V2 上完成，且全程采用无状态输入（不提供关节状态等本体感受），是更严格也更可比的协议，最终超过 Xiaomi-Robotics-0 的 79.2% 与 EO-1 的 72.7%。LIBERO 微调用 100K 步、学习率 $1\times 10^{-5}$，RoboTwin 用 4 个 epoch、学习率 $4\times 10^{-5}$、全局 batch 1024——不同基准的超参差异也侧面反映了统一 backbone 对下游协议的适配弹性。

基准	G0.5	最强对照	备注
LIBERO	98.9%	Xiaomi-Robotics-0 98.7%	Long 套件 98.6% 全场最强
RoboTwin 2.0	93.3%	LingBot-VA 92.2%	Clean 93.7% / Rand. 92.8%
SimplerEnv-Bridge	87.3%	Xiaomi-Robotics-0 79.2%	无本体感受输入的严格协议
DROID 零样本	82.5%	π₀-DROID 57.5%	环境与物体实例双留出
BEHAVIOR Challenge	0.3136	π₀.₅ 0.2626 / 冠军 0.2605	单 checkpoint vs 对手多 checkpoint
R1-Lite/R1-Pro 实机	76.7%	π₀.₅ 53.3%	匹配算力与协议微调
PP Bench（50H）	84.4% / 75.0%	π₀.₅ 68.8% / 65.6%	语言跟随率 / 任务成功率

表3：G0.5 在七个评测域上的总成绩单。

PP Bench：语言跟随的解剖学

PP Bench 是作者自建的语言跟随基准：把"语言落地"（language grounding）与"底层执行"解耦，分别报告语言跟随率与任务成功率，覆盖分布内与分布外物体类别、多个后训练规模。评测集含 64 个物体类别与 3 种容器。

图6：PP Bench 的物体类别总览（论文图 9），64 类物体覆盖从常见家居到长尾品类。

四个视角的结果层层递进。零样本能力：不做任何 PP 专属后训练，G0.5 就有 65.6% 的语言跟随率与 59.4% 的任务成功率——大规模预训练提供了可迁移的指令跟随能力与基础取放动作先验。后训练效果：1H、10H、50H 三档后训练下，语言跟随率依次为 62.5%、71.9%、84.4%，任务成功率 57.8%、65.6%、75.0%，从 10H 到 50H 的提升说明更多后训练数据能同时强化分布内物体的语义落地与 R1-Lite 本体上的动作可靠性。与 π₀.₅ 的对比：在所有后训练规模上 G0.5 的语言跟随与任务成功都更高，差距在零样本与 1H 档最大（π₀.₅ 向 R1-Lite 的迁移有限）；即便同样训满 50H，G0.5 仍领先 15.6 个百分点的语言跟随率与 9.4 个百分点的任务成功率。作者把此归因于 web 数据联合训练带来的开放词汇语义理解，以及预训练中本就包含 R1-Lite 本体带来的动作先验。

指称上下文的消融（论文表 5）给出了一个反直觉又合理的结果：在指令里直接注入目标物体与容器的坐标 token（+ Box Coord.）几乎没用——语言跟随率从 84.4% 只升到 85.9%。作者猜测坐标 token 造成了与预训练指令格式的分布偏移，而后训练数据不足以让动作头可靠利用这个新条件信号。真正有效的是把目标物体与容器的裁剪图像作为额外视觉输入拼进相机视图（+ Target Visual）：语言跟随率跃升到 98.4%，任务成功率 84.4%。细粒度的局部外观线索（纹理、形状、品类特征）对"语言难以消歧的长尾物体"特别有用——论文举的例子是标注为"horse"的中国象棋棋子。这个结果也呼应了全文的主题：给模型更多"看"的通道，比塞给它一串坐标更符合它的信息处理方式。

零样本探针：同一个 checkpoint，推理时切换架构

5.6 节的探针实验是全文方法论上最漂亮的一笔：拿同一个预训练 checkpoint，不做任何微调，只在推理时切换两个开关——解码器（AR 动作 token vs 额外的 flow-matching 头）与思维链流（开/关）——在 PP Bench（单阶段）与两个全新的零样本长时程家庭任务 Air Fryer（靠近→开门→抓面包→放入→关门）和 Cook Bacon（靠近→抓培根→放锅里→开火→翻面）上对比四个格子。CoT 开启时两种解码器都读取 CoT 之后的隐状态，因此对比隔离的是解码接口本身而非条件输入。

单阶段 PP Bench 上 CoT 几乎无用：AR 的语言跟随从 65.6% 到 67.2%，FM 从 59.4% 到 60.9%——64 次 rollout 里最多 1.6 个百分点的变化，因为每次 rollout 只有一个落地事件，逐段推理没有发挥空间。五阶段任务上画面完全不同：有了运行时的逐段子目标指令，CoT 让策略能可靠落地相关物体并逐步执行，AR 头的进度分在 Air Fryer 上从 2.4 升到 3.8（满分 5），在 Cook Bacon 上从 1.5 升到 3.4，语言跟随率同步上升，且四个格子中 ARCoT 在每项任务上都明确领先。这两个场景都不在预训练数据里——思维链提升的是分布外家庭场景的逐段落地与执行，且无需任何重训练。这正是"推理与动作共享同一套权重"的直接回报：推理不是外挂模块，而是可以在测试时按需开启的执行引导。

局限性

作者在结论部分坦承了两个失败模式，本文解读认为它们指向的是同一个根源——感知而非决策。第一，抽屉插入与半透明柜体任务在两个 G0.5 变体上都很弱：DROID 评测中抽屉柜是白色半透明柜体，缺乏视觉对比度，G0.5-DROID 无标记时只有 60%，远低于 $\pi_{0.5}$-DROID 的 90%；贴上高对比度标记后才跃升到 100%。作者直言"这是单纯的自回归路线无法弥合的感知极限"（a sensing limit not closed by AR alone）——动作生成范式再优越，也无法凭空重建视觉系统没给出来的信息。第二，视觉记忆只覆盖数秒历史：5 秒窗口、6 帧，对于分钟级的家务任务来说仍然太短，"长时程记忆仍是开放问题"。此外，下肢动作虽然被纳入 27 维统一动作空间，但本文没有单独评估下肢控制能力。

从外部视角看，还有三点值得留意。其一，prompt 级行为控制目前只有定性证据：作者在摘要里宣称"提示词可直接引导动作粒度、任务时长与分布外场景处理"，但正文 5.6 节自己把它降级为"早期线索而非定量主张"（an early hook for prompt-level behavior steering rather than a quantitative claim），副词修饰、空间线索、近义词替换对 rollout 的影响只有定性观察，64 次与 10 次 rollout 的样本量也偏小。其二，BEHAVIOR 对比中的"冠军方案"用了 4 个 checkpoint，而 G0.5 用 1 个——对 G0.5 有利的口径差异需要读者自行权衡。其三，PP Bench 里加坐标 token 反而不涨（84.4% → 85.9%）说明接口改动对动作头并不透明，统一流的可扩展性在"新条件信号"上仍有磨合成本。

总结与展望

G0.5 给出的论证链条是完整的：架构上，它用可学习的跨本体动作分词器 + 主动部分 token 化解决了自回归动作 token 的规模瓶颈；训练上，它把子任务分解、目标定位、轨迹提示、动作提示全部并入同一个 next-token 目标，让推理成为动作生成的内生组件；记忆上，它用视觉编码器内的分解式时空注意力以受控延迟注入多秒历史。七个评测体系的一致领先——尤其是单 checkpoint 单 epoch 超越 $\pi_{0.5}$ 四 epoch 与四 checkpoint 冠军方案——说明收益主要来自预训练表征本身，而非评测口径。

作者自己总结的三个"结构性而非偶然"的证据值得再复述一遍：PP Bench 上 G0.5 零样本的语言遵循率高于后训练的 $\pi_{0.5}$ 基线，说明自回归动作监督保护而非损害指令遵循能力；BEHAVIOR 上单个 G0.5 checkpoint 一个 epoch 就超过后训练四个 epoch 的 $\pi_{0.5}$ 与四 checkpoint 冠军，说明预训练表征携带通用移动操作先验；R1-Lite/R1-Pro 上匹配算力与协议微调后 G0.5 依然胜出，说明对 VLM-as-encoder 架构的优势在同算力条件下依然成立。

往前看，作者指出的路径也很清楚：用容器交互技能充实预训练数据以补上家电操作的分布缺口；把数秒的视觉记忆扩展为真正的长时程记忆；对 prompt 级可控性做系统性研究。随着 g05-base 及 DROID、LIBERO、RoboTwin、SO-100/101、R1-Lite/R1-Pro 各 checkpoint 的开源，这个 2B 规模的自回归 VLA 骨干很可能成为后续研究的标准起点——就像作者期望的那样，"让自回归建模重新成为 VLA 的基础"。