OmniBrain-0：面向具身智能的统一智能体模型

论文元信息

标题：OmniBrain-0：面向具身智能的统一智能体模型

研究团队：小米具身智能团队、清华大学、澳门大学。

论文版本：arXiv 2610.36013v1，提交于 2026 年 10 月 26 日，技术报告共 40 页，包含 27 幅图与 8 张表。

链接：论文 · 代码仓库 · 项目主页

代码状态：仓库 README 明确写着代码尚未发布。当前公开提交只包含 README 和一个资源准备脚本，没有训练实现、模型权重或检查点，因此本文结果目前无法由第三方直接复现。

一句话总结

OmniBrain-0 用一个 4B 或 9B 的高层决策模型统一调度操作与导航工具，通过“具身预训练、领域教师蒸馏、多教师在线策略蒸馏”获得跨域能力，再用评分规则引导的递归自我改进持续补充经验数据。

研究背景与动机

具身智能系统的真正难点并不只是让机械臂抓住一个物体，也不是让移动机器人沿走廊抵达某个坐标。长程任务要求系统把感知、定位、抓取、移动、验证和错误恢复组织成连续决策，并在一次工具调用失败后重新判断现场状态。低层操作策略可以很好地完成局部技能，但它通常不负责跨技能的任务分解，也无法独立解释为什么当前动作顺序失败。

另一条路线是直接调用通用多模态大模型充当智能体。这类模型具有较强的语言理解和常识推理能力，可以用工具接口连接机器人系统，但它需要大量推理令牌和外部经验库。对于需要反复闭环执行的机器人任务，推理成本会转化为真实时间，外部经验也会引入部署依赖。论文把这一矛盾概括得很清楚：能力强的模型代价高，紧凑模型又难以仅靠少量提示获得稳定的长程规划能力。

现有视觉语言动作模型通常把感知到动作的映射压缩在一个端到端策略里。它们在单一任务分布上效率很高，却难以同时维护导航、操作、任务进度判断和失败恢复。与此同时，纯工具编排系统虽然可以接入多种专用策略，但其“统一”主要发生在接口层：上层可能仍然依赖一个通用大模型，决策知识没有被真正训练进紧凑控制器。

本文的出发点是改变统一发生的位置。OmniBrain-0 不试图用一个模型替代所有低层执行器，而是把统一能力放在高层决策模型中。专用 VLA、VLN 和运动工具继续保留各自的控制接口，紧凑模型负责理解任务、选择工具、填写参数、读取反馈并决定何时恢复。作者将这种设计称为“学习到的决策模型内部统一”，与仅在工具接口处拼接多个专家有本质区别。

为了让小模型获得这种能力，论文没有只做一次监督微调，而是把能力获取和跨域整合拆开。先让模型获得具身常识，再分别训练操作与导航教师，最后用多教师在线策略蒸馏把两个领域的决策分布合并回同一个学生。该组织方式试图兼顾领域专精与共享部署。

问题形式化与执行框架

在第 $t$ 个决策步，系统可获得视觉观测、机器人本体状态和环境给出的任务状态。论文把这些信息写成

$$o_t=(I_t,q_t,p_t),\qquad H_t=(h_t,M),\tag{1}$$

其中，$I_t$ 是图像观测，$q_t$ 是本体感受状态，$p_t$ 是环境暴露的任务状态，$h_t$ 是本回合交互历史，$M$ 是可选的 Experience Library。该形式化强调决策只能使用当前与过去的信息，避免教师轨迹中的未来答案泄漏到学生输入。

给定任务指令 $g$，高层策略在可用工具集合 $P_e$ 中选择工具编号 $k_t$ 和调用参数 $\xi_t$：

$$x_t=(g,o_t,H_t),\qquad u_t=(k_t,\xi_t)\sim\pi_\theta(\cdot\mid x_t),\qquad k_t\in P_e.\tag{2}$$

执行工具后，环境返回新的观测与反馈，系统进入下一步。这个抽象把不同输入形式、不同控制周期和不同低层实现的操作与导航统一成“调用并读取结果”的循环。论文的真实系统包含通用感知工具、VLA 工具、VLN 工具和运动控制工具，例如观察状态、像素定位、抓取、移动机械臂、局部导航和动作执行。

工具抽象并不意味着所有能力都由同一个网络直接输出。低层策略仍然负责连续控制，OmniBrain-0 只学习何时调用哪个工具、参数大致指向什么目标，以及根据反馈是否继续、重试或恢复。这种分层降低了高层模型的输出维度，也使系统能够复用已有专用策略。

flowchart LR
    G["Task instruction"] --> P["Compact planner: Qwen3.5 4B or 9B"]
    O["Observation and robot state"] --> P
    H["Interaction history"] --> P
    E["Optional experience library"] --> P
    P --> T{"Select a semantic tool"}
    T -->|Perception| S1["Localize or inspect"]
    T -->|VLA| S2["Manipulation skill"]
    T -->|VLN| S3["Navigation skill"]
    T -->|Motion| S4["Pose or actuator control"]
    S1 --> F["Tool response and new observation"]
    S2 --> F
    S3 --> F
    S4 --> F
    F --> P
    F --> R{"Goal reached"}
    R -->|No| P
    R -->|Yes| D["Terminate"]
  

图 1：根据论文第 3 节绘制的高层工具调用闭环。这里展示的是决策结构，不是论文原图。

交互数据如何变成可训练的监督

专家演示并不是天然适合学生训练的对话数据。原始日志可能包含学生看不到的环境上下文、失败的基础设施记录、重复而无信息量的动作，以及教师模型冗长的自由文本推理。论文设计了一条四阶段数据管线：交互归一化、轨迹质量控制、推理重建和一致性验证。

一条保留的专家轨迹被定义为按时间排列的多模态序列：

$$\tau=(g,x_0,y_0,u_0,f_1,x_1,\ldots,y_{T-1},u_{T-1},f_T,x_T),\tag{3}$$

其中，$y_t$ 是专家决策文本，$u_t$ 是实际执行的工具调用，$f_{t+1}$ 是执行反馈。这个表示把“看见什么、如何判断、调用了什么、环境如何回应”绑定在同一步上。相比只保留成功动作序列，它保留了反馈驱动的因果关系。

质量筛选保留了标准成功轨迹与成功恢复轨迹。前者说明常规流程，后者记录抓取失败、重新定位、调整夹爪、再次抓取并最终完成任务的过程。盲目重复同一动作且没有获得新信息的轨迹被视为噪声并丢弃。这个选择很关键：如果只学习成功轨迹，模型很难在真实执行偏离示范时知道如何纠正。

推理重建把教师自由生成的文字压缩成“阶段、状态、证据、决策”四个字段。阶段表示当前处于定位、抓取、运输、放置、验证还是恢复；状态记录手中物体、夹爪状态、目标和目的地；证据来自视觉观测与工具反馈；决策则与真实工具参数一一对齐。这样既减少对教师语言风格的模仿，也迫使学生将语言判断锚定到可观察证据。

最后的一致性验证检查时间顺序、状态与动作是否对应，以及文本证据是否得到图像支持。证据不足或状态与工具调用矛盾的样本会被删除。论文报告的训练语料包括约 820,453 个具身视觉问答样本、3,846 条初始智能体演示，以及递归改进阶段追加的 1,142 条演示。

图 2：论文图 4，展示原始日志经过归一化、质量控制、推理重建和一致性验证后形成高质量数据。

三阶段能力迁移

第一阶段：具身预训练建立共享基础

作者以 Qwen3.5-4B 和 Qwen3.5-9B 为骨干，在具身视觉问答与长程交互数据上预训练 OmniBrain-Base。问答数据主要提供场景理解、物体关系、可供性与计划知识，交互数据提供多轮工具调用和时间反馈经验。两种监督互补：静态视觉问答让模型知道“看到的是什么”，轨迹学习让它知道“下一步应该调用什么”。

预训练阶段使用 16 张 NVIDIA H20 显卡、bfloat16、2 个 epoch、学习率 $5\times10^{-6}$、批大小 1 和 4 步梯度累积。该阶段不是最终系统，而是后续两个领域教师和统一学生的共同初始化。

第二阶段：领域教师通过硬蒸馏获得专长

操作教师只接收操作语料，导航教师只接收导航语料。教师输出的是决策文本和工具调用序列，环境观测与工具反馈作为条件上下文。对教师参数 $\phi_k$ 和序列 $z$，监督目标是自回归负对数似然：

$$L_{\mathrm{expert}}^{(k)}=-\mathbb{E}_{(x,z)\sim D_k}\left[\frac{1}{|z|}\sum_{j=1}^{|z|}\log\pi_{\phi_k}(z_j\mid x,z_{<j})\right],\qquad \phi_k^{(0)}=\theta_{\mathrm{base}}.\tag{4}$$

损失只在决策文本和工具调用标记上计算。这样得到两个高层教师，而不是两个新的低层控制器。操作教师的优势来自对抓取、放置和物体交互顺序的密集经验，导航教师的优势来自地标识别、路径分解和终止判断。

专家训练使用 3 个 epoch、批大小 2、学习率 $1\times10^{-5}$、2 步梯度累积。教师固定之后用于下一阶段的分布监督，避免在统一训练中同时改变教师目标和学生目标。

第三阶段：MOPD 合并两个专家

统一学生同样从 OmniBrain-Base 初始化，教师集合为

$$\theta^{(0)}=\theta_{\mathrm{base}},\qquad \mathcal{T}=\{\pi_{\phi_k}\}_{k=1}^{K}.\tag{5}$$

MOPD 的关键不是让学生复述专家给出的固定答案，而是先让学生自己生成决策前缀，再让对应领域教师在这些前缀上提供下一个 token 的分布。对第 $j$ 个预测位置，学生与教师分布分别为

$$p_{\theta,j}(v)=\pi_\theta(v\mid x,\hat z_{<j}),\qquad q_{k,j}(v)=\pi_{\phi_k}(v\mid x,\hat z_{<j}),\qquad v\in V.\tag{6}$$

这里 $\hat z$ 是学生采样出的序列，$V$ 是经过重归一化的共同 top-$k$ 词表支持集。因为监督条件包含学生自己的历史，专家可以纠正学生实际走到的错误状态，而不是只教一条与学生当前行为无关的金标准轨迹。这一性质正是“在线策略蒸馏”与普通离线监督的差别。

多领域目标按领域采样权重 $\rho_k$ 聚合，并只对有效决策与工具调用位置使用掩码 $m_j$：

$$L_{\mathrm{MOPD}}(\theta)=\sum_{k=1}^{K}\rho_k\mathbb{E}_{x\sim\mu_k,\hat z\sim\pi_{\bar\theta}}\left[\frac{1}{M}\sum_{j=1}^{|\hat z|}m_jD_{\mathrm{KL}}(p_{\theta,j}\Vert q_{k,j})\right],\qquad M=\sum_{j=1}^{|\hat z|}m_j>0.\tag{7}$$

其中，$\bar\theta$ 是采样学生参数，教师参数在优化时保持固定，$M$ 是有效标记数量。论文使用的散度为逆向 KL：

$$D_{\mathrm{KL}}(p_{\theta,j}\Vert q_{k,j})=\sum_{v\in V}p_{\theta,j}(v)\log\frac{p_{\theta,j}(v)}{q_{k,j}(v)}.\tag{8}$$

该式按学生自身的概率质量衡量与教师的差异，学生当前更相信的模式会获得更大权重。MOPD 训练 2 个 epoch，学习率 $2\times10^{-6}$，批大小 2，采样温度 1.0，top-$k$ 为 64，操作与导航教师权重均为 0.5。最终学生不是两个模型的简单集成，而是决策分布被重新参数化的单一模型。

图 3：论文图 5，从具身预训练到领域教师监督，再到多教师在线策略蒸馏。

评分规则引导的递归自我改进

论文没有把自我改进定义成模型自己生成数据后直接训练。系统先收集成功、失败和低效轨迹，由验证器判断目标是否完成、执行是否低效，再把执行证据交给 Meta-Agent。Meta-Agent 从轨迹片段中提出、修改或强化机器人评分规则，并据此构造提醒策略。

论文把规则更新与提醒生成写成

$$U_{k+1}=A(D_k,U_k),\qquad R_{k+1}=G(U_{k+1}),\tag{9}$$

其中，$D_k$ 是第 $k$ 轮收集的轨迹，$U_k$ 是当前评分规则集合，$A$ 表示分析与修订，$G$ 表示提醒策略构建。规则回答“应该检查什么”，提醒策略回答“当前这一步最需要提示什么”。两者分离后，提示具有明确证据来源，也不会直接改写模型参数。

在第 $t$ 步，系统根据当前任务、观测和历史判断是否需要插入提醒。若无需提醒，$r_t$ 为空；若存在风险，提醒可能包含前置条件、动作顺序或执行证据检查：

$$r_t=R_{k+1}(U_{k+1},x_t),\qquad u_t\sim\pi_\theta(\cdot\mid x_t,r_t).\tag{10}$$

论文在提醒策略验证阶段冻结模型参数，只改变提示。这样可以把推理时提醒带来的增益与后续训练带来的增益区分开。验证后的成功与失败轨迹再进入下一轮规则更新。

通过验证的轨迹还会扩充对应领域专家数据：

$$D_{\mathrm{SFT},k+1}^{(d)}=D_{\mathrm{SFT},k}^{(d)}\cup Q(T_k^{(d)}),\tag{11}$$

其中，$d$ 表示操作或导航，$Q$ 表示验证、筛选与训练数据加工。专家重新监督微调后，再由 MOPD 合并为学生，更新后的学生进入下一轮交互。这样形成“分析、引导、筛选、改进”的闭环。论文配置中使用 GPT-6.1-Sol 作为 Meta-Agent，GPT-5.6-Sol 作为验证器侧的判断模型。

图 4：论文图 7，困难案例、评分规则提醒、验证轨迹池、专家训练与 MOPD 构成的数据飞轮。

flowchart TD
    A["OmniBrain-0 interacts with task"] --> B["Verifier checks goal and efficiency"]
    B --> C["Meta-Agent analyzes evidence"]
    C --> D["Update robotics rubrics"]
    D --> E["Build state-dependent reminder policy"]
    E --> F["Collect targeted trajectories"]
    F --> G["Keep verified successes and recoveries"]
    G --> H["Manipulation expert SFT"]
    G --> I["Navigation expert SFT"]
    H --> J["Multi-teacher on-policy distillation"]
    I --> J
    J --> K["Updated OmniBrain-0"]
    K --> A
  

图 5：论文第 5 节递归自我改进闭环的细粒度表示。

实验结果

跨域总体表现

论文在 LIBERO-Pro、LIBERO-Plus、RoboCasa365、RoboTwin 2.0 和 R2R-CE Val-Unseen 上比较模型，同时报告任务完成时间。OmniBrain-0 9B 在这五个基准上的总体成功率分别为 65.5%、83.8%、39.6%、88.2% 和 65.0%。与闭源教师 GPT-5.6-Sol 相比，它仍有成功率差距，但令牌消耗和完成时间显著下降。

LIBERO-Pro 的差距最直观。9B 版本得到 65.5%，低于教师的 78.3%，但平均时间从 13.8 分钟降到 1.6 分钟。RSI 版本在不增加时间的情况下升到 69.3%。这说明提醒与经验数据主要改善任务成功率，而紧凑模型本身已经大幅压低了高层推理开销。

LIBERO-Plus 的鲁棒性结果更接近教师。9B 版本达到 83.8%，RSI 达到 84.5%，教师为 86.2%。两者都在 2.2 分钟完成，而教师约需 10.5 分钟。该基准分别扰动相机、机器人状态、语言、光照、背景、噪声和布局，因此高分说明模型并非只在固定视觉外观下有效。

RoboCasa365 暴露出能力迁移的不均衡。9B 在 Atomic-Seen 上得到 71.1%，在 Composite-Seen 上为 32.5%，但在 Composite-Unseen 上只有 11.3%。RSI 将三个分项提高到 74.4%、36.3% 和 15.0%。总分会上升，但未见组合任务仍是明显短板。这表明学生能够吸收单个技能和常见组合，却没有完全获得教师对全新任务结构的重组能力。

导航基准 R2R-CE 的 9B 成功率为 65.0%，成功路径长度加权指标为 54.8%，目标可观测率 71.0%，导航误差 3.78 米。RSI 将成功率提高到 66.0%，误差降到 3.70 米。与教师的 71.0% 成功率相比仍差 6 个百分点，但已明显超过原始 Qwen3.5-9B 的 34.0%。

基准	OmniBrain-0 9B	RSI 版本	GPT-5.6-Sol 教师	9B 平均时间
LIBERO-Pro	65.5%	69.3%	78.3%	1.6 分钟
LIBERO-Plus	83.8%	84.5%	86.2%	2.2 分钟
RoboCasa365	39.6%	43.2%	52.4%	13.3 分钟
RoboTwin 2.0	88.2%	89.4%	91.2%	3.7 分钟
R2R-CE Val-Unseen	65.0%	66.0%	71.0%	0.86 分钟

表 1：根据论文表 1 至表 5 汇总的主要成功率。R2R-CE 使用 rand100 子集。

图 6：论文图 2，三阶段训练、工具执行、评分规则闭环与跨域性能雷达图的整体关系。

空间理解与真实机器人任务

EmbSpatial-Bench 测试第一视角空间问答，OmniBrain-0 9B 在 MP3D、AI2-THOR 和 ScanNet 三个来源上分别达到 84.0%、76.8% 和 84.3%，总体 81.6%，比原始 9B 骨干高 4.4 个百分点。结果说明具身预训练与交互蒸馏确实改善了场景关系判断。

RefSpatial-Bench 的结论更复杂。OmniBrain-0 9B 的放置点预测从骨干的 41.0% 提高到 48.0%，未见关系组合从 36.4% 提高到 41.6%，但直接物体定位从 65.0% 降到 52.0%，总体为 47.7%，略低于骨干的 48.4%。这不是全面退化，而是能力转移不均衡：训练更偏向可执行放置和组合关系，直接坐标定位没有得到同等强化。

真实机器人操作覆盖叠积木、放置苹果和打开抽屉。OmniBrain-0 的成功率分别为 75%、60% 和 85%，宏平均 73.3%；独立策略 π0.5 为 50%、40% 和 85%，宏平均 58.3%；教师为 90%、75% 和 95%，宏平均 86.7%。OmniBrain-0 优于独立低层策略，但没有追平教师，说明统一高层规划能改善任务级执行，物理接触和长程误差仍受工具能力限制。

图 7：论文图 8，三项真实操作任务中 OmniBrain-0、π0.5 与 GPT-5.6-Sol 的成功率。

效率与消融

令牌效率是本文最有竞争力的结果之一。9B 版本在 LIBERO-Pro、LIBERO-Plus、RoboCasa365、RoboTwin 2.0 和 R2R-CE 上相对教师分别少用 4.5、2.6、3.5、12.7 和 3.7 倍令牌。RoboTwin 的差距最大，因为任务本身成功率已接近教师，而教师每次任务仍消耗约 1.4M 令牌，学生只需约 0.11M。

提醒策略消融固定模型参数，仅比较推理时是否插入状态相关提醒。五个基准的成功率增益分别为 LIBERO-Pro 增加 6.1 个百分点、LIBERO-Plus 增加 1.3 个百分点、RoboCasa365 增加 7.0 个百分点、RoboTwin 2.0 增加 1.0 个百分点、R2R-CE 增加 2.0 个百分点。RoboCasa365 的增益最大，符合该任务需要多阶段依赖和进度验证的特点。

数据管线消融显示，如果去掉失败恢复轨迹，只用单一成功轨迹，LIBERO-Pro 成功率下降约 9 个百分点；如果直接使用教师的自由推理文本而不进行结构化重建，性能也明显下降。经验库消融则显示，给教师加入经验库可分别让 LIBERO-Pro、RoboTwin 2.0 和 RoboCasa365 提高 27.7、6.8 和 26.4 个百分点。

消融或诊断项	变化	说明
提醒策略：LIBERO-Pro	65.5 → 71.6	固定权重，仅改变推理时提醒
提醒策略：RoboCasa365	39.6 → 46.6	多阶段任务收益最大
删除失败恢复轨迹	LIBERO-Pro 下降约 9 点	说明恢复监督的重要性
直接使用自由推理文本	LIBERO-Pro 明显下降	结构化状态与证据更利于小模型
RefSpatial 直接定位	65.0 → 52.0	能力迁移不均衡的直接证据

表 2：根据论文第 6.3 节消融与空间指代结果整理的诊断表。

阶段	训练配置	真实数值
具身预训练	epoch、批大小、学习率、梯度累积	2、1、5×10⁻⁶、4
领域专家训练	epoch、批大小、学习率、梯度累积	3、2、1×10⁻⁵、2
多教师蒸馏	epoch、批大小、学习率、top-k	2、2、2×10⁻⁶、64
MOPD 采样	温度、教师权重	1.0、操作 0.5 与导航 0.5
训练硬件	GPU 与精度	16 张 NVIDIA H20、bfloat16

表 3：论文附录 C 给出的可核查训练配置。

讨论：这项工作真正改变了什么

第一项实质贡献是把“统一具身智能体”从接口拼接推进到决策分布合并。系统可以接入多种工具，但学生的规划参数来自两个领域教师的在线分布监督，而不是在运行时依赖一个大型外部模型。对于部署成本敏感的平台，这比继续增加工具数量更重要。

第二项贡献是数据质量与数据数量被放在同一闭环里。初始语料依靠人工或专家采集，递归改进阶段则用验证器确认成功与恢复轨迹，再让 Meta-Agent 将失败模式转化为评分规则。系统不是把一切失败日志直接喂给模型，而是先提取可迁移的任务前置条件、动作顺序和证据检查。

第三项贡献是提醒机制与参数学习分离。推理时提醒便宜、可解释，并且可以在冻结模型时单独评估；参数学习则通过专家监督和 MOPD 固化稳定能力。二者组合使系统既能在部署时快速修正，又能把反复出现的规则转入权重。

不过，这种分工也意味着系统上限受验证器和 Meta-Agent 影响。如果验证器只看任务是否成功，可能保留偶然成功的轨迹；如果评分规则过度贴合某一环境，提醒也可能在新场景中变成错误先验。论文尚未给出规则质量与长期漂移的系统性测量。

局限与风险

作者明确承认的局限：OmniBrain-0 依赖低层技能覆盖范围与可靠性，在未见任务组合和空间定位上仍有明显差距，真实机器人评测只覆盖有限任务。这些限制与实验表格一致，不是泛泛的免责声明。

可复现性限制：公开仓库目前没有实现、训练脚本、检查点或数据发布说明，README 只占很小一部分，代码仍标记为尚未开放。因此外界无法验证数据管线、MOPD 细节、提醒生成方式以及真实机器人实验，也无法在独立环境中重跑主要数字。

能力边界：RoboCasa365 的未见组合仅为 11.3%，RefSpatial 的直接定位下降 13 个百分点。两个结果共同说明模型更擅长学习常见执行流程和关系组合，而不是普遍获得教师的空间推理能力。把统一模型当成所有具身任务的通用替代品会高估其泛化。

实验公平性风险：不同基准使用不同低层技能、工具接口和执行预算，部分比较对象是训练型策略，部分是少样本智能体。论文说明已尽量匹配设置，但无法访问代码意味着这些匹配条件无法被外部审计。时间结果还同时包含高层推理、工具执行和模拟器开销，不能简单理解为模型自身的延迟。

安全与部署：提醒策略由大模型生成，真实机器人执行仍需要低层安全约束、碰撞检查和人工监督。论文的成功率来自受控任务，不应直接外推到开放环境。特别是在未见组合和直接坐标定位较弱时，系统更适合作为有边界的高层调度器，而不是无人监督的通用控制端。

总结与展望

OmniBrain-0 的价值不在于用一个 4B 或 9B 模型取代全部机器人策略，而在于证明高层决策能力可以被系统化地提炼并压缩。三阶段训练把具身常识、领域专精和跨域整合拆开，MOPD 用学生自己的前缀接收教师分布监督，RSI 则把执行证据转化为规则、提醒与经过验证的训练数据。

结果支持两个结论：紧凑模型可以在成功率接近教师的同时大幅减少令牌和时间；跨域蒸馏并非均匀复制能力，未见组合、直接空间定位和真实接触任务仍会暴露短板。后续工作最值得关注的不是继续增加演示数量，而是如何验证规则、覆盖长尾组合、让低层工具的不确定性显式进入高层状态，并在代码与数据层面提供可复现的完整链路。