RoboColosseum：野外物理智能大规模评测

研究背景：机器人基础模型缺少共同的现实考试

语言模型可以通过统一输入、统一评分和大量人类偏好比较形成排行榜，机器人策略却必须在闭环中改变下一次观察。一个动作偏差会移动物体、遮挡相机并改变后续状态，因此同一任务在不同站点并不天然等价。桌面高度、光照、相机外参、物体摩擦、机械臂校准和操作员复位方式都可能改变结果。

仿真可以扩大试验数量，却无法自动跨越传感、动力学和视觉外观的差异。真实世界基准更接近部署条件，但传统集中式实验室通常只有少量机器人、少量任务和有限环境。论文指出，真实试验的稀缺会让排名对抽样波动敏感：某个策略可能只是遇到了更简单的物体，另一个策略可能刚好遇到更难的初始姿态。

分布式评测把环境多样性带回来，同时引入新的公平性问题。若每个站点自由选择任务，原始胜率就会把“模型能力”和“任务难度”混在一起；若所有站点严格复制同一张桌面，又会失去野外评测最有价值的分布变化。RoboColosseum 的核心取舍是：允许任务与环境变化，但在每一次成对比较内固定机器人、指令、物体、初始布置和超时。

论文还把评测分成两个不能互相替代的问题。开放赛道问模型在没有任何任务适配时能否处理当地提出的任务；微调赛道问同一批示范数据能否让模型快速获得指定技能。前者接近零样本泛化，后者接近部署前的快速适配。只测其中一条，无法判断一个开放世界表现很强的模型是否也容易微调。

图 1（论文 Figure 1，对应下载文件 fig2）：分布式站点、统一策略服务、开放赛道、微调赛道与排行榜共同组成评测闭环。

评测基础设施：先把“可操作性”变成协议

论文当前覆盖四类本体：低成本单臂 SO-101、研究级 Franka 的 DROID 配置、双臂 YAM，以及 Unitree G1 人形机器人。它们分别代表低成本复制、成熟研究平台、双臂协调和移动操作。每个本体固定观察与动作规范，使同一模型家族可以在不同站点使用兼容的检查点与硬件接口。

SO-101 使用六维关节位置动作，包括五个臂关节和一个夹爪维度；DROID/Franka 使用八维关节位置；Bimanual-YAM 使用十四维动作。观察输入在论文协议中统一到对应相机的图像、机器人本体状态和语言指令。固定接口并不消除硬件差异，但它让差异可以被记录、被比较，而不是藏在每个实验室自定义的适配层里。

操作流程同样属于基准的一部分。站点包括办公室、图书馆、公园、宿舍、住宅、食堂和工厂，并配置全职操作员负责执行、复位和判断。论文还说明，记录会经过人脸模糊与身份匿名化处理。这些环节看似不是算法贡献，却决定了真实评测能否持续：没有统一复位、异常终止和安全边界，成对比较就无法解释。

图 2（论文 Figure 2，对应下载文件 fig3）：从左至右为双臂 YAM、SO-101、DROID/Franka 与 Unitree G1，标注了相机、夹爪和计算设备。

方法详解一：微调赛道把示范预算固定下来

微调赛道为每种本体选择五项任务，共二十项，覆盖抓放、堆叠、物体转正、抽屉与笔记本开合、毛巾折叠、倒液、清扫以及人形移动操作。每项任务都有任务卡，明确语言指令、物体、初始布置、成功条件、超时、进度条件和执行环境。

每项任务收集一百条遥操作示范。所有被评测策略看到同一批任务示范，但可以沿用各自官方微调配方。论文明确说明，这样做固定的是数据与评测协议，而不是优化器与训练时长。因此结果衡量的是“从相同数据出发，按官方工程流程完成最终适配”的现实能力，而不是单看网络结构的受控消融。

评测在每个策略与任务组合上执行二十五次。若任务有 $K$ 个进度条件，一次 rollout 满足 $s_n$ 个条件，则归一化进度和成功率定义为：

$$ \mathrm{PS}=\frac{1}{N}\sum_{n=1}^{N}\frac{s_n}{K}. $$ $$ \mathrm{SR}=\frac{1}{N}\sum_{n=1}^{N}\mathbf{1}_n. $$

其中 $\mathbf{1}_n$ 在第 $n$ 次 rollout 成功时取 1，否则取 0。这个定义的直接含义是：成功率只回答“最终是否完成”，进度分数回答“失败之前走到了哪里”。条件不要求固定顺序，同一任务内每个条件等权。若操作员因为安全风险终止试验，该次按零进度和失败计入，避免危险行为通过提前停止获得隐性奖励。

只看成功率会在困难任务上产生地板效应。例如 G1 人形机器人的五项任务中，五个策略成功率全部为零；如果没有进度指标，排行榜只能得到五行相同的零。论文报告的平均进度仍在 13.3% 到 23.2% 之间，说明这些策略虽然都不能完成，却并非处于完全相同的初始失败状态。

方法详解二：盲测成对比较与主动匹配

开放赛道不由中心实验室预先规定全部任务。站点根据本地物体与环境定义一个可执行任务，系统在不向评测者暴露模型身份的情况下分配 $A$、$B$ 两个候选模型。两个模型先后在同一机器人、同一任务与同一初始条件下运行。评测者记录胜负或平局、双方进度、自然语言反馈以及一到十级的主观难度。

盲测解决了品牌偏见，却没有解决样本分配效率。随机均匀选择模型对，会把大量比较花在已经很清楚的高低组合上。论文采用类似 Chatbot Arena 的主动匹配：初始化后按候选对预计能减少多少不确定性进行抽样。候选对 $a$ 的抽样概率写为：

$$ P_t(a)\propto \sqrt{\frac{\hat{\Sigma}_{t,a,a}}{n_a}} -\sqrt{\frac{\hat{\Sigma}_{t,a,a}}{n_a+1}}. $$

其中 $n_a$ 是这一对模型此前的比较次数，$\hat{\Sigma}_{t,a,a}$ 是当前估计的方差。公式偏向“方差大且样本少”的比较；新增加一次观测后，该候选对方差下降越多，越值得被选中。实际系统还要满足站点硬件和检查点兼容性，因此主动匹配是在可执行候选对之间分配稀缺的物理试验。

flowchart LR
    S[Local site defines task] --> A[Server assigns hidden pair A and B]
    A --> E1[Execute model A on fixed scene]
    E1 --> E2[Reset and execute model B]
    E2 --> R[Record win loss tie progress and difficulty]
    R --> D[DCR estimates ability and task difficulty]
    D --> M[Active matchmaking selects uncertain pair]
    M --> A
    R --> L[Public leaderboard]

代码实现与论文协议可以逐项对应。项目文件 rc-client-h1/src/colosseum_client/evaluation.py 的 progress() 要求操作员输入零到一百的部分成功率，验证范围后再除以一百；完成两次执行后，local['result'] 保存按盲测侧别索引的 outcomes、开放赛道的 preference 以及可选反馈，而不是在提交时重新发送模型身份。

def progress(label):
    while True:
        raw = ask(f'{label} partial success (0–100): ').strip()
        try:
            value = float(raw)
            if 0 <= value <= 100:
                return value / 100
        except ValueError:
            pass
        print('Enter a number from 0 to 100.')

local['result'] = {
    'outcomes': local['outcomes'],
    'preference': preference,
    'feedback': ask('Feedback (optional): ').strip()
        if track == 'open' else '',
}

代码片段不是替代论文公式，而是确认协议字段有实际落点。尤其是双方各自的进度被保留，而不是只上传一个胜者标签；这使后续模型能够区分“双方都成功”“双方都失败”和“一边部分完成”三种本质不同的证据。

方法详解三：难度校准 Rasch 模型如何形成 DCR 排名

开放赛道的任务难度并不相同。直接统计胜率会让抽到简单任务的策略占便宜，因此论文把每次试验视为“策略能力能否跨过任务难度门槛”的概率模型。策略 $p$ 在任务 $t$ 上成功的概率采用一参数 Rasch 形式：

$$ q_{p,t}=P(y_{p,t}=1\mid\theta_p,\beta_t) =\sigma(\theta_p-\beta_t). $$ $$ \sigma(x)=\frac{1}{1+e^{-x}}. $$

$\theta_p$ 越高表示策略能力越强，$\beta_t$ 越高表示任务越难。若两个策略面对同一任务，能力差会直接改变成功概率；若两个任务面对同一策略，难度差也会改变成功概率。成对比较中的两次结果都被保留，因此双方同时失败会提供任务偏难的证据，双方同时成功则提供任务偏易的证据。

真实任务通常只有少量试验，仅靠结果估计每项任务的难度并不稳定。论文因此用人工难度等级作为先验。设 $d_t\in\{1,\ldots,10\}$，每个等级有典型潜在难度 $\mu_k$，并要求等级越高，潜在难度越大：

$$ \mu_1 \lt \mu_2 \lt \cdots \lt \mu_{10}. $$

具体任务的难度围绕所属等级的均值波动：

$$ \beta_t\mid d_t=k\sim\mathcal{N}(\mu_k,\tau^2). $$

这组先验的作用不是把人工评分当作固定权重，而是允许物理结果推翻主观估计。一个标注为九级的任务如果反复被多个策略完成，其后验难度可以下降；一个标注为二级的任务如果普遍失败，其后验难度可以上升。

最终模型用后验均值能力排序：

$$ s_p=\mathbb{E}[\theta_p\mid\mathcal{D}], $$

再线性映射到便于阅读的 Elo 风格分数：

$$ R_p=1500+\frac{400}{\ln 10}s_p. $$

这里 $R_p$ 只是对后验能力的仿射变换，不是按比赛顺序逐步更新的传统 Elo。它保留排序、不确定性和难度校准，但不会改变模型相对位置。论文还以 Bradley–Terry–Davidson 作为不显式建模任务难度的基线，检查 DCR 结论是否依赖某一种配对模型。

图 3（论文 Figure 3，对应下载文件 fig4）：SO-101、DROID/Franka 与 Bimanual-YAM 上的 DCR 点估计和 95% 可信区间，n 表示涉及各系统的评测次数。

方法详解四：统一服务层怎样让智能体与 VLA 公平执行

三个前沿智能体不是通过另一套机器人脚本参与评测，而是与 VLA 共用策略服务器。智能体每一步收到相机图像、本体状态和语言指令，只能调用一个动作工具；它可以给出绝对目标、声明完成或放弃。声明完成不会自动记为成功，最终仍由站点按任务卡判定。

服务端会检查关节限位、单步变化、动作块长度和推理截止时间。项目文件 rc-policy-server-h1/src/colosseum_policy_server/backends/auto.py 根据模型类型选择统一的 VLA 或智能体后端，同时把输入规范交给具体适配器。实际执行的客户端还会对两类模型的关节动作做相同的裁剪。

class AutoBackend:
    async def start_session(self, model, request):
        if self.active is not None:
            raise RuntimeError('Previous model session has not closed')
        shared = {key: value for key, value in self.options.items()
                  if key not in {'llm', 'vla'}}
        if (model.model_type == 'llm'
                or model.endpoint == 'inprocess://inspect-agent'):
            self.active = InspectAgentBackend(
                {**shared, **self.options.get('llm', {})})
        else:
            self.active = VLABackend(
                {**shared, **self.options.get('vla', {})})
        await self.active.start_session(model, request)

def create_backend(options):
    return AutoBackend(options)

SO-101 的适配层进一步说明“跨模型比较”并非只换权重。仓库中的 so101_vla.py 强制状态与动作都是六维 joint_position：五个关节位置加一个夹爪位置，顺序遵循 LeRobot 的 so101_follower。对旧版检查点，它按 LEGACY_SIGNS=[1,-1,1,1,1,1] 与 LEGACY_OFFSETS=[0,90,90,0,0,0] 执行“模型值 = 符号 × 当前值 + 偏移”，返回动作时再做逆变换。这是同一六维向量的坐标帧转换，不是七维到六维的降维；若符号或偏移漏掉，夹爪或某个关节就会在看似正常运行中被错位执行。

智能体每次调用都要经过云端往返，因此动作频率明显低于本地 VLA。论文没有在赛道内随意改变步数上限：一次试验最多八百个控制步，最多三十次模型调用，每次调用最多等待一百二十秒；这些限制在比较双方之间保持一致。执行失败和超时仍然占用试验预算，不能被当成“未开始”丢弃。

实验设置：41 天、124 站点与两条赛道的规模

论文的实测时间为 2026 年 9 月 17 日至 10 月 28 日，共 41 天。系统评测五种 VLA：GR00T N1.7、$\pi_{0.5}$、MolmoAct2、G0.5 和 LingBot-VLA v2；同时评测 GPT-6 Astra、Claude Opus 5.5 与 Grok 4.7 三个 API 智能体。

开放赛道收集 5,699 次成对比较，覆盖 124 个站点和四类本体。微调赛道包含每个本体五项任务、每任务一百条示范、每模型任务二十五次试验。需要注意，四类本体并不等于所有模型全量交叉：参与范围受检查点兼容性和硬件限制影响，这也是论文自述的覆盖边界。

评测维度	开放赛道	微调赛道
核心问题	零任务适配的野外泛化	固定示范预算后的快速适配
任务来源	站点自主提出并本地执行	每个本体五项预先定义任务
控制方式	同一成对比较内固定场景，任务跨比较变化	固定任务卡、成功条件、进度条件与评测流程
数据预算	不使用任务示范	每任务 100 条遥操作示范
试验规模	5,699 次成对比较	每模型任务 25 次，共 20 项任务
主指标	DCR 排名、配对进度、成功率、难度分层	归一化进度 PS 与成功率 SR

结果一：前沿智能体已经能与专用 VLA 竞争

最反直觉的结果来自开放赛道。三个通用智能体通过视觉观察、语言理解和工具调用控制机器人，没有任务微调，却在部分本体上取得与专用 VLA 相当的 DCR 分数。GPT-6 Astra 在 DROID/Franka 上取得最高点估计，Claude Opus 5.5 在 SO-101 和 Bimanual-YAM 上领先。

在九百零一次智能体与 VLA 的直接配对中，智能体进度更高三百九十四次，VLA 更高二百六十五次，双方相同二百四十二次。按配对差值取平均，智能体领先五点三个百分点。这个平均值不是所有智能体都为正：Claude Opus 5.5 平均领先十二点一个百分点，GPT-6 Astra 平均领先十一点零个百分点，而 Grok 4.7 平均落后七点五个百分点。

智能体与 VLA 的配对结果	数量或差值	解释
有效配对	901	每次比较都包含同一任务上的一个智能体与一个 VLA
智能体进度更高	394 次（43.7%）	不是所有模型，但总体略占优
VLA 进度更高	265 次（29.4%）	专用策略在部分任务上仍更强
双方打平	242 次（26.9%）	相同结果提供任务难度信息
平均智能体优势	+5.3 个百分点	按配对差值计算，而非两个总体胜率相减
Claude Opus 5.5	+12.1 个百分点	在混合样本中呈现明显正优势
GPT-6 Astra	+11.0 个百分点	同样显著优于配对 VLA 的平均进度
Grok 4.7	-7.5 个百分点	说明“前沿模型”不是单一能力类别

这组数字支持“通用推理与工具调用可以形成机器人策略”，但不能单独证明语言模型已经理解物理世界。智能体的控制频率更低，部分优势可能来自更谨慎的分步决策，也可能来自不同站点抽取到的任务组合。论文保留的是匹配内比较，因此总体均值仍应结合本体和任务分布阅读。

更值得注意的是绝对完成能力仍然很低。MolmoAct2 在六个操作类别中的相对比较分数最高，范围约 58% 到 77%；但它在各类别上的实际成功率只有 6% 到 13%，没有任何被评测系统在任何类别超过 13%。相对排名告诉我们在同场竞争中谁更强，绝对成功率告诉我们离可靠部署还有多远。

图 4（论文 Figure 5，对应下载文件 fig5）：六类操作任务上的相对比较分数、平均归一化进度与成功率热力图；相对优势没有转化为高绝对成功率。

结果二：难度上升同时压缩完成率与部分进展

论文按一到十级人工难度把开放赛道执行结果分层。完整成功率从一至四级的 30.7% 降到九至十级的 0.4%；归一化进度也从 56.6% 降到 3.5%。如果只看成功，人们可以把它解释成“最后一步比较难”；进度同时坍塌说明困难任务在早期阶段就已经阻止策略继续推进。

这个结果改变了失败分析的重点。困难任务并非只需补一个更好的末端控制器，而是可能在场景理解、目标定位、抓取、物体约束或双臂协调的早期环节就中断。只记录最终成败，会把“完全不知道从哪里开始”和“几乎完成但最后差一厘米”视为同一种失败，降低评测对研究进展的区分度。

人工难度	完整成功率	平均归一化进度	含义
1—4 级	30.7%	56.6%	虽然最易，仍只有约三成完整成功
9—10 级	0.4%	3.5%	失败发生在流程前段，而非仅差最终条件

结果三：微调后的领先者随本体改变

微调赛道呈现出强烈的任务与本体依赖。SO-101 上 GR00T N1.7 的平均进度和成功率最高，分别为 89.0% 与 82.4%；$\pi_{0.5}$ 排名第二，为 85.4% 与 77.6%。到了 DROID/Franka，$\pi_{0.5}$ 以 91.2% 进度和 84.0% 成功率领先，GR00T N1.7 则退到 56.4% 与 42.4%。

Bimanual-YAM 的差距更明显。$\pi_{0.5}$ 平均进度 97.2%、成功率 93.6%，五项任务中四项成功率在 96% 到 100%；G0.5 平均成功率为 75.2%，在抽屉与微波炉任务上达到 100%，但堆杯子只有 20%。同一个策略可以在某类铰接物体任务上很强，却在需要多物体组合与稳定放置的任务上明显退化。

G1 人形机器人提供了另一种边界。五种策略的平均成功率均为零，但平均进度从 G0.5 的 13.3% 到 LingBot-VLA v2 的 23.2%。这说明人形移动操作尚未被当前微调流程解决，同时说明不同模型对“接近任务目标”的能力仍可区分。若排行榜只显示成功率，这些差异会被全部压成零。

本体	GR00T N1.7 PS / SR	π0.5 PS / SR	MolmoAct2 PS / SR	G0.5 PS / SR	LingBot PS / SR
SO-101	89.0 / 82.4	85.4 / 77.6	71.8 / 59.2	58.8 / 40.0	55.2 / 36.8
DROID / Franka	56.4 / 42.4	91.2 / 84.0	78.2 / 54.4	44.8 / 16.0	59.4 / 40.8
Bimanual-YAM	52.6 / 20.0	97.2 / 93.6	72.1 / 49.6	89.1 / 75.2	48.3 / 30.4
G1 Humanoid	22.7 / 0.0	16.3 / 0.0	19.8 / 0.0	13.3 / 0.0	23.2 / 0.0

论文用每种本体的五项任务等权平均，避免把不同本体直接合成一个单一分数。表中粗体只标出对应本体均值最高者；它不表示该模型在所有任务都领先。完整的每任务结果还显示，LingBot-VLA v2 在 DROID 的 open_drawer 达到 100% 成功率，却在 marker_in_holder 为 0%；MolmoAct2 恰好相反，分别为 0% 和 88%。

图 5（论文 Figure 7，对应下载文件 fig6）：达到至少一定比例任务条件的试验百分比；曲线在 100% 条件处的终点就是完整成功率。

结果四：开放赛道排名不能预测微调表现

论文比较五个 VLA 在开放赛道与微调赛道上的相对顺序。两边的任务分布、起始检查点和排名指标不同，因此相关性低不能直接归因于“泛化”或“适配”单一因素。即便如此，排序反转的幅度仍然说明两者测量的是不同能力。

SO-101 上两条排名的 Spearman 相关为负 0.20，十个模型对中只保留四个相对顺序；DROID/Franka 为负 0.40，只保留三个；Bimanual-YAM 为 0.20，只保留六个。$\pi_{0.5}$ 在 DROID/Franka 的开放赛道 VLA 中排第五，微调后却排第一；G0.5 从开放赛道第二降到微调后第五。

跨本体结果同样不稳定。四个本体微调任务套件之间的 Kendall 一致性系数只有 0.24。$\pi_{0.5}$ 在 DROID 和 YAM 上第一，在 G1 上第四；GR00T N1.7 在 SO-101 上第一，在 DROID 与 YAM 上第四。一个模型在某台机器人上的领先不能直接外推到另一种形态。

共同赛道本体	Spearman ρ	十对中排序不变	观察
SO-101	-0.20	4 / 10	低且方向为负，存在明显反转
DROID / Franka	-0.40	3 / 10	开放强模型未必容易微调
Bimanual-YAM	0.20	6 / 10	略正，但不足以互相替代
四个微调本体	Kendall W = 0.24	—	跨本体排名一致性弱

结果五：主动匹配减少物理试验，但稳定性仍依赖规模

论文把站点随机分成两个互不重叠的集合，分别拟合 DCR，再比较两边模型对顺序。DROID/Franka 与 Bimanual-YAM 的平均模型对一致率约为 85%，平均 Spearman 相关约为 0.82；SO-101 只有 59% 与 0.30。站点分割结果说明分布式网络能够恢复相似排名，但可靠性并不均匀。

主动匹配相对均匀抽样节省了试验。它与完整数据排名的平均一致率达到约 90% 时只需四百到五百次评测，而均匀抽样要约一千次才达到相近水平。这一优势在预算有限时最大，随着预算增加两种策略都接近完整排名，差距自然缩小。

不过“节省”与“高置信稳定”不是同一件事。随机子集对完整数据排名达到平均 90% 一致，需要约 1,123 次评测；达到 95% 一致，需要约 4,755 次。均值达到目标并不意味着任意一次抽样都会稳定，置信区间仍显示不同子集可能产生明显不同的排序。

分析	结果	实际含义
DROID/YAM 站点分割	约 85% 配对一致，ρ≈0.82	不同站点子集可恢复较接近的排序
SO-101 站点分割	59% 配对一致，ρ=0.30	该本体排名更依赖具体站点组成
主动匹配达到约 90%	400—500 次评测	明显少于均匀抽样约 1,000 次
随机子集达到 90% 均值一致	1,123 次评测	预算必须结合目标置信度
随机子集达到 95% 均值一致	4,755 次评测	高稳定排行榜仍需要大量物理证据

代码层面的两个关键工程约束

第一，动作块不是任意长度数组。客户端会在提交动作前检查块形状、维度和数值有效性，策略服务器还会按本体动作空间截断并重新规划。论文中的“统一接口”因此包含两层保障：不兼容的动作在进入机器人之前被拒绝，合法动作也只能在硬件限制内执行。

第二，SO-101 的六维关节契约贯穿训练与执行。微调包在 so101_policy/server.py 中声明五个关节加一个夹爪的状态与动作，客户端按相同顺序发送；策略服务器适配器对旧检查点应用前述符号与偏移组成的坐标帧变换。这个细节解释了为什么“同一个模型换了评测站还能运行”本身就是一个需要验证的工程结果，而不是只靠 Docker 容器就能保证。

这两处工程对应也暴露出评测论文常见的隐性变量：推理服务版本、动作空间转换和超时策略可能比模型名称更能影响一次 trial。RoboColosseum 将控制和评分统一到一个服务层，至少让这些变量在比较双方之间可追踪。

论文贡献与证据之间的关系

论文的第一项贡献是基础设施：固定本体接口、站点协议、远程策略服务和分布式数据回流。第二项贡献是比较设计：开放赛道用匹配条件与盲测成对比较换取环境多样性，微调赛道用固定示范预算换取任务可控性。第三项贡献是统计方法：DCR 把任务难度和策略能力分开，主动匹配把稀缺试验分配给最有信息量的模型对。

第四项贡献是实证结论：前沿智能体可以与专用 VLA 竞争，但绝对可靠性仍低；微调结果高度依赖任务与本体；开放世界表现不能稳定预测适配结果；部分进度能够揭示成功率看不见的差异。这些结论互相约束，不能被简化成“智能体超过 VLA”或“某个模型取得通用第一”。

从证据强度看，5,699 次开放赛道比较足以支撑总体趋势和抽样稳定性分析，但它不是对任务总体的无偏概率抽样。站点主动提出本地任务，模型参与又受兼容性限制，因此绝对成功率和跨系统比较仍带有任务组合差异。论文对这一点有明确提示，并以匹配内配对和 DCR 难度校准降低偏差。

局限分析

作者自述的第一项局限是范围。当前研究是 RoboColosseum 的初始快照，不是所有机器人基础模型和部署环境的完备评测。不同模型家族与本体覆盖不齐，微调赛道每个本体只有五项任务。更多模型、任务、本体和站点可以沿用协议扩展，但现有结论不能自动外推到未参与的条件。

作者自述的第二项局限是微调配方未完全统一。论文固定示范和评估流程，却允许每个模型采用官方优化器、学习率与训练时长。这使它成为端到端工程适配的比较，而不是纯架构消融。官方配方是现实部署的一部分，但当两个模型差异很大时，无法判断性能变化来自表示、动作生成、优化预算还是实现成熟度。

作者自述的第三项局限是稳定性口径。开放赛道的稳定性分析是相对于当前完整数据得到的排行榜。随着新站点和新任务加入，完整排行榜本身会变化，因此“多少样本达到 90% 一致”不是永久常数，而是当前数据集范围内的统计结论。

独立判断的第一点是任务提出机制。允许站点定义任务提高生态效度，也让任务分布随参与者和硬件变化。某个模型的成功率可能受其被分配到的任务类别影响。虽然 DCR 控制难度，类别构成、物体分布和站点执行风格仍可能形成未显式建模的差异。

独立判断的第二点是智能体与 VLA 的系统边界。智能体通过工具调用、低频规划和服务器插值控制，VLA 直接输出动作块。两者共享安全限制，却拥有不同观察历史和调用成本。比较结果衡量了完整系统在协议中的表现，不能拆成语言推理与动作生成各自贡献多少。

独立判断的第三点是部分进度的可比性。进度条件在任务卡内归一化，但不同任务的 $K$ 与条件难度并不相同。对同一任务做模型比较较可靠，把不同任务的平均进度直接当成统一能力尺度则仍需谨慎。论文用等权任务平均与 DCR 缓解这类问题，却没有声称进度分数可跨所有任务完全同量纲。

总结与展望

RoboColosseum 的价值不只在于发布一张更大的排行榜，而在于把真实世界评测拆成可运营的系统：站点如何定义任务，双方如何在同一条件下执行，如何记录胜负和部分进度，如何用难度先验形成全局排名，以及如何把下一次昂贵试验分配给最不确定的模型对。

实验结果给出一个克制但清楚的判断：当前物理智能既不缺演示亮点，也远未达到开放世界可靠部署。专用 VLA、通用智能体和不同本体组合各有优势，没有单一赛道能概括全部能力。成功率低时，进度指标仍能保留研究进展；任务与本体改变时，排名反转提醒研究者和部署者不要把一个局部第一当成普遍结论。

下一步最值得观察的不是再增加一个总体平均分，而是继续扩展本体与任务的交叉覆盖，公开失败的初始状态和执行阶段，并把站点差异纳入不确定性分析。只有评测本身能够解释“为什么赢、在哪里输、下一次该测什么”，物理智能的规模扩展才不只是更多试验，而是更有信息量的试验。