FLORA：开放机器人数据引擎套件

方法详解

1. 输出契约：一条视频变成可复用监督

Flora 把时间戳字幕定义为公式 (1)：

$$\mathcal{A}(X)=\{(s_i,e_i,c_i)\}_{i=1}^{N},\qquad I_i=[s_i,e_i),\quad 0\le s_i < e_i \le T.$$

其中 X 是视频，T 是总时长，N 是事件数，I_i 是第 i 个半开区间，c_i 是该区间内的意图动作描述。这个定义把“时间定位”和“自然语言描述”固定在同一个元组里，后续预训练过滤、数据配比和语言条件策略训练都能直接消费。

图 6：从视频到可复用监督。重叠窗口先拼成事件区间，再交由字幕器加入上下文；同一个奖励器可给出稠密、结果或 rubric 标签。

整体流程可概括如下：

flowchart TB
    V[Raw robot video] --> M[Temporal segmenter 9B]
    M --> W[Overlapping windows
16s standard or 32s long horizon]
    W --> S[Stitch local intervals
at 20 Hz ticks]
    S --> C[Captioner 27B]
    C --> A[Timestamped captions
start, end, intended action]
    V --> R[Rewarder 27B]
    R --> D[Dense quality labels
failure, suboptimal, normal]
    R --> O[Outcome reward
score 1 to 5]
    R --> U[Test-time rubric reward]
    A --> P[Pretraining data filtering and rebalancing]
    D --> RL[RL post-training and failure analysis]
    O --> F[Fleet monitoring and policy evaluation]

2. 时间分割：中心发射、上下文守卫

分割器不直接处理整条长视频，而是把视频切成重叠窗口。标准窗口 16 秒：中间 12 秒是发射核心，两端各 2 秒是守卫；64 帧按 4Hz 采样。长时程机器人数据改用 32 秒窗口：24 秒核心加 4 秒守卫，128 帧按 4Hz 采样。局部时间戳以 20Hz 离散 tick 表示，并带左右继续标志。

$$\mathcal{F}_k=f_\theta(X_{W_k},q_k)=\{(u_{kj},v_{kj},\ell_{kj},r_{kj})\}_{j=1}^{n_k}.$$

公式 (12) 表示第 k 个窗口的输出：u 和 v 是窗口内局部起止，左旗标和右旗标说明动作是否延伸到边界。确定性过滤只保留与发射核心相交的片段，投影到回合时间后，再按时间重叠和继续标志拼接。这样同一个动作可以在多个窗口中留下证据，但不会被重复计成多个事件。

# tempseg/batch_utils/vendor/production_adapter/core/flora_runtime/video_segmentation/fine_temporal.py:108
HUMAN_FINE_WINDOW_PROFILE_ID: FineWindowProfile(
    left_guard_us=2000000,
    core_us=12000000,
    right_guard_us=2000000,
    slot_count=64,
    slot_fps=4,
)

代码中的配置与论文文字一一对应。核心加守卫的设计有两个作用：守卫区让模型看见动作的前后文；只从核心区发射片段，则避免相邻窗口对同一动作反复投票造成边界漂移。作者还保留 shifted windows 做边界细化，而不是用平滑器盲目平均端点。

3. 上下文字幕：定位归分割，语义归字幕器

得到事件区间后，字幕器只负责描述，不允许改边界。对目标区间 I_i，管线先取其前、后最近的非重叠事件作为上下文，然后调用公式 (2)：

$$c_i=g_\phi(X_i^-,X_i,X_i^+,q_{\mathrm{cap}}).$$

X_i 是目标帧，X_i^- 与 X_i^+ 是邻近事件帧，q_cap 是字幕提示。前后块帮助模型区分“拿的是哪一个物体”和“这一步处于哪个阶段”；但输出必须只描述目标区间，否则语义会越过时间边界。不可用上下文直接省略。

# captioner/batch_utils/vendor/pts_input_adapter.py:18
windows = [
    ('BEFORE', max(0, start_us - 2000000), start_us),
    ('TARGET', start_us, end_us),
    ('AFTER', end_us, min(duration_us, end_us + 2000000)),
]

实现把 BEFORE、TARGET、AFTER 三个角色显式写进输入。多相机情形不拼接整个回合，而是在每个采样时刻把主相机和腕部相机拼成固定布局的 mosaic；提示词声明相机角色，并要求跨视图写一条自洽动作描述。失败尝试也保留目标，但不写成已经成功。

4. 奖励器：同一个模型三种接口

Flora-Rewarder 是单个 27B 模型，靠提示词切换输出。结果奖励输出 1 到 5 分；稠密奖励输出 0.5 秒组的 1、2、3 级标签和异常段理由；rubric 奖励按用户给的任务步骤逐项给分。多相机输入仍走 mosaic，rubric 输入则把每路相机作为独立视频传入。

$$R_\rho(X)=\sum_{j=1}^{n}\hat y_j,\qquad \hat y_j\in V_j,\qquad \sum_{j=1}^{n}\max V_j=1.$$

公式 (3) 是 rubric 奖励的契约：第 j 步只能从允许分数集合 V_j 中取值，各步满分加总为 1。这样测试期奖励不是一句模糊评价，而是可检查的分步得分。人类评分也遵循同一格式，便于算 L1 误差。

结果奖励还可以读分数 token 的概率分布，得到连续值：

$$p_k=p_\psi(s=k\mid X,\ell,q_{\mathrm{out}}),\qquad \mathbb{E}[s]=\sum_{k=1}^{5}k\,p_k,\qquad \hat y=\frac{\mathbb{E}[s]-1}{4}\in[0,1].$$

公式 (19) 把 1 到 5 的离散分数归一化到 0 到 1。排序轨迹时用期望值，而不是只取 argmax。这让部分完成任务也能得到中间奖励，也是 Flora 在 RoboRewardBench 上优于 Astra 的关键场景。

5. 稠密奖励：回顾式标注与边缘裁剪

稠密奖励窗口是 16 秒、64 帧、4Hz，但视觉编码器把相邻两帧合成 0.5 秒组，所以一个窗口输出 32 个组。每个组只取 1 到 3 级；非正常段还要给出理由。模型被迫先声明窗口最坏等级，再输出 32 个组标签，二者不一致的解析结果会被拒绝。

窗口每 10 秒前进一次，最后的 4 秒在非末尾窗口中被裁掉。原因很直接：组标签是回顾式的，如果某个动作是否失败要靠后续画面确认，就不应该在没有后文的位置强行给标签。代码把这组常量写得很清楚：

# rewarder/batch_utils/core.py:412
DENSE_FRAMES = 64
DENSE_FPS = 4.0
DENSE_GROUPS = 32
DENSE_STRIDE_S = 10.0
DENSE_TAIL_TRIM_S = 4.0
LABELS = {1: "failure", 2: "suboptimal", 3: "normal"}

重叠窗口的标签拼接不是简单平均。公式 (22) 对每个时间点按“最近保留组、离窗口边缘最远的组、更早窗口、组号”做字典序最小化，选出唯一来源。重复、冲突和末端重复帧由此得到确定性解决。

$$(k^{\star},g^{\star})=\operatorname*{lexmin}_{(k,g)\in\mathcal{C}}\left(\min_{\tau\in\tau_{k,g}}\lvert t-\tau\rvert,\;-\min(g-1,\,32-g),\;k,\;g\right),\qquad a_t=a_{k^{\star},g^{\star}}.$$

6. 训练：从监督到可验证强化学习

三个模型都用输出 token 的交叉熵做监督微调：

$$\mathcal{L}_\eta(\mathcal{B})=-\frac{\sum_{(x,y)\in\mathcal{B}}\sum_{t=1}^{|y|}\log p_\eta(y_t\mid x,y_{<t})}{\sum_{(x,y)\in\mathcal{B}}|y|},\qquad \eta\in\{\theta,\phi,\psi\}.$$

分割器只更新 rank-32 LoRA，视觉编码器冻结；字幕器更新语言模型和视觉 merger；奖励器更新语言模型、视觉 merger 和视觉编码器，但视觉编码器使用更低学习率。这反映出三个任务对视觉表征的依赖强度不同：分割最怕视觉漂移，奖励需要在机器人画面上学到失败语义。

分割器的 GRPO 奖励是公式 (16)：

$$r_{\mathrm{seg}}=0.45F_{0.5}+0.15F_{0.75}+0.25P_{0.5}+0.15B.$$

F 是 tIoU 阈值下的 F1，P 是精度，B 综合端点误差与继续标志准确性。低阈值 F1 权重最大，高阈值 F1 惩罚边界粗糙；精度防止模型靠大量碎片段刷召回；B 让边界和是否延续动作都进入可验证信号。

字幕器的 GRPO 奖励是公式 (17)：

$$r_{\mathrm{cap}}=\frac{2M}{R+M+F}.$$

R 是参考要求的支持质量，M 是被正确覆盖的质量，F 是事实错误惩罚。它不是粗略 BLEU，而是要求模型写出有视觉证据支持的动作、物体、操作者协调和空间关系；一个错误只按语义族惩罚一次，避免反复解释同一错误导致分数过度下降。

奖励器使用 SFT 共训三种任务，不重加权，也不过采样。rubric 示例走 thinking 输出，结果和稠密示例直接给结构化答案。这个选择与发布版本一致：Flora-Rewarder 的公开结果没有叠加 RL。