SPARK-VLN：流式潜空间动态视觉语言导航

论文元信息

标题：Token-Wise Latent Streaming from Slow Reasoners to Fast Planners for Dynamic Vision Language Navigation（SPARK-VLN）

作者：Tianshuai Hu、Yangyi Zhong、Zeying Gong、Lingdong Kong、Xiaodong Mei、Guoyang Zhao、Xiaolu Liu、Song Wang、Rong Li、Junwei Liang（通讯作者）；机构为香港科技大学（广州）、香港科技大学与浙江大学。

链接：arXiv:2607.16806（https://arxiv.org/abs/2607.16806 ，v1，2026 年 7 月 18 日）；项目主页 https://hutslib.github.io/SPARK-VLN/

代码与数据状态：截至本次精读，项目主页的 Code 按钮仍是指向 # 的占位符，作者 GitHub 账号下没有 SPARK-VLN 仓库，论文正文也未给出代码或基准的下载地址。方法实现细节（抽取层区间 16–23、槽数 N=8、5 步欧拉积分、RTX 4090 单卡延迟）在论文中写得足够具体，可据此复现，但官方代码与动态社交 VLN 基准尚未开放。

图1：三种执行范式的时间结构。(a) 单系统「先推理后行动」：VLM 必须推理完才吐动作，期间智能体空转而环境继续演化；(b) 双系统「阻塞更新」：专家规划器持续行动，但只在 VLM 推理结束后收到一次条件信号（黄色箭头），语义指导已经过期；(c) SPARK-VLN「token 流式」：隐状态在生成过程中持续流向规划器（蓝色箭头），语义指导逐步细化。

一句话总结

SPARK-VLN 把双系统导航里「等慢推理器说完再告诉快规划器」改成「边说边传」：冻结的 VILA-8B 每生成一个 token 就把第 16–23 层的隐状态交给一条 Perceiver 式交叉注意力桥，压成 8 个固定潜槽实时驱动整流流匹配规划器，单次更新延迟从 0.788 s 降到 0.185 s，动态社交 VLN 成功率在理想/真实两阶段分别达到 41.60% 与 34.80%。

研究背景与动机

把语言指令跟随放进有人行走的室内空间，第一个撞上的不是语义难题而是时间难题。多模态大模型的推理天然是慢的：7B–8B 的骨干要为一段指令做视觉编码、再自回归地生成一串答案 token，这个过程在消费级 GPU 上也要数百毫秒量级。而行人不会等。论文把由此产生的感知—动作错位命名为观测陈旧（observation staleness）：动作是从一个世界早已跑过的观测里算出来的，于是推理开始时社交上得体的一步，执行时可能已经变成对个人空间的侵犯，甚至一次碰撞。在动态、以人为中心的环境里，这个错位是安全攸关的，而不只是一个效率指标。

现有三条技术路线都没有正面解决它。「先推理后行动」的单系统（NaVid、Uni-NaVid、NaVILA）干脆忽略延迟，在两次动作之间停顿，把整段环境演化让给行人。实时分块执行（RTC 一类异步流水线）让推理与执行重叠，动作连续性保住了，语义新鲜度没保住：每一个 chunk 仍然锚定在一轮长推理开始时的那帧观测上。双系统设计（DualVLN、StreamVLN 一类）把慢推理器与快策略解耦、各自跑不同频率，恢复了反应性，但两者之间仍然只在完整推理链结束时通信一次——指导信号被扣到推理完成，而它落地时依据的场景已经变了。

作者的关键观察是：自回归推理是增量的。远在 VLM 把答案说完之前，它中间 token 的隐状态里就已经编码了方向意图、行人上下文这类与动作直接相关的线索。瓶颈不在推理过程本身，而在推理结果的交付方式——可用的知识是逐 token 涌现的，交付却是一次性的。把交付也改成逐 token，慢系统的推理价值就能在推理窗口内持续兑现，而不是在窗口结束后打一个已经过期的折扣。

第二个动机来自评测本身，而且更隐蔽。主流 VLN 基准（R2R、RxR、VLN-CE）是静态且同步的：仿真器在模型思考时冻结，只在动作吐出后才前进。于是推理延迟根本不进入因果链，观测陈旧既不被惩罚也不被测量——在真实动态场景里会失败的方法，在这种协议下与不会失败的方法看起来一模一样。这不是某个基线的实现问题，而是协议层面的系统性盲区：阻塞式仿真把双系统设计最需要被考核的那个维度直接屏蔽掉了。

论文因此同时交付两样东西。方法侧是 SPARK-VLN（Streams Progressively Aggregated latent Reasoning Knowledge），把「抽取—投影—注入」这条流水线整体重写成 token 级流式过程，由三个耦合模块实现。评测侧是一套异步的、以人为中心的动态社交 VLN 基准：行人在模型推理期间持续移动，目标驱动的行人之间用 ORCA 相互避让，指标同时覆盖任务完成度、社交合规度与显式的陈旧度统计。两件事是配套的——没有后者，前者的收益在既有协议下几乎不可见。

图2：SPARK-VLN 框架总览。上层是 VLM 骨干处理第一视角 RGB 与指令 token，Token-Wise Hidden Streamer 在自回归生成过程中从指定层抽隐状态，形成不断增长的流；中层是 Sequence-to-Slot Latent Bridge，加层/时间位置编码、投影到规划器嵌入空间、用可学习查询交叉注意力压成固定尺寸潜槽；底层是专家规划器融合观测与潜槽嵌入，用整流流匹配生成候选轨迹并由安全评价器选择动作。VLM 继续生成，潜槽就重算，规划器就重规划。

预备知识

双系统 VLN 的形式化。给定自然语言指令 $\mathcal{I}$，智能体要走到目标区域 $\mathcal{G}(\mathcal{I})$。每个离散时刻 $t$ 收到第一视角观测与位姿

$$x_{t}=(o_{t},\,p_{t}),\qquad o_{t}=(I_{t}^{\mathrm{rgb}},\,I_{t}^{\mathrm{depth}})$$

策略 $\pi$ 把指令与观测历史映射成导航命令 $\mathbf{u}_{t}=\pi(\mathcal{I},\,x_{\leq t})$，优化目标是标准 VLN 目标 $\pi^{\star}=\arg\max_{\pi}\mathbb{E}\bigl[M(\Gamma_{\pi},\,\mathcal{G}(\mathcal{I}))\bigr]$，其中 $M$ 聚合成功率、SPL 等指标。双系统把策略拆成慢推理器 $f_{\mathrm{vlm}}$ 与快专家规划器 $f_{\mathrm{plan}}$：

$$f_{\mathrm{vlm}}\!\bigl(\mathcal{I},\,x_{t'}\bigr)\mapsto\mathbf{z}_{t'},\qquad \mathbf{c}_{t}=\phi(\mathbf{z}_{t'}),\qquad f_{\mathrm{plan}}\!\bigl(x_{t},\,\mathbf{c}_{t}\bigr)\mapsto\mathbf{u}_{t}$$

这里 $t'$ 是 VLM 开始推理的时刻，$\mathbf{z}_{t'}$ 是从 VLM 抽出的语义推理状态，$\phi$ 把它投影成规划器可用的条件信号 $\mathbf{c}_{t}$。传统设计的问题就写在这组符号里：规划器在时刻 $t$ 拿到的 $\mathbf{c}_{t}$ 来自更早的观测 $x_{t'}$，滞后量是 $t-t'$，而且只有在 VLM 完整推理结束后才拿得到。SPARK-VLN 改写的是 $\phi$：把它换成流式版本 $\phi_{\mathrm{stream}}$，让条件信号取自到目前为止已经生成出来的那部分 token：

$$\mathbf{c}_{t}=\phi_{\mathrm{stream}}\bigl(\mathbf{H}_{t'}^{(1:k_{t})}\bigr),\qquad \mathbf{u}_{t}=f_{\mathrm{plan}}(x_{t},\,\mathbf{c}_{t})$$

其中 $k_{t}$ 是到时刻 $t$ 为止 VLM 已经吐出的最新 token 序号（$k_{t}\leq K$，$K$ 是总 token 数）。规划器因此收到的是逐步细化的语义指导，而不是在整个推理周期里一直瞎着。

整流流匹配（rectified flow matching）。快规划器需要的是一个能少步采样、又保留多模态的连续轨迹生成器。论文沿用 $\pi_{0}$ 一类流式 VLA 的做法而非扩散式做法：在噪声轨迹与专家轨迹之间定义线性插值路径，网络回归这条路径的常速度，部署时用几步欧拉积分就能解码。相比扩散的多步去噪，直线路径带来的少步积分正是实时性的来源，也是这套设计能与流式条件信号配合的前提——条件每变一次就要重规划一次，采样步数必须便宜。

方法详解

图3：SPARK-VLN 的完整数据流。慢推理器接收语言指令与最近 8 帧第一视角 RGB，在自回归生成答案（如 "The next action is move forward 75 cm."）的过程中，Token-Wise Hidden Streamer 抽出中间层隐状态，Sequence-to-Slot Latent Bridge 把不断增长的隐流压成 N=8 个固定潜槽流给规划器；快专家规划器以当前第一视角 RGB-D 与流式潜槽为条件，用整流流匹配生成多条候选轨迹，由 ESDF 监督的安全评价器打分并选出执行轨迹。

整体结构。SPARK-VLN 是一个慢 VLM 推理器与快专家规划器并发运行的双系统框架，两者由一条 token 级流式知识传输管道连接。每个时刻机器人拿到第一视角 RGB-D 观测与自然语言指令，VLM 推理器（VILA-8B，参数冻结）处理视觉输入与指令并开始自回归生成；Streamer 在生成过程中抽出中间隐状态 $\mathbf{h}_{\mathcal{L}}^{(k)}$，得到一段不断增长的前缀；Latent Bridge 把这段变长、高维的前缀投影成一组固定的紧凑潜槽，落在规划器的条件空间里；Evolving Latent Conditioner 把这些槽注入整流流匹配规划器，规划器输出连续轨迹。VLM 继续生成 → 前缀变长 → 潜槽重算 → 规划器重规划，这个循环在一次推理内部反复发生。

模块一：Token-Wise Hidden Streamer。给定多模态输入 $\mathbf{x}_{t'}$，VLM 骨干自回归生成 $K$ 个 token。在第 $k\in\{1,\dots,K\}$ 个解码步，第 $l$ 层 Transformer 的隐状态由历史上下文决定：

$$\mathbf{h}_{l}^{(k)}=\mathbf{F}\bigl(\mathbf{x}_{t'}\mid l,k,\theta\bigr)\in\mathbb{R}^{D}$$

$D$ 是 VLM 隐维度，$\theta$ 是冻结的 VLM 参数，$\mathbf{F}(\cdot\mid l,k,\theta)$ 表示在第 $l$ 层、第 $k$ 个解码步抽特征。标准框架会阻塞下游执行直到 $K$ 个 token 全部生成完，Streamer 的做法是在生成途中就把这些内部表示取出来。具体地，指定一个解码层子集 $\mathcal{L}=\{l_{1},\dots,l_{L}\}$（实现中取第 16–23 层，共 8 层），对第 $k$ 个 token 把 $\mathcal{L}$ 内所有层的隐状态堆成逐 token 多层表示：

$$\mathbf{h}_{\mathcal{L}}^{(k)}=\bigl[\mathbf{h}_{l_{1}}^{(k)};\,\mathbf{h}_{l_{2}}^{(k)};\,\dots;\,\mathbf{h}_{l_{L}}^{(k)}\bigr]\in\mathbb{R}^{L\times D}$$

解码推进到时刻 $t$ 时已吐出 $k_{t}$ 个 token，可供下游使用的累积隐流就是

$$\mathbf{H}_{t'}^{(k_{t})}=\bigl[\mathbf{h}_{\mathcal{L}}^{(1)},\,\mathbf{h}_{\mathcal{L}}^{(2)},\,\dots,\,\mathbf{h}_{\mathcal{L}}^{(k_{t})}\bigr]\in\mathbb{R}^{L\times k_{t}\times D}$$

这个张量的两个维度都在动：$k_{t}$ 随生成增长，$D$ 是 8B 模型的高维隐空间。选中间层而非最后一层是有意的——最后一层已经被训练目标推向词表分布，中间层保留了更多与视觉场景、方向意图纠缠的表示；论文没有对层区间做消融，这一点后面在局限性里再提。

模块二：Sequence-to-Slot Latent Bridge。下游规划器要求固定尺寸、较低维度的输入，而 $\mathbf{H}_{t'}^{(k_{t})}$ 是变长高维的，这个模块承担跨模态翻译。原始隐流里没有关于「来自哪一层、来自第几个生成步」的结构标记，所以先给每个元素加上分解式的时空位置编码：

$$\mathbf{m}_{l,k}=\mathbf{h}_{l}^{(k)}+\mathbf{e}_{\mathrm{layer}}(l)+\mathbf{e}_{\mathrm{time}}(k)$$

$\mathbf{e}_{\mathrm{layer}}(l),\mathbf{e}_{\mathrm{time}}(k)\in\mathbb{R}^{D}$ 是层索引与解码步的可学习位置编码。加完之后展平成统一记忆张量 $\mathbf{M}_{t'}^{(k_{t})}\in\mathbb{R}^{(L\cdot k_{t})\times D}$。接着用可学习投影矩阵 $\mathbf{W}_{p}\in\mathbb{R}^{D\times d}$ 把高维记忆压到规划器的低维空间：

$$\widetilde{\mathbf{M}}_{t'}^{(k_{t})}=\mathbf{M}_{t'}^{(k_{t})}\mathbf{W}_{p}\in\mathbb{R}^{(L\cdot k_{t})\times d}$$

压缩到固定容量这一步用 Perceiver 式的交叉注意力瓶颈：实例化 $N$ 个可学习查询向量 $\mathbf{Q}=[\mathbf{q}_{1},\dots,\mathbf{q}_{N}]^{\top}\in\mathbb{R}^{N\times d}$ 作为潜槽，第 $i$ 个槽的更新是

$$\mathbf{z}_{i}=\mathbf{q}_{i}+\operatorname{CrossAttn}\bigl(\mathbf{q}_{i},\,\widetilde{\mathbf{M}}_{t'}^{(k_{t})}\bigr)$$

之后接一个标准前馈网络得到最终槽向量，堆叠成固定尺寸的条件矩阵

$$\mathbf{R}_{t}=\bigl[\mathbf{z}_{1},\,\mathbf{z}_{2},\,\dots,\,\mathbf{z}_{N}\bigr]^{\top}\in\mathbb{R}^{N\times d}$$

实现中 $N=8$。这个设计的要点在于把规划器的输入尺寸与 VLM 的输出长度解耦：无论 VLM 已经生成了 3 个还是 30 个 token，规划器看到的永远是 $8\times d$。相比把所有 token 全局平均池化成一个向量，交叉注意力保留了 token 级粒度，让每个槽自己去时空记忆里挑选相关片段——消融实验显示这一选择值 9.60 个百分点成功率。

模块三：Evolving Latent Conditioner 与专家规划器。反应式导航被建模成从条件生成器里采样一条含 $H$ 个路点的未来轨迹 $\tau\in\mathbb{R}^{H\times3}$：

$$\tau_{1}=G_{\psi}\bigl(\tau_{0},\,\mathbf{c}_{t}\bigr),\qquad \tau_{0}\sim\mathcal{N}(0,\mathbf{I})$$

$\tau_{1}$ 是生成的轨迹，噪声实现 $\tau_{0}$ 保留了密集社交空间里多条可行路径的多模态性。规划器的条件矩阵统一写成 $\mathbf{c}_{t}=[\mathbf{z}_{\mathrm{obs}};\,\mathbf{z}_{\mathrm{g}}^{(m)}]$，把第一视角空间 token $\mathbf{z}_{\mathrm{obs}}$ 与一个随任务模态 $m$ 变化的目标 token 配对：

$$\mathbf{z}_{\mathrm{g}}^{(m)}=\begin{cases}\varnothing,&m=\text{no-goal}\\[2pt] \mathbf{W}_{g}\,g,&m=\text{point-goal}\\[2pt] \mathbf{R}_{t},&m=\text{language-goal}\end{cases}$$

这个统一形式是整套框架能「先学导航、再学语言导航」的关键：规划器先在大量点目标导航数据上学到基础导航策略与避障能力（对应 point-goal 分支），迁移到 VLN 时只需把流式槽 $\mathbf{R}_{t}$ 插进同一个位置（language-goal 分支），而 $\mathbf{R}_{t}$ 会随生成推进动态重算，使条件上下文在单次 VLM 推理内部平滑演化。评测时规划器不给任何目标坐标（置零），完全由语言指令经流式潜槽驱动。

生成器 $G_{\psi}$ 用条件整流流匹配参数化。在流时间 $s\in[0,1]$ 上定义噪声与专家轨迹之间的线性插值

$$\tau_{s}=(1-s)\,\tau_{0}+s\,\tau_{1}$$

其理论目标速度 $\tau_{1}-\tau_{0}$ 在整个 $s$ 上保持不变，基于 Transformer 的速度场网络 $v_{\psi}$ 通过最小化经验整流损失来回归它：

$$\mathcal{L}_{\mathrm{RF}}=\mathbb{E}_{s\sim\mathcal{U}[0,1],\,\tau_{0},\,\tau_{1}}\Bigl[\bigl\|v_{\psi}(s,\,\tau_{s},\,\mathbf{c}_{t})-(\tau_{1}-\tau_{0})\bigr\|^{2}\Bigr]$$

直线传输路径允许精确的少步积分。部署时每条候选用 $J$ 步欧拉积分解码（实现中 $J=5$），且始终使用最新的 $\mathbf{c}_{t}$：

$$\tau^{(j+1)}=\tau^{(j)}+\tfrac{1}{J}\,v_{\psi}\Bigl(\tfrac{j}{J},\,\tau^{(j)},\,\mathbf{c}_{t}\Bigr)$$

采样多个噪声实现得到 $N_{c}$ 条候选轨迹 $\{\tau^{[n]}\}_{n=1}^{N_{c}}$，再由一个目标无关的安全评价器选出执行的那条：

$$\tau^{*}=\arg\max_{\tau^{[n]}}C_{\omega}\bigl(\tau^{[n]},\,\mathbf{z}_{\mathrm{obs}}\bigr)$$

$C_{\omega}$ 由欧几里得符号距离场（ESDF）监督，只评价碰撞自由性与运动学平滑性，不看目标是否达成。这是又一处职责分离：反应式安全过滤与高层意图生成彻底解耦，安全评价器不需要理解语言，语言指导也不需要操心碰撞——两者只在候选选择这一步相遇。

flowchart TD
  A["语言指令 + 最近 8 帧第一视角 RGB"] --> B["慢推理器 VILA-8B 冻结"]
  B --> C["Token-Wise Hidden Streamer
抽取第 16-23 层逐 token 隐状态
累积流 H 形状 L x k_t x D"]
  C --> D["加层位置编码与时间位置编码"]
  D --> E["投影 W_p 从 D 维降到 d 维"]
  E --> F["N=8 可学习查询交叉注意力
压成固定潜槽 R_t 形状 8 x d"]
  G["当前第一视角 RGB-D"] --> H["观测 token z_obs"]
  F --> I["Evolving Latent Conditioner
目标 token 三选一 无目标 或 点目标 或 R_t"]
  H --> I
  I --> J["整流流匹配规划器
5 步欧拉积分 生成 N_c 条候选轨迹"]
  J --> K["目标无关安全评价器
ESDF 监督 只看碰撞自由与平滑"]
  K --> L["执行轨迹 tau*"]
  L --> G
  C -. "VLM 仍在生成 token 前缀变长" .-> F
  F -. "潜槽重算 触发重规划" .-> J

图4：SPARK-VLN 的流式闭环。虚线是本文与阻塞式双系统的本质差别——VLM 每多生成一个 token，隐流前缀就变长一次，潜槽就重算一次，规划器就重规划一次，而不必等到生成结束。

实验结果

图5：基准总览。(a) 覆盖卧室、办公室、大厅、走廊等室内场景与正面对向、路口交汇、跟随、拐角四类人机会遇模式，绿色为机器人路径、红色为行人路径，同一场景支持 PointNav 与 VLN 两种任务、理想与真实两种评测模式；(b) 指令词云按语义角色着色（动作、方向、地点、物体）；(c) 空间统计：起点到目标的测地距离中位数 8.2 m，单个行人的巡逻路径长度中位数 17.4 m，说明行人轨迹足够长、会反复与智能体路线相交。

基准设计。两阶段是这套基准的核心。理想动态环境里行人按 ORCA 移动，但仿真器在每步推理时暂停，智能体永远作用于新鲜观测，这是无延迟设定；真实动态环境里仿真器持续运行，行人在模型计算时继续前进，推理延迟直接进入结果。两阶段对照量化的就是各方法对观测陈旧的鲁棒性。行人密度按场景面积缩放以避免人为拥挤，指令词表覆盖动作、方向、地点、物体四种语义角色。指标分三组：任务完成（SR、NE、SPL）、社交交互（PSC 个人空间合规率、Col 行人碰撞率、AvgD 到最近行人的平均距离），以及推理速度统计。

VLN 主结果。理想动态环境下 SPARK-VLN 取得最高 SR 41.60% 与 SPL 34.67%，同时 PSC 96.2% 最好、NE 5.95 m 最低；比最强单系统基线 NaVILA 的 SR 高 4.4 个点，比双系统基线 DualVLN 高 15.4 个点。切到真实动态环境后所有方法都退化，证实观测陈旧是真问题；其中较重的推理器受损最重，视频类 VLM 如 NaVid 丢掉了近三分之一的 SR。SPARK-VLN 只掉了约六分之一，仍以 34.80% SR、28.68% SPL 领先，并在社交指标上全面最好：PSC 93.9%、碰撞率 29.3%（最低）、AvgD 5.13 m（最高）。

方法	类型 / 骨干	阶段	SR ↑	NE ↓	SPL ↑	PSC ↑	Col ↓	AvgD ↑
Seq2Seq	单系统 / 无 MLLM	理想	17.60	8.32	16.61	94.4	17.3	4.28
CMA	单系统 / 无 MLLM	理想	26.00	7.27	24.25	94.2	13.8	4.26
NaVid	单系统 / LLaMA-VID 7B	理想	36.40	5.96	31.19	96.1	11.8	4.25
Uni-NaVid	单系统 / LLaMA-VID 7B	理想	36.00	5.98	31.97	94.5	21.6	4.15
NaVILA	单系统 / VILA 8B	理想	37.20	5.99	34.47	93.6	25.4	4.31
DualVLN	双系统 / Qwen-VL-2.5 7B	理想	26.20	5.96	24.33	93.3	42.0	4.43
SPARK-VLN	双系统流式 / VILA 8B	理想	41.60	5.95	34.67	96.2	24.8	4.45
NaVid	单系统 / LLaMA-VID 7B	真实	25.40	6.24	22.35	93.2	32.1	4.24
Uni-NaVid	单系统 / LLaMA-VID 7B	真实	30.20	6.23	26.93	92.9	34.6	4.10
NaVILA	单系统 / VILA 8B	真实	29.00	6.22	26.63	92.5	39.3	4.32
DualVLN	双系统 / Qwen-VL-2.5 7B	真实	22.90	6.23	21.23	92.6	46.6	4.66
SPARK-VLN	双系统流式 / VILA 8B	真实	34.80	6.21	28.68	93.9	29.3	5.13

表1：动态社交 VLN 基准上的 VLN 评测（论文 TABLE I）。理想环境＝有行人但推理时暂停仿真；真实环境＝仿真持续运行、行人在推理期间前进。加粗为该行所在阶段的最优值。注意理想阶段 SPARK-VLN 的碰撞率 24.8 略高于 NaVid 的 11.8——它在无延迟设定下并不比轻量单系统更保守，优势主要来自真实阶段。

点目标社交导航。作者把 PointNav 预训练的快规划器（Ours-S1）单独拎出来评，验证流式语言指导之下那个底座本身够不够硬。理想环境下 Ours-S1 取得学习类方法中最高的 SR 70.7% 与 SPL 70.1%，比 NavDP 高 9.6 与 9.9 个点；社交合规同样最好，碰撞率降到 5.9%，接近 NavDP（9.8%）的一半。真实环境下所有方法退化，Ours-S1 仍以 61.2% SR / 60.8% SPL 领先 NavDP 的 53.2% / 52.6%。一个值得注意的对照：拥有特权环境网格与网格参考路径的 oracle PathFollower 从 60.0% 掉到 56.7%，而学习类规划器在两个环境下都超过了它。

方法	类别	阶段	SR ↑	SPL ↑	PSC ↑	Col ↓	AvgD ↑
PathFollower	规则 / oracle 网格路径	理想	60.0	55.9	93.6	33.9	4.05
ORCA	规则 / oracle 网格路径	理想	33.2	32.9	96.2	16.4	4.08
iPlanner	学习类	理想	49.1	49.1	96.7	10.7	4.53
NavDP	学习类 / 扩散	理想	61.1	60.2	97.1	9.8	4.54
Ours-S1	学习类 / 流匹配	理想	70.7	70.1	97.2	5.9	4.55
PathFollower	规则 / oracle	真实	56.7	52.8	93.0	37.6	4.05
ORCA	规则 / oracle	真实	30.0	29.7	95.4	21.5	4.11
iPlanner	学习类	真实	43.8	43.8	95.6	20.9	4.64
NavDP	学习类 / 扩散	真实	53.2	52.6	95.5	21.9	4.60
Ours-S1	学习类 / 流匹配	真实	61.2	60.8	95.8	17.5	4.63

表2：点目标社交导航评测（论文 TABLE II）。oracle 方法使用特权环境网格与网格导出的参考路径，不是直接竞争者。

消融一：知识传输策略。Wait-then-Act（W-t-A）阻塞规划器直到 VLM 生成完整输出，再在每个慢周期注入一次条件信号，这正是传统双系统的做法；Stream 则通过 Streamer 与 Latent Bridge 持续更新条件。两者共享同一个慢推理器与同一个快规划器，唯一差别是传输机制。在真实动态环境（延迟真正起作用的那个设定）上，Stream 把 SR 从 24.80% 提到 34.80%（+10.00），SPL 从 21.64% 提到 28.68%（+7.04），NE 从 7.45 m 降到 6.21 m；社交指标同向改善，PSC 升到 93.9%、碰撞率降到 29.3%、AvgD 升到 5.13 m。这是一次干净的单变量对照：增益只能来自「何时交付指导」，而不是模型容量或训练数据。

消融二：桥的聚合方式。Mean-Pool 把所有流式 token 全局平均成单个向量，丢掉 token 级粒度；Cross-Attn 让 $N=8$ 个可学习查询去注意投影后的隐流，自适应地把最有信息量的特征路由进固定潜槽。同样在真实环境，Cross-Attn 把 SR 从 25.20% 提到 34.80%（+9.60）、SPL 从 21.17% 提到 28.68%（+7.51）、NE 从 7.36 m 降到 6.21 m，社交指标全部改善，其中碰撞率从 36.5% 大幅降到 29.3%（−7.2 个点，是两组消融里最大的单项改善）。碰撞率对聚合方式如此敏感，说明被平均池化抹掉的恰恰是「哪个行人在哪个方向」这类局部化信息。

消融维度	对照	SR ↑	NE ↓	SPL ↑	PSC ↑	Col ↓	AvgD ↑
知识传输策略	W-t-A（阻塞）	24.80	7.45	21.64	90.9	29.7	4.97
	Stream（本文）	34.80	6.21	28.68	93.9	29.3	5.13
	Δ	+10.00	−1.24	+7.04	+3.0	−0.4	+0.16
桥的聚合方式	Mean-Pool	25.20	7.36	21.17	92.7	36.5	5.05
	Cross-Attn（本文）	34.80	6.21	28.68	93.9	29.3	5.13
	Δ	+9.60	−1.15	+7.51	+1.2	−7.2	+0.08

表3：两组消融（论文 TABLE III 与 TABLE IV 合并），均在真实动态环境上测得。

运行时与陈旧度剖面。这是把机制与结果连起来的一张表：单卡 RTX 4090、batch size = 1，报告一次前向（观测 → 动作）的墙钟延迟 Lat. 与该时间窗内行人的位移 Disp.，各给平均与最坏值。因为流式从第一个 token 就暴露可用指导，SPARK-VLN（Stream）把平均单次更新延迟从 0.788 s（W-t-A）压到 0.185 s，是所有基于 VLM 的方法里最快的，甚至比参数量相近的 NaVILA（0.603 s）、DualVLN（0.637 s）与视频类 NaVid（0.741 s）低一个量级；Uni-NaVid 的 0.193 s 与之相当。延迟直接换算成陈旧度：一次推理期间行人平均位移从 0.213 m 降到 0.050 m，最坏情况从 0.893 m 降到 0.694 m。0.050 m 大致是半步之内，而 NaVILA 的 0.483 m 已经接近一次完整的跨步——在正面对向或路口交汇的场景里，这个差别就是「让得开」与「撞上去」的差别。

方法	骨干 / 参数	Lat. Avg ↓ (s)	Lat. Max ↓ (s)	Disp. Avg ↓ (m)	Disp. Max ↓ (m)
NaVid	LLaMA-VID / 7B	0.741	2.864	0.394	1.864
Uni-NaVid	LLaMA-VID / 7B	0.193	0.795	0.202	0.773
NaVILA	VILA / 8B	0.603	1.140	0.483	1.514
DualVLN	Qwen-VL-2.5 / 7B	0.637	2.427	0.269	2.801
SPARK-VLN (W-t-A)	VILA / 8B	0.788	1.325	0.213	0.893
SPARK-VLN (Stream)	VILA / 8B	0.185	1.030	0.050	0.694

表4：真实动态环境下的运行时剖面（论文 TABLE V），单卡 RTX 4090、batch size = 1。同一套骨干（VILA-8B）只换传输机制，延迟就从 0.788 s 降到 0.185 s——这 4.3 倍加速不是模型压缩换来的，是把「等生成结束」改成了「用已生成的部分」。

图6：跨任务、跨动态环境的雷达对比。(a,b) 为 VLN、(c,d) 为点目标导航，分别在理想与真实环境下评测；SPARK-VLN 在每种设定下覆盖面积最大，图上标注了原始数值。理想与真实两组之间的面积差，反映的就是各方法对推理延迟引起的观测陈旧的鲁棒性。

图7：真实动态环境下的定性对比。每行给出第一视角 RGB、第三人称视角与俯视占据图，蓝色曲线是朝目标（红色图钉）执行的轨迹，橙色曲线是不考虑行人时算出的参考路径。场景 1（对比 NaVILA）：SPARK-VLN 忠实跟随指令并主动避让移动行人，抵达沙发旁的目标；NaVILA 既偏离指令路线，最终还撞上行人。场景 2（对比 DualVLN）：双系统基线必须等 VLM 推理完成才把指导交给快规划器，机器人反应迟缓，撞上灰色行人；SPARK-VLN 在 VLM 解码过程中就流式传指导，平滑地绕过两名行人并保持指令一致。

定性证据。图7 与论文 Fig. 7 的对照把表1 的数字落到了具体行为上。W-t-A 基线在推理期间停住、然后突然反应，撞上一个迎面走来的行人；SPARK-VLN 从逐步细化的指导里提前预判了这个人，按指令抵达目标。这与运行时表是同一件事的两种表述：延迟不是抽象的效率指标，它直接决定了机器人在遇到行人的那半秒里有没有可用的语义指导。

局限性

作者自述一：指令时域受限。论文明确把「扩展到带多个子目标的长时域指令」列为未来工作。当前基准的指令词表覆盖动作、方向、地点、物体四类角色，起点到目标测地距离中位数只有 8.2 m，属于单段、短程指令。一旦指令变成「先上二楼、穿过走廊、在第二个门口左转、找到蓝色文件夹」这样的多子目标序列，8 个潜槽要同时承载「已完成到哪一步」与「下一步该去哪」，固定容量的桥是否会成为瓶颈，论文没有给出证据。

作者自述二：只做反应式避让。作者把「引入行人意图预测，实现前瞻式而非反应式的社交规划」列为未来工作。当前框架里安全评价器 $C_{\omega}$ 只看碰撞自由性与运动学平滑性，行人被当作会移动的障碍物而不是有意图的交互对象；流式机制缩短的是「感知到反应」的延迟，没有让机器人去推断行人下一步打算往哪走。AvgD 5.13 m 与 PSC 93.9% 是在 ORCA 行人（本身会主动避让）上测得的，人类行人的不可预测性会更高。

我们的判断一：碰撞率仍然很高。真实动态环境下 29.3% 的碰撞率意味着接近三成的回合会与行人发生接触——这在任何面向真实部署的语境下都是不可接受的绝对水平。它是全场最低，说明流式机制确实是有效杠杆，但「相对最好」与「可用」之间还有很长的距离，而论文没有讨论从这个量级往下走需要什么。理想阶段的 24.8% 同样值得注意：在没有延迟压力的设定下，SPARK-VLN 的碰撞率反而比 NaVid（11.8%）和 CMA（13.8%）高一倍，提示它的策略风格偏进取，社交合规度的提升主要来自真实阶段的延迟优势。

我们的判断二：仿真内评测、且缺关键消融。所有结果都在仿真基准上取得，论文没有任何真机实验，ORCA 行人与真实人群的行为分布差距会直接体现在碰撞率上。同时几个关键设计选择缺少消融：为什么抽第 16–23 层（而不是更早或更晚的层，或全部层）、为什么 $N=8$ 个槽（4 或 16 会怎样）、$J=5$ 步欧拉积分的精度—速度权衡如何，论文都只给了实现值而没有对照实验。VLM 参数冻结也意味着整套增益来自传输机制而非语义能力，换个更弱的骨干这套设计是否仍然成立，无从判断。

总结与展望

这篇论文的贡献可以分成方法与评测两层，两层是相互成就的。方法层把双系统导航里那条「抽取—投影—注入」的通信管道整体改成 token 级流式：Token-Wise Hidden Streamer 让指导在 VLM 还在推理时就可用，Sequence-to-Slot Latent Bridge 用 8 个可学习查询把变长高维隐流压成规划器能吃的固定尺寸条件，Evolving Latent Conditioner 借统一的目标 token 让同一个流匹配规划器既能做点目标导航又能做语言导航。三个模块本身都不是新构件——中间层隐状态、Perceiver 式交叉注意力、整流流匹配都是成熟技术——新的是把它们组装成一条在单次推理内部持续刷新的条件通路，以及由此得到的量化结论：只换传输机制，SR 提升 10 个点、延迟降到 4.3 分之一。

评测层的价值可能更持久。异步双阶段协议把「仿真在模型思考时是否暂停」这个一直被默认的实现细节提升为一等公民变量，并且给出了显式的陈旧度统计（推理期间的行人位移）。一旦这个协议被采纳，过去在阻塞式基准上看起来等价的一批方法就会被分开——本文自己的数据就是证明：NaVid 在理想阶段排第二，在真实阶段掉掉近三分之一 SR；DualVLN 作为双系统方法，在真实阶段的碰撞率反而高达 46.6%，比多数单系统都差。这说明「双系统」这个标签本身并不保证鲁棒性，关键在两个系统之间何时、以什么粒度通信。

对做实时具身系统的团队，可迁移的经验有两条。其一，慢系统的输出不必是一个原子单元：自回归生成的中间表示携带可用信息，把它当流来处理比当返回值处理更划算，这一点对任何「大模型 + 快执行器」的架构都成立，不限于导航。其二，条件通路的形状要与执行器的调用频率匹配：变长高维的语义流喂给需要定长低维输入的实时规划器，中间必须有一个显式的压缩瓶颈，而池化与交叉注意力在这个位置上的差距是 9.6 个 SR 点与 7.2 个碰撞率点。作者展望的两个方向——多子目标长时域指令与行人意图预测——恰好分别对应这两条经验的下一次压力测试：更长的指令会考验固定容量潜槽的表达能力，意图预测会把通信从「反应式指导流」推向「前瞻式交互模型」。

金句

「瓶颈不在推理过程，而在它的交付方式：指导被扣到推理完成才放出，尽管可用的知识是一路逐 token 涌现的。」——这句话是整篇论文的支点。承认它，就会去改通信管道而不是改模型容量；于是同一套 VILA-8B、同一个流匹配规划器，只把交付从「生成结束」改成「每生成一个 token」，延迟从 0.788 s 变成 0.185 s，成功率多出 10 个点，而推理期间行人平均只往前走了 5 厘米。