DAAAM：实时大规模4D场景理解的时空记忆框架

论文元信息

标题：Describe Anything, Anywhere, at Any Moment (DAAAM)
作者：Nicolas Gorlo, Lukas Schmid, Luca Carlone（麻省理工学院）
论文链接：arXiv:2512.00565
项目主页：nicolasgorlo.com/DAAAM_25
代码：github.com/MIT-SPARK/DAAAM（开源）

一句话总结

DAAAM 提出了一种基于优化前端和批量推理的实时时空记忆框架，通过分层4D场景图将详细自然语言语义描述与3D几何定位结合，在大规模动态环境中实现了10Hz实时构建和多项SOTA结果。

研究背景与动机

机器人和增强现实应用需要感知系统能够回答时空查询——例如"你上次在哪里看到红色螺丝刀？"或"去把我们上周组装的零件拿过来"。这要求内部记忆表示同时满足三个条件：支持空间推理和任务规划、覆盖长时间跨度和大范围环境、以及实时有限算力下可构建。

现有方法面临根本性的权衡困境。第一条路线是度量-语义地图，特别是3D场景图（Scene Graph），能将语义实体和关系以拓扑图形式锚定在3D世界中。然而，追求尽可能丰富的场景描述与实时移动计算的需求根本矛盾。现有方法要么使用快速但封闭词汇的分割或嵌入（语义细节不足），要么逐物体查询大型多模态模型获取详细但非常昂贵的开放词汇标注（计算不可行）。

第二条路线利用多模态大语言模型从自然语言描述生成场景表示。这些方法主要对单帧或视频序列进行标注并存储在数据库中供后续检索。虽然可以产生更丰富的表示，但由于标注以帧而非内容为单位组织，往往缺乏3D几何锚定和时空一致性。同一物体在不同视角下可能被重复描述却不合并，导致冗余和不一致。

DAAAM 的出发点是：能否同时获得语义丰富性、几何锚定和实时性能？答案是肯定的——通过将几何追踪与语义标注解耦，用基于优化的帧选择算法选出最优视角，再以批量推理方式调用大型描述模型，从而实现三者的统一。

图1：DAAAM 系统概览。给定 RGB-D 传感器输入，DAAAM 增量构建分层4D场景图，附带详细自然语言标注，为 LLM 智能体提供可扩展的时空记忆表示。

预备知识

3D场景图是一种将环境中的语义实体（物体、区域、建筑）及其关以拓扑图形式表示的数据结构，节点对应实体、边对应空间关系。分层场景图从底层物体节点向上聚合为区域、楼层、建筑等高层节点。Khronos 是 DAAAM 使用的实时4D建图前端，能从传感器流中提取时间一致的物体片段并重建其3D形状和位置。

Describe Anything Model (DAM)是一种局部描述模型，能对图像中被分割的区域生成详细的自然语言描述。DAAAM 的核心洞见在于：DAM 本身推理速度慢（逐物体调用），但通过帧选择+批量推理可以将效率提升一个数量级，使其在实时系统中可用。

方法详解

整体架构

DAAAM 由五个模块组成：(A) 活跃窗口与实时场景图构建、(B) 帧选择、(C) 语义提升、(D) 地点提取、(E) 全局优化与区域聚类。模块 B 和 C 在并行线程中运行，与实时几何处理解耦，这是 DAAAM 实现实时性能的关键设计。

图2：DAAAM 方法概览。RGB-D 视频流先被分割为片段并用轻量追踪器在图像空间追踪，然后通过 Khronos 构建4D地图。语义提升线程并行聚合追踪观测，用优化算法选择帧，批量送入 DAM 生成详细描述，最终整合回4D场景图。

(A) 活跃窗口与实时场景图构建

系统在每个时间步 $t$ 接收 RGB-D 帧 $I_t^{\text{rgb-d}}$，使用 Fast-SAM 分割为若干片段 $s_j^t \in \mathbb{R}^{H \times W}$，并用 Bot-Sort 追踪器在帧间维持轨迹。每条轨迹创建一个物体片段 $o_j^{0 \ldots T_j}$，包含 $T_j$ 个观测。Khronos 将每个片段提升到3D并重建其形状和位置，动态物体随时间变化也被追踪。几何分割、追踪和重建在传感器帧率 10Hz 下运行。

(B) 基于优化的帧选择

这是 DAAAM 的核心创新之一。由于提取详细描述是昂贵操作，系统不需要对每帧的每物体都调用 DAM，而是只选择每个片段的最佳视角帧进行批量标注。帧选择被形式化为两步优化问题。

第一步：集合覆盖问题。在时间窗口 $w_t = [t_{\text{start}}, t_{\text{start+m}}]$ 内，设 $\mathcal{O} = \{o_1^w, \ldots, o_m^w\}$ 为追踪的物体片段集合，$\mathcal{F}^w$ 为窗口内所有帧。对每对帧 $f_i$ 和片段 $o_j^w$，定义可见性指示器 $v_{ij} \in \{0,1\}$（片段是否在帧中可见）和视角质量分数 $q_{ij} \in [0,1]$。首先求解最小帧数：

$$K^{\star} = \min_{\mathcal{S} \subseteq \mathcal{F}^w} \quad |\mathcal{S}| \quad \text{s.t.} \quad \forall o_j^w \in \mathcal{O}: \exists f_i \in \mathcal{S} \text{ with } v_{ij}=1$$

使用贪心算法求解。第二步：二进制线性规划。给定最小帧数 $K^{\star}$，求解：

$$\max_{x,y} \quad \sum_{i=1}^{n}\sum_{j=1}^{m} q_{ij} \cdot y_{ij}$$

$$\text{s.t.} \quad \sum_{i=1}^{n} x_i = K^{\star} + \epsilon, \quad \sum_{i=1}^{n} y_{ij} = 1$$

$$y_{ij} \leq x_i, \quad y_{ij} \leq v_{ij}, \quad x_i \in \{0,1\}, \quad y_{ij} \in \{0,1\}$$

其中 $x_i$ 表示帧 $f_i$ 是否被选中，$y_{ij}$ 表示片段 $o_j^w$ 是否分配给帧 $f_i$，$\epsilon$ 是松弛参数（设为1）。目标函数最大化每个选中片段的质量分数，约束条件保证：(i) 总选中帧数为 $K^{\star}+\epsilon$，(ii) 未选中的帧中无分配，(iii) 每个片段恰好分配到一个保证可见的帧。

视角质量分数 $q_{ij}$ 的设计兼顾位置和尺寸两方面：

$$q_{ij} = \alpha \cdot q_{ij}^{\text{pos}} + (1-\alpha) \cdot q_{ij}^{\text{size}}$$

位置分数 $q_{ij}^{\text{pos}}$ 使用归一化坐标的熵值，偏好中心位置的物体（中心最大、边界最小）。尺寸分数 $q_{ij}^{\text{size}}$ 使用双曲正切函数，对大物体饱和而对低于最小面积阈值 $A_{\text{min}}$ 的物体施加惩罚。参数设为 $\alpha = 0.5$。

(C) 语义提升

帧选择算法输出的图像-片段对被批量送入 DAM，在单次前向传播中为所有片段生成详细自然语言描述。DAAAM 扩展了 DAM 的批量推理策略：将多帧和多掩码打包为单个张量，最小化冗余计算并充分利用并行化。这使得 DAAAM 能在实时环境中运行的同时仍利用 DAM 这样的大型详细模型。

此外，每个片段还分配一个 CLIP 特征和一个句子嵌入特征（同样批量获取），用于辅助语义搜索、聚类、摘要和重复观测物体的调和。帧选择算法天然最小化送入 DAM 的帧数同时每帧处理多个掩码，进一步提升了批处理推理效率。

(D) 地点提取

除了物体，DAAAM 还提取背景中的"地点"节点 $p_j$。不同于 Voronoi 图或采样方法，DAAAM 基于地面可通行性提取地点：将机器人边界框与 Khronos 维护的局部体积占用图卷积，沿 Z 轴压缩，然后将切片划分为最大可通行矩形（每块最大2m），确保近均匀覆盖。语义提升时，每个地点先投影到地面，再映射到覆盖它的片段所在帧，通过多数投票分配描述和特征。

附录图：地点提取流程——从3D网格到可通行性分析。

附录图：可通行性地图——卷积机器人边界框后的结果。

附录图：最大内接矩形划分——将可通行区域切分为地点节点。

附录图：最终地点图——地点节点及其拓扑连接关系。

(E) 全局优化与区域聚类

为获得空间和时间一致的4D场景图，DAAAM 在全局优化步骤中调和重复观测的物体。合并物体的描述被拼接为历史记录，同时保留对应的活跃窗口时间戳。区域 $R_i$ 通过对地点图的语义特征余弦距离赋权边、应用 Hydra 的最稳定团查找算法聚类得到。物体节点分配到最近的簇。区域的代表性描述通过从区域所有物体特征的均值出发做最远点采样，然后用 LLM 摘要生成。

检索增强推理

DAAAM 使用工具调用智能体回答自然语言查询。智能体可访问三种工具：(a) 基于描述嵌入的语义搜索检索物体，(b) 检索区域信息，(c) 检索智能体自身信息。检索结果包含每个4D场景图节点的空间和时间信息，充分利用场景图的4D特性。

flowchart TB
    A[RGB-D Input 10Hz] --> B[Fast-SAM Segmentation]
    B --> C[Bot-Sort Tracking]
    C --> D[Khronos 4D Map]
    D --> E[Active Window SG]
    E --> F[Parallel Thread]
    F --> G[Frame Selection Optimization]
    G --> H[Batch DAM Inference]
    H --> I[CLIP + Sentence Embedding]
    I --> J[4D Scene Graph]
    J --> K[Region Clustering]
    K --> L[Hierarchical 4D SG]
    L --> M[Tool-calling Agent]
    M --> N[Spatio-temporal QA]

实验结果

时空问答（SQA）

在 NaVQA 基准（基于 CODa 数据集）上评估，包含210个QA样本，分为二元问题、空间问题和时间问题，以及短（1.2分钟）、中（4.4分钟）、长（12.3分钟）三种序列长度。DAAAM 即使与 ReMEmbR+VILA1.5-13b 等大模型方法相比也表现强劲，尤其在长序列和时间推理方面。这表明时空记忆的几何结构化有助场景理解，4D场景图表示极大改善时间理解。

作者发现 NaVQA 基准存在多个局限：部分方法的上下文示例出现在测试集中、空间问题标注的是观测位置而非实际3D位置（偏袒基于视图的方法）、若干标注有噪声或错误。因此作者重新标注了空间查询的真实物体位置，并评估完整序列（最高35.8分钟），形成 OC-NaVQA 基准：

方法	问题准确率 ↑	位置误差 [m] ↓	时间误差 [min] ↓
ReMEmbR - NVILA-Lite-2B	0.432	53.466	2.287
ReMEmbR - NVILA-Lite-8B	0.463	55.894	4.106
Concept-Graphs	0.299	111.29	—
DAAAM (Ours)	0.711	41.75	1.792

在 OC-NaVQA 上，DAAAM 的4D场景图在高达35.8分钟和1.64公里行程的大规模长时设置下表现优异，问题准确率提升53.6%，位置误差降低21.9%，时间误差降低21.6%。ConceptGraphs 因维持完整点云在内存上遇到困难。

序列任务定位（SG3D）

在 SG3D 基准上评估自然语言指令在3D环境中的定位能力：

方法	s-acc [%]	t-acc [%]
Hydra + GPT	8.18	2.44
Hydra (GT Seg) + GPT	14.2	6.34
HOV-SG	8.98	1.95
ASHiTA	21.7	8.78
DAAAM (Ours) + GPT	22.16	11.22

DAAAM 超越了 Hydra（即使使用真值分割标签），突出详细描述的重要性。同时优于专用的层次化任务分析方法 ASHiTA，任务定位准确率提升27.8%。需注意 SG3D 基于 HM3D 的半合成数据，存在 real-to-sim 差距，DAM 仅在真实数据上训练会有少量精度损失。

消融实验

消融研究验证了三个关键设计：

配置	问题准确率 ↑	位置误差 [m] ↓	时间误差 [min] ↓
DAAAM + GPT-5-mini	0.711	41.75	1.792
无 DAM 描述	0.776	50.05	2.396
无区域聚类	0.707	48.93	3.58
无帧选择质量启发式	0.627	49.92	1.678

无 DAM 描述的版本问题准确率反而更高（0.776 vs 0.711），但位置和时间误差更大。这表明显式描述有助于组合推理，尤其是位置和时间查询；而二元问题中图像裁剪提供更好的验证代理。区域聚类对所有指标均有提升，特别是时间查询。帧选择质量启发式显著提升空间和问答准确率。

运行时分析

DAAAM 在单张 NVIDIA RTX 5090 上以10Hz运行，与 CODa 数据集的传感器帧率一致。主要瓶颈是输入分割和追踪，而语义标注的并行线程仅在碎片极多的杂乱或快速移动场景才成为瓶颈。每片段平均标注时间 $0.18 \pm 0.03$ 秒，单个 worker 每秒可标注约5.2个新片段——对地面移动机器人足够。

图3：DAM 批量推理加速。虚线红为基线（batch size=1），实线蓝为批量处理。批量大小在128之间时加速约一个数量级。

方法	帧率 [Hz]
Concept-Graphs	0.075
ReMEmbR NVILA-Lite-2B	4.9
ReMEmbR NVILA-Lite-8B	4.6
DAAAM (Ours)	11.6

帧选择延迟 $1.2 \pm 0.74$ 秒，语义提升延迟 $9.2 \pm 1.4$ 秒（每完整批次）。约10秒的延迟是运行大模型的必然代价，但对于大规模长时决策而言，吞吐量比延迟更重要——几何信息始终实时维护。

局限性分析

作者自述局限一：DAM 的训练数据相对有限（150万样本），生成的描述有时无法捕获分布外物体或不常见视觉特征，并可能向均值幻觉（例如预测电梯门带把手）。不过随着多模态LLM快速演进，未来更准确的局部描述模型可直接集成到 DAAAM 框架中。

作者自述局限二：单 worker 在桌面GPU上每秒5.2个片段的标注速度对地面移动机器人足够，但对于动态空中机器人或VR头显可能太慢。可以选择更小的模型在更小硬件上运行（仍可保持"相对较大"），或以更高吞吐为代价。

独立判断：DAAAM 维护动态节点的完整描述历史可能在大规模长时间运行中无限增长。虽然合并步骤减少了冗余，但缺少有界记忆大小的摘要策略是一个可扩展性隐患——尤其是在多日运行的场景中。论文虽提到"未来工作应研究摘要策略以保持记忆大小有界"，但未给出具体方案。

此外，帧选择的质量启发式 $q_{ij}$ 依赖手工设计的位置和尺寸启发式（参数 $\alpha=0.5$ 固定），未学习自适应权重。在特殊场景（如高度对称环境或极端光照）中，该启发式可能非最优。

总结与展望

DAAAM 通过将几何追踪与语义标注解耦——利用基于优化的帧选择和批量推理——克服了大型视觉标注模型的计算约束，实现了实时分层4D场景图构建。在时空问答和序列任务定位两项任务上取得SOTA结果，实时性能10Hz、可扩展至35分钟和1.5公里以上行程。代码和数据开源。DAAAM 为具身智能体理解和交互复杂、大规模、动态环境提供了实用的基础。

未来方向包括：集成更强的局部描述模型、研究有界记忆摘要策略、将帧选择质量分数从手工启发式改为学习式，以及向空中机器人和VR头显等更高动态场景扩展。

"将几何追踪与语义标注解耦：不是让大模型追上传感器速度，而是让传感器数据等大模型准备好——这才是实时4D理解的正确路径。"

---

来源：arXiv:2512.00565 · MIT-SPARK/DAAAM