#Long-Horizon Memory (2)

记忆即计划：基于记忆锚定规划的世界-动作建模

主流机器人策略把动作预测写成马尔可夫形式，只看当前观测或固定短窗口，但长时程操作往往是非马尔可夫的：决策所需的信息早已离开视野。MaP-WAM 提出「记忆即计划」：已完成的片段被记为「语言指令 + 稀疏视觉上下文」的结构化多模态情景记录（每段均匀采样 8 帧），规划时由微调的 Qwen3.5-4B 语言规划器给出下一段语言计划，再由基于 WAN-2.2-5B 的因果世界模型从长时视觉上下文生成对应的视觉计划，两者组成记忆锚定计划；执行侧的 World-Action-Progress（WAP）模型用 Mixture-of-Transformers 架构联合预测动作块、未来视觉 latent 与执行进度，进度作为一等模态参与条件与反馈。执行器只以固定长度的计划为前缀，上下文不随历史增长，块因果注意力让规划与执行两侧都可做 KV 缓存；计划-观测对齐用当前观测与视觉计划帧的像素差校准递归进度估计，进度门控（阈值 0.95）触发片段切换并把真实观测重采样写回记忆。RMBench 九个记忆依赖任务平均成功率 83.3%（最强基线 LingBot-VA 为 77.1%），真机 Franka Research 3 两个任务 88% 与 68%、平均 78.0%；1700 帧历史下全上下文执行器显存超 80GB 直接 OOM，而 WAP 保持约 827ms 每动作块的近似恒定延迟。局限：依赖基准自带的片段标注、未做自动分段；计划-观测对齐用免训练的像素差度量，复杂视觉场景下可换学习型相似度。