PAPER DEEP DIVE

世界模型持续学习强化学习

世界模型记得,演员遗忘:用于持续基于模型强化学习的梦境复演

DreamerV3系列基于模型的强化学习智能体在任务序列训练时灾难性遗忘,即使无限回放缓冲区保存了所有早期经验。本文研究持续RL文献假设但从未测量的问题:哪个组件遗忘最严重?提出梦境复演方法。

Gurp Nijjer2026年7月22日2 分钟阅读

世界模型记忆，演员遗忘：持续模型强化学习的梦境回放

论文：The World Model Remembers, the Actor Forgets: Dream Rehearsal for Continual Model-Based RL

作者：Gurp Nijjer

机构：Quantegra Research, Canada

链接：arXiv:2607.19749 | 代码：GitHub

一句话总结

本文发现DreamerV3类模型在持续学习中遗忘的不是世界模型而是演员策略——世界模型保留了旧任务的所有可测知识（奖励判别、价值估计、终止结构），但策略梯度通道无法将其转化为行为。通过在训练中交替进行梦境自我模仿（对世界模型生成的想象轨迹评分后行为克隆前25%），实现了无需任务标签、无新增参数的持续学习器：3/3种子通过四任务链（普通回放0/3）和八任务链。

研究背景与动机

持续强化学习中的灾难性遗忘是核心挑战。标准方法通过正则化参数（EWC）、增长网络或回放历史数据来缓解。在模型强化学习（MBRL）中，回放方案有天然优势——世界模型在缓冲经验上训练，DreamerV3类代理配合不清空缓冲区是领域当前的工作答案。然而，这一路线有一个从未被检验的假设："保护世界模型，策略自然会跟随"。

本文首次在组件级别检验了这一假设，发现前提的前半部分正确（世界模型确实保留一切），但后半部分错误（演员仍然遗忘）。遗忘在此场景中不是记忆问题，而是通道问题：策略梯度学习无法将想象中可用的准确训练信号转化为行为。

图1：恢复竞赛。在冻结世界模型上，梦境自我模仿（蓝）3/3种子恢复，RL-in-imagination（橙）0/3失败。

方法详解

1. 组件级遗忘诊断

在不清空回放的条件下，对最终链检查点进行组件级探测（$n=3$种子），测量各组件对旧任务的保留：

奖励知识：判别力 $D = \text{mean}(\hat{r}_{\text{success}}) - \text{mean}(\hat{r}_{\text{zero}})$，保留比 $R = D_{\text{final}} / D_{\text{own-phase}}$：

$$ R = \frac{D_{\text{final}}}{D_{\text{own-phase}}} \approx 0.99/1.06/1.01 $$

奖励头从未遗忘。在退化策略自身访问的状态上 $D=0.87$（vs 策划集上0.90），信号在需要重教的地方完好。

价值估计：评论家在旧任务状态上的均值保持高位并跨阶段上升（$0.84 \rightarrow 0.91$）。

终止模型：续行头在真实终止步的判别力0.95-1.0，包括最短任务阶段之后立即测量的结果。

表示漂移：冻结动作边际探测显示旧任务动作偏好退化（边际 $-0.25$ vs $+4.5$ 和 $+2.7$），潜空间确实漂移。共训练头跟踪漂移；冻结头在漂移下衰减；演员——共训练但通过RL通道——同样衰减。

2. 从世界模型 alone 恢复

冻结整个四任务运行最终世界模型，仅重训练漂移的演员。两个教师，相同起始，相同预算（20k更新），零新环境步：

RL-in-imagination（标准DreamerV3演员-评论家更新）：0/3种子通过。一个种子达到0.84后振荡回0.38，一个坍塌到0.0，一个从未超过0.57。

梦境自我模仿（采样演员滚动想象轨迹，冻结奖励/价值头评分，行为克隆前25%）：3/3种子通过（$0.38 \rightarrow 0.85$，$0.66 \rightarrow 0.92$，$0.66 \rightarrow 0.85$）。

3. 梦境回放（Dream Rehearsal）

在每个任务阶段结束后，将其缓冲集作为回放起点；此后每2000环境步新任务训练后，对每个先前任务运行50次梦境自我模仿更新。想象轨迹评分使用realized-first规则，基于自模仿优势门控：

$$ \text{imitate if } (R - V(s))_+ > 0 $$

仅当实现回报超过评论家估计时才模仿。选择前25%的轨迹进行行为克隆，一个活演员贯穿全程，无需任务标签、无需冻结策略、无需路由器、无新增参数。

图2：梦境回放算法（一个训练块）。每2000步训练后对每个先前任务运行50次梦境自我模仿。

flowchart TD
    A["任务A训练阶段"] --> B["不清空缓冲区
保留所有经验"]
    B --> C["世界模型训练
保留旧任务知识"]
    C --> D["任务B训练阶段"]
    D --> E["每2000步: 梦境回放"]
    E --> F["从旧任务状态想象
当前演员采样滚动H=15步"]
    F --> G["realized-first评分
(R-V(s))+ 优势门控"]
    G --> H["行为克隆前25%轨迹
更新同一个演员"]
    H --> D
    H --> I["所有任务保留
3/3种子通过"]
    style C fill:#e1f5fe
    style E fill:#fff3e0
    style I fill:#e8f5e9

实验结果

四任务链结果

表1：四任务链各种子最终保留率
种子	DoorKey	SimpleCrossing	LavaGap	MultiRoom	通过
1	0.960	0.868	0.899	0.751	✓
2	0.961	0.751	0.944	0.800	✓
3	0.964	0.825	0.784	0.768	✓

梦境回放3/3种子通过全部四任务。普通回放0/3（最难题SimpleCrossing仅0.37）。隔离参考（冻结头+路由器）3/5。

八任务链结果

表2：八任务链各种子最终保留率
种子	DoorKey5	SimpleX	LavaGap	MultiRm	LavaCross	DistShift	DoorKey6	Unlock
1	0.964	0.943	0.947	0.759	0.861	0.960	0.915	0.861
2	0.963	0.919	0.943	0.746	0.865	0.929	0.962	0.888
3	0.901	0.876	0.942	0.754	0.794	0.959	0.962	0.740

所有3种子通过全部八任务。八任务中七个任务的跨种子范围$\leq 0.07$，展现出高度稳定性。预期中的回放稀释（早期任务随任务增多而下降）未出现。

梦境 vs 真实回放对比

与匹配的真实回放克隆（CLEAR风格）对比，梦境回放的配对差异+0.13，bootstrap 95% CI [0.07, 0.24]，完全种子分离。梦境轨迹比真实回放更优，因为想象不受真实终止约束且能探索策略改进后的新轨迹。

图3：四任务链最终保留率对比。普通回放、隔离参考、梦境回放三种方法。

图4：梦境评分规则分析。两种评分失败模式及realized-first修复。

图5：八任务链扩展结果和稳定性分析。

梦境评分的两种失败模式

论文发现两种评分失败模式并提出了realized-first修复规则。第一种是"评论家乐观偏差"——评论家对想象的乐观估计使得低质量轨迹获得高优势分数，导致克隆了不应克隆的轨迹。第二种是"终止不感知"——想象轨迹不自然终止于真实结局，使得超长的幻觉轨迹被错误评分。realized-first规则的核心是仅使用已实现（realized）的回报而非预测回报进行评分，其选择纯度在两个任务上均达到AUC 1.0和top-quartile purity 1.0。

评分函数定义为想象轨迹$ au$的已实现回报与评论家状态价值的差：

$$ ext{score}( au) = \sum_{t=0}^{H} \gamma^t \hat{r}_t - V_\phi(s_0) $$

其中$\hat{r}_t$为世界模型奖励头在想象步$t$的预测奖励，$\gamma$为折扣因子，$V_\phi(s_0)$为评论家对初始状态的值估计，$H=15$为想象时域。仅当$ ext{score}( au) > 0$时该轨迹被纳入候选池，最终选择前$q=25\%$进行行为克隆。

终止感知的bootstrap通过续行头$c_\phi(s_t)$加权未来奖励：

$$ ext{score}_{ ext{term-aware}}( au) = \sum_{t=0}^{H} \left(\prod_{k=0}^{t-1} c_\phi(s_k) ight) \gamma^t \hat{r}_t - V_\phi(s_0) $$

这种终止感知设计确保想象中的"幻觉延续"（在真实应终止的状态后继续想象）不会贡献虚假回报。reach-probability加权进一步调整了每个想象步的贡献，使得在不确定的想象区域中生成的奖励被适当降权。

行为克隆损失为对选定高质量轨迹的动作进行监督学习：

$$ \mathcal{L}_{ ext{clone}} = -rac{1}{|\mathcal{B}_{ ext{top}}|} \sum_{ au \in \mathcal{B}_{ ext{top}}} \sum_{t=0}^{H} \log \pi_ heta(a_t | s_t) $$

其中$\mathcal{B}_{ ext{top}}$为评分前25%的轨迹集合，$\pi_ heta$为当前演员策略。该损失仅更新演员参数$ heta$，世界模型和评论家保持正常训练不受影响。

计算开销分析

梦境回放在四任务时增加约15%计算开销（每2000步训练后50×3=150次更新），在八任务时增加约350次更新/块。然而，由于后续任务的采集加速（如LavaGap在链中8-10k步学会，而非单独学习需要的更多步），整体训练时间在$n=8$时实际与无回放相当。回放开销随任务数线性增长，但采集加速部分抵消。所有实验使用单一工作站，8×A100 80GB GPU，训练时间在可接受范围内。