Koopman Dreamer:用于稳定世界模型想象的谱约束隐式动力学

1. 概述

潜在世界模型（latent world model）通过在想象的潜在轨迹上优化策略来提高连续控制的样本效率，但常见神经网络转移对长程展开中的模态持续性（modal persistence）和误差累积缺乏直接控制。Dreamer式actor-critic更新依赖递归想象的轨迹，转移误差随时间复合并偏置回报目标。

Koopman Dreamer 将DreamerV3的确定性潜在动力学核心替换为谱约束的Koopman骨干。受Koopman算子理论启发，用二维旋转-缩放块（bounded radii）表示阻尼、旋转和近周期模态；线性+低秩双线性动作项捕获全局和状态依赖控制效应；随机状态调制提供局部修正。后验条件EMA教师目标+一步一致性+多步展开+开环观测预测目标减少训练与想象间的失配。

2. 问题形式化

考虑部分可观测连续控制问题。完整潜在状态 $y_{t}=(\phi_{t},s_{t})$，其中 $\phi_{t}$ 为确定性Koopman演化状态，$s_{t}$ 为离散随机状态（$N$组$K$路one-hot）。确定性分量携带可递归传播的历史记忆，随机分量吸收当前观测修正和未建模局部因素。

转移：Koopman骨干先产生 $\phi_{t+1}=F_{K}(\phi_{t},s_{t},a_{t})$，先验网络预测 $p_{\theta}(s_{t+1}\mid\phi_{t+1})$：

$$p_{\theta}(y_{t+1}\mid y_{t},a_{t})=\delta\left(\phi_{t+1}-F_{K}(\phi_{t},s_{t},a_{t})\right)p_{\theta}(s_{t+1}\mid\phi_{t+1})$$

后验推理 $q_{\theta}(s_{t}\mid\phi_{t},e_{t})$ 仅修正随机状态，不直接重采样 $\phi_{t}$。

3. 方法

3.1 Koopman潜在转移

转移函数将确定性状态 $\phi_{t}$ 通过谱结构化自主更新+动作依赖和随机修正直接传播：

$$F_{K}(\phi_{t},s_{t},a_{t})=\operatorname{clip}_{c_{\phi}}\left(A_{K}\phi_{t}+B_{a}\bar{a}_{t}+H_{\theta}(\phi_{t},\bar{a}_{t})+B_{z}z_{t}\right)$$

分解为四个加性分量：$u_{t}^{K}=A_{K}\phi_{t}$（自主谱演化）、$u_{t}^{a}=B_{a}\bar{a}_{t}$（线性动作项）、$u_{t}^{b}=H_{\theta}(\phi_{t},\bar{a}_{t})$（状态依赖动作调制）、$u_{t}^{z}=B_{z}z_{t}$（局部修正）。$\operatorname{clip}_{c_{\phi}}(x)=c_{\phi}\tanh(x/c_{\phi})$ 限制确定性状态幅度。

双线性状态-动作交互项采用低秩形式：

$$H_{\theta}(\phi_{t},\bar{a}_{t})=\beta_{b}W_{o}^{b}\left[\left(W_{\phi}^{b}\phi_{t}\right)\odot\left(W_{a}^{b}\bar{a}_{t}\right)\right]$$

3.2 谱约束Koopman骨干

$A_{K}$ 由二维旋转-缩放块参数化。确定性维 $D=2M$，第 $i$ 个子空间上：

$$\begin{bmatrix}(A_{K}\phi_{t})^{(2i)}\\(A_{K}\phi_{t})^{(2i+1)}\end{bmatrix}=\rho_{i}\begin{bmatrix}\cos\theta_{i}&-\sin\theta_{i}\\\sin\theta_{i}&\cos\theta_{i}\end{bmatrix}\begin{bmatrix}\phi_{t}^{(2i)}\\\phi_{t}^{(2i+1)}\end{bmatrix}$$

模态半径 $\rho_{i}=\rho_{\min}+(\rho_{\max}-\rho_{\min})\sigma(\alpha_{i})\in[\rho_{\min},\rho_{\max}]$，相位 $\theta_{i}=\pi\tanh(\omega_{K,i})$。$A_{K}$ 为块对角正规算子，$\|A_{K}\|_{2}=\rho(A_{K})=\max_i\rho_i\leq\rho_{\max}$。

3.3 后验条件教师表示

用后验随机状态构造修正教师轨迹：

$$\bar{\phi}_{t}=\operatorname{clip}_{c_{\phi}}\left(\phi_{t}+\beta_{\phi}\tanh\left(W_{\phi}\operatorname{flat}(s_{t})\right)\right),\quad \bar{z}_{t}=W_{z}\operatorname{flat}(s_{t})$$

EMA目标投影减少漂移。训练目标组合：一步Koopman一致性、多步教师和先验展开、开环观测预测。

4. 整体架构

flowchart TB
    OBS[观测 o_t] --> ENC[观测编码器 E_θ]
    ENC --> POST[后验网络 q_θ
修正随机状态 s_t]
    PREV[前状态 φ_{t-1}, s_{t-1}, a_{t-1}] --> KK[Koopman骨干 A_K
二维旋转-缩放块
谱半径 ≤ ρ_max]
    KK --> PHI[确定性状态 φ_t]
    POST --> PHI
    PHI --> PRIOR[先验网络 p_θ
预测 s_{t+1}]
    PRIOR --> NEXT[下一状态 y_{t+1}]
    NEXT --> HEADS[预测头
观测/奖励/继续]
    NEXT --> AC[Actor-Critic
策略优化]
    NEXT --> TEACHER[EMA教师
后验条件目标]
    TEACHER --> KK
    style KK fill:#4f9eff,color:#fff
    style POST fill:#ff6b6b,color:#fff
    style NEXT fill:#51cf66,color:#fff

5. 理论分析

推导了受控Koopman转移的多步展开误差界，分离自主算子放大与受控交互效应及加性随机/建模残差。谱半径控制误差累积与持久动态保持之间的权衡——过强收缩会丢失控制所需的持久信息。

6. 实验结果

6.1 DMC本体感知连续控制

9个本体感知任务（swing-up、reaching、balance、locomotion），500K步。Koopman Dreamer在6个任务上取得最佳最终得分，在8个任务上超越DreamerV3。最大提升在Acrobot（292.3 vs 131.7）和Hopper Stand（859.1 vs 650.4）。

6.2 开环预测

32步观测上下文初始化，64步无未来观测展开。确定性潜在MSE降低89.4%（9/9任务），本体感知MSE降低23.2%（8/9任务），奖励MSE从0.929降至0.732（8/9任务）。

6.3 UAV-LiDAR自主导航

Forest环境：50m地图、120个障碍、280维7环LiDAR。240个闭环回合。Koopman Dreamer成功率73.8%（vs DreamerV3 53.8%，D4PG 15.8%），失败率最低26.2%。中位最终距离0.72（vs 0.75, 4.22）。

6.4 谱半径敏感性

6个变体 $\rho_{\max}$ 从0.90到1.20。最小半径0.849给出最低潜在MSE但非最低可观测量误差，说明强收缩可使潜在轨迹数值相似但丢失预测信息。最优谱范围需结合开环预测精度和闭环性能选择。

7. 讨论与总结

Koopman Dreamer通过谱约束Koopman骨干替代DreamerV3的RSSM确定性更新，使收缩、旋转和近周期模态成为转移设计的一部分。线性+双线性动作项和随机调制适应受控非线性动力学。后验条件教师和先验展开目标使同一结构化转移在观测修正训练和无后验想象下均可工作。多步误差界理论阐明了谱半径如何平衡误差累积与持久信息保持。

实践教训：最强收缩设置并非最优——从业者应结合解码观测预测精度和闭环性能选择谱范围。局限：验证为仿真，但结构化转移可适配其他依赖递归多步预测的控制/规划框架。