E3DGS:3D高斯泼溅的几何-光度等变性统一

1. 研究背景与动机

3D 高斯泼溅（3D Gaussian Splatting, 3DGS）通过为每个原语分配球谐（Spherical Harmonics, SH）系数来建模视角相关外观，显式刻画几何与光的对偶。但在深度表示学习中，这些丰富光度信息常被丢弃——当前最先进方法剥离视角相关 SH 系数以规避旋转对称复杂性，把光泽、纹理场景降为暗淡彩色点云。这种架构妥协限制了模型区分几何相同但材质不同物体（如哑光塑料杯 vs 闪亮金属杯）的能力。

根本瓶颈是严格 $\mathrm{SE}(3)$ 等变。平移等变可用相对坐标优雅实现，但旋转挑战严峻：几何属性（位置 $\mathbf{x}$、协方差 $\Sigma$）在旋转 $R\in\mathrm{SO}(3)$ 下按标准张量规则变换，而 SH 系数按 Wigner-$D$ 矩阵变换。将这 disparate 数据类型集成进单一等变流水线通常需要张量场网络（TFN）等重型机制，对百万高斯原语的场景依赖 Clebsch–Gordan（CG）张量积在计算上不可行。

E3DGS 的范式转变：把光度当作几何。对 $\ell\leq 2$ 的 SH，系数空间 $\mathbb{R}^{2\ell+1}$ 实现 $3\times 3$ 矩阵空间 $\mathfrak{gl}(3)$ 在共轭下出现的相同不可约表示（$V_0\oplus V_1\oplus V_2$），从而把 Wigner-$D$ 作用替换为几何张量的简单共轭规则。

图1：E3DGS 概览。3D 高斯原语耦合几何（均值/协方差）和视角相关光度（SH），在相机帧变化下按异构 SO(3) 规则变换。E3DGS 把两者提升到统一矩阵载流子，用刚体等变骨干处理。

2. 核心方法：统一几何-光度等变

2.1 高斯原语及其群作用

参数化 3D 高斯原语 $\mathcal{G}_i=(\mu_i,\Sigma_i,\alpha_i,\{f_{i,\ell}^{(c)}\}_{\ell=0}^2)$。对旋转 $R\in\mathrm{SO}(3)$，几何属性 $\mu_i\mapsto R\mu_i$、$\Sigma_i\mapsto R\Sigma_iR^\top$、$\alpha_i\mapsto\alpha_i$，SH 系数 $f_{i,\ell}^{(c)}\mapsto D^\ell(R)f_{i,\ell}^{(c)}$。用中心化坐标 $\bar{\mu}_i:=\mu_i-\frac1N\sum\mu_j$ 隔离旋转分量，确保 $\bar{\mu}_i\mapsto R\bar{\mu}_i$。

2.2 统一 $\mathfrak{gl}(3)$ 载流子（核心定理）

采用矩阵空间 $\mathfrak{gl}(3)=\mathbb{R}^{3\times3}$ 配标准共轭作用 $\mathrm{Ad}_R(M):=RMR^\top$。其分解为 SO(3) 不可约子表示：

$$\mathfrak{gl}(3)=\langle I\rangle\oplus\mathfrak{so}(3)\oplus\mathrm{Sym}_0(3)$$

这恰匹配 SH 到 $\ell=2$ 的 SO(3) 不可约类型。由于 $\mathfrak{gl}(3)\cong V_1\otimes V_1\cong V_0\oplus V_1\oplus V_2$，$3\times 3$ 载流子精确实现 SH $\ell\leq 2$ 而无 $V_3$ 分量。

定理1：对每个 $\ell\in\{0,1,2\}$，存在线性 SO(3)-等变映射 $\Phi_\ell:\mathbb{R}^{2\ell+1}\to V_\ell\subset\mathfrak{gl}(3)$ 使：

$$\Phi_\ell(D^\ell(R)f_\ell)=\mathrm{Ad}_R(\Phi_\ell(f_\ell))=R\,\Phi_\ell(f_\ell)\,R^\top$$

故 $\Phi_{\leq 2}:=\Phi_0\oplus\Phi_1\oplus\Phi_2$ 把 SH(0–2) 识别为单一按共轭变换的 $\mathfrak{gl}(3)$ 值表示。定理2推广到任意阶：每个 SH 阶 $L$ 可在适当载流子 $\mathrm{End}(V_k)$ 上实现为矩阵共轭 $D^k(R)X D^k(R)^{-1}$，无需运行时 CG 张量积。

flowchart TB
    G["3D Gaussian primitive
mu, Sigma, alpha, SH f_l"] --> SPLIT["Heterogeneous SO(3) actions"]
    SPLIT --> MU["mu -> R*mu"]
    SPLIT --> COV["Sigma -> R*Sigma*R^T"]
    SPLIT --> SH["f_l -> D^l(R)*f_l
(Wigner-D)"]
    MU --> LIFT["Unified Matrix Lifting
Phi_<=2 into gl(3)"]
    COV --> LIFT
    SH --> LIFT
    LIFT --> H["H_i = [P_i, C_i, S_i^r,g,b]
all transform as M -> R*M*R^T"]
    H --> ENC["SE(3)-equivariant backbone
(no CG tensor products)"]
    ENC --> TASK["Object recognition
(Gaussian-MAE) +
Action world model
(ManiGaussian)"]
    style LIFT fill:#e0e7ff,stroke:#2563eb
    style ENC fill:#dcfce7,stroke:#16a34a

2.3 统一矩阵嵌入

协方差提升：$C_i:=\log(\Sigma_i)\in\mathrm{Sym}(3)\subset\mathfrak{gl}(3)$。矩阵对数与正交变换交换，故 $\log(R\Sigma_iR^\top)=R\log(\Sigma_i)R^\top=\mathrm{Ad}_R(C_i)$。这保持精确 SO(3) 对称并把乘性 SPD(3) 流形映射到平坦向量空间 Sym(3)。位置提升：$P_i:=\widehat{\bar{\mu}_i}\in\mathfrak{so}(3)$，满足 $\widehat{R\bar{\mu}_i}=R\widehat{\bar{\mu}_i}R^\top$。光度提升：$S_i^{(c)}:=\Phi_{\leq 2}(f_{i,\leq 2}^{(c)})\in\mathfrak{gl}(3)$。收集等变特征 $H_i:=[P_i,C_i,S_i^{(r)},S_i^{(g)},S_i^{(b)}]\in\mathfrak{gl}(3)^{C_{eq}}$，加 Type-0 不变标量 $s_i$（不透明度、漫反射色、任务语义）。

2.4 动作条件高斯世界模型

把动作 $a_t=(v_t,q_t,c_t)$（平移、旋转四元数、夹爪开合）转换：$q_t\to$ 轴角 $\omega_t$，用 hat 映射提升为 $\mathfrak{so}(3)$：$H_t^\text{act}=[\widehat{v}_t,\widehat{\omega}_t]$，因 $\widehat{Rx}=R\widehat{x}R^\top$ 原生经伴随共轭变换。世界模型 $f_\text{wm}^\text{eq}$ 预测状态形变：

$$\Delta H_{t+1}=f_\text{wm}^\text{eq}([H_t^\text{state},H_t^\text{act}],c_t)$$

保证 $\mathrm{SO}(3)$-等变动力学 $\Delta H_{t+1}\mapsto\mathrm{Ad}_R(\Delta H_{t+1})$。

3. 关键实验

3.1 物体识别（ShapeSplat / Gaussian-MAE）

在 ModelNet10-4K 上评估。三个姿态分布：ID/ID（规范）、ID/$\mathrm{SE}(3)$（零样本变换）、$\mathrm{SE}(3)$/$\mathrm{SE}(3)$（姿态增强）。零样本变换下基线崩塌（G-MAE 18.28%），而 E3DGS-MAE 保持一致精度。

表1：ModelNet10 分类准确率(%)。基线在零样本变换崩塌，E3DGS 保持一致。

图2：池化不变描述符在输入旋转下的相似性。E3DGS（左）在不变 readout 后保持稳定，G-MAE（右）出现严重表示漂移。

图3：MAE 重建对比。G-MAE 在任意旋转下崩塌（颜色腐蚀、结构畸变），E3DGS-MAE 一致地重建几何和光度。

3.2 动作条件高斯世界建模（RLBench）

在 ManiGaussian 框架内、RLBench 10 任务 166 变体上评估。E3DGS 均分 50.4% vs ManiGaussian 44.8%，在精确几何铰接任务上优势显著。

表2：RLBench 多任务成功率(%)。E3DGS 在刚体铰接任务上优势显著。

图4：动态损失。E3DGS 加速刚体状态转移学习，更快收敛到更低稳态损失。

4.

位姿参数化

$$ g=(R,t)\in\mathrm{SE}(3) $$

高斯椭球参数

$$ \mathcal{G}_{i}=\bigl(\mu_{i},\Sigma_{i},\alpha_{i},\{f^{(c)}_{i,\ell}\}_{\ell=0}^{2}\bigr) $$

局限与展望

作者自述局限：

• $\mathfrak{gl}(3)$ 公式数学上限于 SH $\ell\leq 2$。虽原 3DGS 常用到阶 3，但 SH(0–2) 捕获大量光度子空间，是轻量 3×3 物理载流子能容纳的最大带宽。更高阶需更大载流子（定理2），实证留作未来工作。
• 参数高效但非运行时高效——矩阵收缩和不变双线性操作增加 GMACs，描述为参数高效而非广义运行时高效。

分析判断：核心贡献是表示论层面把"颜色当作几何"这一范式转变数学化、操作化——SH(0–2) 与 $\mathfrak{gl}(3)$ 共轭的精确等价使几何和光度在统一载流子下严格等变，绕过 CG 张量积这一计算瓶颈。实验证据有力：零样本变换下 95.26% vs 基线 18.28% 是戏剧性差距，证明等变约束的真实价值而非数据增强近似。RLBench 上刚体任务（open_drawer +12%、sweep +16%、put_in_drawer +20%）增益最大，但 close_jar 和 stack_blocks 等接触密集长时任务反而弱于基线，说明等变归纳偏置在接触动力学中可能过强——这些任务的对称性更复杂。未来方向应包括更高阶 SH 载流子的实证、以及处理接触/形变的扩展表示。

5. 总结

E3DGS 的核心思想是：把光度当作几何——通过表示论证明球谐系数与矩阵共轭等价，让几何和光度在统一载流子下严格等变，无需计算昂贵的 Clebsch–Gordan 张量积。为此它证明定理1（SH $\ell\leq2$ 与 $\mathfrak{gl}(3)$ 共轭等价）和定理2（任意 SH 阶的矩阵实现），构建统一矩阵嵌入把位置/协方差/光度提升到 $\mathfrak{gl}(3)$，用刚体等变骨干处理。实验上零样本旋转下分类 95.26%（基线崩塌至 18.28%），RLBench 刚体任务成功率均分 50.4%（vs 44.8%），动态损失更快收敛。该工作为 3DGS 等变学习提供了数学优雅且实用的统一框架，但 SH 阶带宽限制、运行时效率和接触动力学任务的适用性仍是开放问题。