PAPER DEEP DIVE
探索至关重要:逃离3D高斯泼溅模糊陷阱
针对3D高斯泼溅中的模糊陷阱问题,提出探索策略逃离该陷阱,提升3DGS新视角合成的清晰度与质量。
一、研究背景与动机
3D 高斯泼溅（3D Gaussian Splatting, 3DGS）通过各向异性高斯基元进行显式场景表示，在实时渲染和真实感新视角合成方面取得了突破性进展。与 NeRF 等隐式神经表示不同，3DGS 的每个高斯基元直接由相机投影模型推导出的梯度更新，中间没有神经网络。这种物理驱动的设计带来了高效率，但同时也埋下了一个根本性的隐患。
在实践中，研究者和用户反复观察到一种系统性失效模式：无论提供多少训练视角，场景中某些特定区域始终模糊不清。这些模糊区域并非随机分布，而是集中出现在两类位置——远处的背景内容（如山脉、天际线）和被遮挡的近场区域（如架子后面的草地）。这种模糊在充足的监督信号下仍然持续存在，说明问题不在于数据不足，而在于优化过程本身。作者将这一系统性失效命名为模糊陷阱（Blur Trap）。
现有改进 3DGS 的工作大致分为三条路线，但都未能触及问题根源：第一条路线优化致密化判据（如 AbsGS、Pixel-GS），但这些方法仍然依赖同一个带有偏差的梯度信号；第二条路线（如 HoGS）通过齐次坐标重参数化来更好地表示远场内容，但并未引入深度方向的新优化信号；第三条路线（如 3DGS-MCMC）向高斯位置注入 Langevin 噪声，虽然精神上最接近本文，但噪声被均匀施加于整个场景，并未针对两种不同的失效根源进行诊断和区分。
二、模糊陷阱的数学根源
2.1 2D 梯度主导效应
3DGS 中高斯基元的位置更新由三个梯度分支组成：2D 投影位置梯度、2D 协方差梯度和球谐系数梯度。作者通过实验发现，2D 位置分量在整个训练过程中比其他两个分量大两到三个数量级，因此 3D 位置更新实际上完全由 2D 重投影误差所主导。这意味着优化器本质上只在做屏幕空间的贪心优化。
2.2 梯度正交性定理
核心发现：通过严格推导相机投影管线，作者证明了从 2D 梯度推导出的 3D 位置梯度始终正交于从相机中心到高斯基元的视角方向。换言之，优化器只能在垂直于视角方向的平面内移动基元，永远无法沿视角射线的深度方向移动。这就是远侧模糊陷阱（Far-Side Blur Trap）的数学根源。
具体而言，设 $\mathbf{P}_{\mathrm{3D}}$ 为高斯基元的世界坐标，$\mathbf{P}_{\mathrm{cam}}$ 为相机位置，渲染管线经过视图变换 $\mathbf{V}$、投影变换 $\mathbf{P}$、透视除法和视口变换四个阶段。2D 位置梯度可分解为三个雅可比矩阵的乘积：
其中视口变换雅可比矩阵 $\frac{\partial\mathbf{p}_{\mathrm{2D}}}{\partial\mathbf{p}_{\mathrm{ndc}}}$ 的第三列恒为零，而透视除法雅可比矩阵的零空间恰好包含齐次坐标向量 ${}^{h}\mathbf{p}$。这两个几何事实的叠加导致梯度与视角方向的内积严格为零：
这个定理深刻地揭示了：3DGS 的可微渲染公式本身就没有提供任何沿深度方向的优化信号。基元无法通过梯度下降移动到正确的深度位置，远处区域的几何结构因此陷入永久模糊。
2.3 α 混合导致的梯度衰减
第二个失效机制来自 α 混合管线。在 3DGS 的前向渲染中，像素颜色由按深度排序的高斯基元累积混合而成：
其中 $T_i$ 是前 $i-1$ 个基元的累积透射率。由于 $T_i$ 随排序索引 $i$ 的增大而单调递减，排在后面的被遮挡基元对最终像素颜色的贡献极小，其回传梯度也被严重衰减。作者进一步证明了 2D 位置梯度幅值的上界：
由于每个 $\alpha_j \in [0,1]$，透射率序列单调非递增：$T_0=1\geq T_1\geq T_2\geq\cdots\geq T_N\geq 0$。这意味着越靠后的基元收到的梯度信号越弱，其周期性统计的梯度幅值始终无法达到致密化阈值 $\tau_{\text{split}}$，导致致密化失败。这就是近侧模糊陷阱（Near-Side Blur Trap）的形成机制——被遮挡区域的基元因为梯度被 α 混合衰减而无法获得致密化机会。
2.4 模糊陷阱的形成
综合屏幕空间梯度主导、深度梯度缺失和混合致密化失败三重因素，3DGS 的优化形成了一个"纯利用"（exploitation-only）的动态过程。确定性梯度下降无法逃离这个局部最优盆地，因为所需的深度探测信号在渲染公式的数学结构层面就被压制了。这种系统性优化停滞不是暂时的优化阶段，而是可微渲染管线的固有后果。
三、方法：两个最小探索算子
3.1 设计原则
模糊陷阱的根因在于可微渲染管线的物理公式。参数更新和自适应致密化都完全依赖回传梯度，优化过程继承了系统性偏差。要打破这一僵局，核心设计原则是：绕过纯梯度驱动的利用过程，注入与 2D 梯度幅值无关的显式探索。
作者刻意采用最简单的算子来验证探索本身的内在有效性。对于远侧模糊陷阱，探索需要建立沿深度轴的更新通路；对于近侧模糊陷阱，探索需要主动触发梯度低于阈值 $\tau_{\text{split}}$ 的基元的致密化。这种最小化设计的哲学是：证明 3DGS 优化缺失的是探索原则本身，而非精密的工程改进。
3.2 随机播种（Random Seeding）
随机播种算子在每次致密化迭代中，在所有现有高斯基元的最小包围盒内均匀采样 $N_{\text{seed}}=20$ 个候选位置，将新的种子高斯注入到现有基元集合中。这些种子直接探测梯度更新无法到达的深度区间，绕过了视角梯度正交性约束。
这个算子的精妙之处在于其自清理机制：落在无效或空白区域的种子无法降低光度损失，会被原生的不透明度剪枝机制自动移除；而落在几何合理区域的种子则被标准 2D 重投影损失引导，在垂直于视角方向的平面内精炼位置，最终触发自适应致密化。这形成了一个互补优化循环：随机播种提供全局深度探索，确定性梯度驱动局部平面利用。
3.3 随机分裂（Random Splitting）
随机分裂算子绕过依赖梯度的致密化判据，主动在整个场景中针对大尺度高斯基元进行探索性分裂。具体而言，根据基元的平均尺度进行采样，每次迭代只分裂一小部分（$N_{\text{split}}=20$）以保持训练稳定性。这使得被遮挡区域能够绕过 2D 梯度的压制，主动参与致密化过程。
一旦这些区域被更细的基元填充，它们会在无遮挡训练视角下快速收敛到最优配置。随机分裂直接解决了 3DGS 的根本限制：在遮挡区域，α 混合衰减稀释了 2D 位置信号，使基元无法达到统计分裂阈值。随机分裂通过将结构精炼与梯度幅值解耦来恢复这一能力。
四、实验结果
4.1 跨数据集重建质量
作者在 Mip-NeRF 360、Tanks & Temples、Deep Blending、OMMO 和 DL3DV 五个基准上进行了全面评估。结果显示，种子探索和分裂探索一致地提升了重建保真度，两者的组合在大多数基准上达到最优性能。
| 方法 | Mip-360 PSNR↑ | Mip-360 LPIPS↓ | T&T PSNR↑ | T&T LPIPS↓ | DB PSNR↑ | OMMO PSNR↑ | DL3DV PSNR↑ |
|---|---|---|---|---|---|---|---|
| 3DGS | 27.52 | 0.215 | 23.73 | 0.169 | 29.80 | 30.49 | 27.16 |
| HoGS (50K) | 27.55 | 0.201 | 24.23 | 0.160 | 29.21 | 30.66 | 28.16 |
| Seed Exp. | 27.68 | 0.214 | 24.30 | 0.163 | 29.78 | 30.85 | 27.74 |
| Split Exp. | 27.95 | 0.192 | 24.30 | 0.139 | 30.01 | 31.29 | 28.47 |
| Seed & Split | 27.96 | 0.195 | 24.37 | 0.139 | 29.98 | 31.27 | 28.43 |
从数据中可以观察到几个重要模式：种子探索在无界场景（如 T&T）中提升明显，因为它能有效探测远处深度；分裂探索在遮挡区域（如 OMMO）表现突出，PSNR 从 30.49 提升到 31.29，LPIPS 从 0.142 降到 0.121。两者的组合在大多数场景下达到最优，验证了两种模糊陷阱可以被同时解决。
4.2 高斯基元分配
| 方法 | Mip-360 | T&T | DB | OMMO | DL3DV |
|---|---|---|---|---|---|
| 3DGS | 2.72M | 1.57M | 2.48M | 1.78M | 1.14M |
| HoGS (50K) | 4.40M | 2.16M | 2.43M | 2.01M | 1.61M |
| Seed Exp. | 2.62M | 1.51M | 2.33M | 1.68M | 1.11M |
| Split Exp. | 2.58M | 2.13M | 0.86M | 1.77M | 2.13M |
| Seed & Split | 2.53M | 2.11M | 0.79M | 1.77M | 2.11M |
这个表格揭示了一个关键洞察：在 Deep Blending 数据集上，分裂探索使高斯数量减少了 65%（从 2.48M 降到 0.86M），同时保持更优的几何保真度。而在复杂场景（T&T、DL3DV）中，策略自适应地增加基元分配以解决精细几何细节。这种自适应分配减少了简单区域的冗余，同时精炼复杂结构，体现了"将计算分配到最能提升保真度的地方"的原则。
4.3 4D 高斯泼溅的模糊陷阱
由于共享优化管线，模糊陷阱自然地从 3DGS 传播到 4D 高斯泼溅（4DGS）。在 Neu3D 数据集上，尽管有充分的多视角覆盖，遮挡易感区域仍然严重模糊——如透过窗户可见的远处建筑、室内瓶子上的文字、被火焰动态遮挡的牛排纹理。作者仅将 $N_{\text{split}}=5$ 的极稀疏随机分裂整合进 4DGS 框架，就成功绕过了模糊陷阱。
| 方法 | PSNR↑ | SSIM↑ | MS-SSIM↑ | LPIPS-vgg↓ | LPIPS-alex↓ |
|---|---|---|---|---|---|
| 4DGS | 30.575 | 0.9314 | 0.9659 | 0.1507 | 0.0602 |
| Split Exp. | 30.820 | 0.9369 | 0.9689 | 0.1380 | 0.0488 |
| Split & Seed | 31.085 | 0.9379 | 0.9702 | 0.1377 | 0.0483 |
增益在感知保真度（LPIPS）上最为显著，从 0.1507 降到 0.1377。这种极小强度的干预就能解决严重模糊，证实了标准分裂机制因严格依赖 2D 位置梯度而受到信号衰减的根本性瓶颈。
4.4 消融实验：深度监督 vs 随机探索
为了验证深度方向信号的关键作用，作者使用 Depth Anything V2 生成伪深度图，并将深度正则化项 $\mathcal{L}_{\text{Depth}}$ 集成到标准 3DGS 管线中。结果显示，虽然伪深度监督一致地提升了保真度，证实了深度监督缺失是远侧模糊陷阱的主要驱动因素，但其增益仍不如稀疏随机播种。更关键的是，将 $\mathcal{L}_{\text{Depth}}$ 与随机探索结合反而产生了收益递减——不准确的深度信号确定性地约束了优化器，主动压制了随机探索动态。
另一个消融实验比较了随机分裂与简单降低阈值 $\tau_{\text{split}}$ 的效果。降低阈值无法带来有意义的保真度提升，反而引入了大量冗余基元。相比之下，即使稀疏应用随机分裂也能高效提升重建质量，同时保持显著更精简的基元分配。这证实性能增益来源于有针对性的结构探索，而非暴力致密化。
五、方法工作流
六、局限性与讨论
七、总结与启示
本文最重要的贡献不在于两个具体算子本身，而在于诊断：它从数学上证明了 3DGS 的模糊陷阱源于渲染管线的物理公式——视角梯度正交性和 α 混合衰减系统性压制了深度方向信号。两个极简的随机探索算子（随机播种和随机分裂）的成功证明了一个深刻的结论：重建瓶颈源于优化动态而非模型容量。
这一发现对整个可微渲染领域具有方法论意义：它将"探索-利用"平衡这一强化学习中的经典概念引入了 3D 重建优化，表明确定性梯度下降在非凸优化中存在系统性盲区，显式探索是可微渲染的必要组成部分。未来的工作可以在此基础上设计更精巧的探索策略，但本文已经证明了：即使是最简单的随机探索，也足以打破 3DGS 优化中的根本性僵局。
