#视频扩散Transformer (1)

SparkDiffusion：破解高稀疏陷阱，阿里北大清华把视频生成在单卡上加速 265 倍

北大、清华与阿里（Melon Group/Alibaba Research）提出 SparkDiffusion（arXiv:2609.23153）：先诊断出「高稀疏陷阱」——注意力稀疏到 97% 时逐步训练损失照降而终端生成质量停滞倒退，根因是流匹配类逐步监督无法约束终端误差（Oracle 干预实验证明高噪声 5 步修正即可消除大部分终端误差）。三段配方：短促稀疏预热（补偿式稀疏注意力，RoLA）→ 少步轨迹混合蒸馏（CrossDistill：高噪声 PCM 一致性 + 低噪声 DMD 分布匹配，3 步 CFG-free 学生）→ FP8 W8A8 量化与融合核。720P 长序列维持 97% 稀疏度，Wan2.1-T2V-14B-720P 单张 RTX 5090 端到端加速 265×（H100 220×），1.3B-480P 视频仅 1.3s；多样性最接近稠密参照，VBench 83.15 对稠密 83.69。代码开源。