Skip to content
RobotWorld
← 标签

#块因果注意力 (2)

瀑布流分页
LeVJEPA：无需启发式技巧的高效可扩展视频预训练

LeVJEPA：无需启发式技巧的高效可扩展视频预训练

LeVJEPA 用单个编码器、单个损失函数和一个固定超参数（λ=0.02）完成视频自监督预训练：不变性损失加 SIGReg 正则从数学上排除表征坍缩，无需目标编码器、预测器、stop-gradient 或像素重建；训练计算量比 V-JEPA 2 少 5.6–20.8 倍，FLOP 对齐下 ImageNet-1K 领先 7.6 个百分点，并免费获得块因果注意力，为流式感知与自回归世界模型铺路。

Lukas Kuhn, Lucas Maes, Giuseppe Serra2026年8月27日
联合嵌入预测架构SIGRegvideo-SSL2026年8月27日
Patch Policy：利用稠密视觉表征的高效具身控制

Patch Policy：利用稠密视觉表征的高效具身控制

Patch Policy 提出一种轻量 Transformer 策略架构，直接消费冻结预训练 ViT 的稠密 patch 特征，避免全局池化带来的空间信息损失，也不需要亿级参数 VLM 的推理开销。其核心是 block-causal 注意力掩码：帧内 patch 全注意力，帧间严格因果，从而兼容 VQ-BeT、Diffusion Policy 等标准策略头。实验表明，在四个仿真和三个真实操作任务中，Patch Policy 相对全局特征策略平均提升 40%，并超越微调 OpenVLA-OFT 约 18%，同时参数量仅为后者的约 0.7%。

Gaoyue Zhou, Zichen Jeff Cui, Ada Langford2026年7月20日
Patch Policy稠密视觉表征DINOv22026年7月20日