SOTA · 视觉与生成

3D 与世界模型

3D 资产生成、场景重建、长时序世界预测

3D 与世界模型是视觉生成里离 AGI 最近的一档,因为它的输出不是像素而是结构:网格、体素、辐射场,以及「在这个状态下采取这个动作,世界会变成什么」的预测。3D 资产生成解决的是把二维创意变成可进引擎、可打光、可从任意视角看的物体,这是游戏、工业设计、数字孪生的入口;世界模型解决的是让智能体在脑子里预演行动后果,这是具身智能与长程规划的前提。两者共享同一套几何理解能力,所以两者放在同一个域里:一边是资产侧(单物体、拓扑、材质、可编辑性),一边是场景与预测侧(重建、长时序一致性、动作条件生成)。判断这个域的进展,看的是几何正确性,不是渲染图好不好看——预览图可以骗人,绕一圈的转台视频骗不了人。

尺子几何一致性、场景重建、长时序预测

SOTA 阶梯

3D 与世界模型游戏制作梯顶C

Meshy 7:把「生成之后」接完的 3D 资产平台——拓扑、PBR、绑定、打印可行性与 MCP 一条链

Meshy 的主打是 Meshy 7(2026)的「true-to-reference」——生成结果与输入参考图的对齐度,官方称单图转 3D 一分钟内。它真正的差异点不在生成,而在把生成之后的工程约束接完:Smart Topology 约 10 秒给可控面数的干净拓扑、一键 PBR 全套(albedo/normal/metallic/roughness,HD 4K)不需搭 shader、人形与四足自动绑定配 600+ 动作预设、打印侧生成即 watertight 且导出前自动修复,导出 GLB/FBX/OBJ/STL/USDZ/3MF 直连 OrcaSlicer 与 Bambu Studio。给 agent 的入口也齐:REST API 覆盖每项生成能力、MCP server 可接进 Claude/Cursor、CLI 一条命令出成品。规模口径 100M+ 模型 / 12M+ 用户,免费档 100 credits/月。边界:无公开量化基准(质量星级是自评)、credits 单价与档位关系未公开、「一分钟内」不含后处理。

<1min官方宣称:单图 → 3D 模型厂商宣称 · 2026

产品Meshy官网

3D 与世界模型游戏制作梯顶C

Tripo:把「一张图到能进引擎的资产」压成十秒级工序

VAST 的 Tripo 是商用文/图生 3D 服务里工程化最完整的一条:输出带 UV 与 PBR 材质的网格、支持四边面重拓扑、提供 API 与 Blender/Unity 插件,直接对进游戏与电商资产流水线。它的短板同样明确——单体物件强、复杂装配与精确尺寸弱,宣称的十秒级耗时是厂商口径,没有复测。

<10s官方宣称:单图 → 可用网格厂商宣称 · 2025-06

产品VAST官网

3D 与世界模型设计与前端梯顶C

Hunyuan3D 2.1:权重开放的 3D 生成基线,自托管路线的默认起点

腾讯把形状与纹理两阶段都放出了权重,并给出 PBR 材质输出,这让「3D 生成」第一次有了一个可以在自己机器上跑、可以微调、可以塞进内部管线的参照实现。它的价值不在跑分领先,而在可复现:任何关于 3D 生成能力的判断,都可以拿它当基线去比。

产品Tencent官网 Repo

图像生成设计与前端梯顶C

FLUX:把图像生成从「出图」推进到「可控编辑 + 开放权重」的那条主线

Black Forest Labs 的 FLUX 家族用整流流(rectified flow)Transformer 做图像生成,并放出 Apache-2.0 的 dev 档权重,是开源侧最重要的图像基线;Kontext 一档把「按指令改这张图的局部而不动其余」做成了可用能力。采集库里另有 FLUX 3 的发布记录,厂商把它定位成统一图像/视频/音频的世界模型,这一主张记为待核验。

Apache-2.0开放权重档位(dev)厂商宣称 · 2024-08

产品Black Forest Labs官网 Repo

图像生成游戏制作C

Scenario:为游戏美术做「风格一致的批量资产」,而不是做单张好看的图

Scenario 把图像生成包装成游戏工作室的资产产线:用自有美术数据训练风格化生成器,批量出图标、道具、角色与场景件,并通过 MCP/插件把生成能力接进 Blender 等工具。它的价值主张是「一致性」与「批量」,这两件事恰恰是通用文生图模型最弱的地方。

产品Scenario官网

3D 与世界模型设计与前端D

TRELLIS:用稀疏结构 latent 统一 3D 资产表示的研究基线

微软研究院的 TRELLIS 提出一种稀疏结构化 latent(SLAT),让同一个生成结果可以解码成辐射场、3D 高斯或网格三种表示,并把「先生成稀疏体素结构、再在活跃体素上生成特征」拆成两段。它是理解当代 3D 生成技术路线的关键论文级资产,不是拿来交付产品的工具。

研究Microsoft ResearchRepo

3D 与世界模型

MCP for Blender:32 个工具把 Blender 变成 LLM 可直接驱动的 3D 工作台

原名 blender-mcp,第三方社区插件(README 首屏即声明非 Blender 官方出品),MIT,Python,同类 3D MCP 里星标最高的一条。PyPI 包已改名 mcp-for-blender,但 uvx blender-mcp 依然能跑、老配置不用动。架构只有两个组件:Blender 进程内的插件起 socket server 真正执行命令(只有那里有 bpy、当前场景与 UI 线程),独立进程里的 MCP server 做协议翻译,中间是一套 JSON over TCP,默认 localhost:9876。源码里的 @mcp.tool() 共 32 个,分四层——感知(get_scene_info / get_object_info / get_viewport_screenshot 以 MCP Image 返回,构成改一步看一眼的闭环)、查资料(bpy_api_lookup / describe_node_type,让它查而不是猜 socket 顺序与枚举名)、执行(execute_blender_code 兜底、set_texture、export_scene 出 GLB/FBX)、取与生成资产(Poly Haven 语义检索 + 走 .blend 源文件 + 导入写署名属性、Poly Pizza 约 10600 低模可按真实尺寸落地且 CC-BY 自动写署名、Sketchfab、Hyper3D Rodin 文生/图生 3D、腾讯混元 3D 并区分国内 ai3d 与国际 hunyuan 端点)。安全上任意代码执行是设计而非漏洞:可选 safe mode(BLENDER_MCP_SAFE_MODE=1)执行前静态校验,拦文件读写/子进程/网络/常驻代码,建模渲染保存导入导出照常放行,被拦脚本连原因一起返回给模型让它改写重试。内容遥测默认关闭,另有只能关不能开的 disable_telemetry 工具。29.2k★。本地未跑通 Blender 与该插件的组合,记为待复现。

29kGitHub Star 数

官网 Repo

3D 与世界模型

Text-to-CAD:给编码代理装 CAD 超能力的开源插件与技能套件

text-to-cad 把参数化 CAD 变成代理的本地技能:自然语言或图片生成 STEP 模型并导出 STL/3MF/GLB,附 DFM 审查、工程图纸、URDF/SRDF/SDF 机器人描述与 3D 打印、钣金、CNC 对接;内核 build123d/OCP,形态是 12 个技能 + cadgen 引擎 + 本地 CAD Viewer。MIT,约 2.06 万星。

21kGitHub Star 数

官网 Repo

3D 与世界模型

img2threejs:把参考图重建为纯代码Three.js模型

给一张参考图,在编码代理内把物体重建为纯代码Three.js模型;八段流水线与确定性门禁保证保真,交付可diff的TypeScript工厂。

15kGitHub Star 数

官网 Repo

3D 与世界模型

Modly：在自己 GPU 上把一张图变成 3D 网格的开源桌面应用

Modly 是 Lightning Pixel 开源的图生 3D 网格桌面应用（Windows / Linux / Apple Silicon macOS，v0.4.3，MIT 加署名条款），用你自己 GPU 上的开源模型把一张照片变成可用网格，推理全程不出机器。架构是 Electron 壳托管绑定 127.0.0.1:8765 的 Python FastAPI 后端；默认模型 TripoSR（约 2.4GB），Hunyuan3D 2 Mini、TripoSG、Trellis2 GGUF 等以「GitHub 仓库 + manifest.json」的扩展形式安装，manifest 里声明多源权重 model_sources、共享权重 weight_groups，以及带 size_gb / vram_gb 的可分别安装量化档 weight_variants。生成流程用节点图工作流表达（Image → Generate Mesh → Add to Scene），场景走 modly.scene-manifest.v1 契约，导出支持 glb/stl/obj/ply，并为 OrcaSlicer 单开一条带毫米缩放的 stl/obj 打印路径。对外还给了三条 agent 通路：stdlib-only 的 JSON-first CLI（仓库自带 SKILL.md）、暴露 9 个 modly_* 工具的 MCP server、以及可跑本地 llama.cpp GGUF 池或外部模型端点的应用内工具调用 agent。AMD ROCm 自动检测、Apple Silicon 内存预算串行工作流与 Jetson headless 运行都附有实测数据的文档。

8.1kGitHub Star 数

官网 Repo

3D 与世界模型

image-blaster：一张图生成可碰撞的 3D 世界

Claude Code 上的 image-to-world 技能集：把单张图拆成带碰撞网格与真实尺度的可探索泼溅环境、可交互的物体网格和音效，五分钟内出一版。

5.1kGitHub Star 数

Repo

3D 与世界模型

lidar_localization_ros2:ROS 2 先验地图 3D 激光定位,冷启动自己找位姿

给一张点云地图和一路 LiDAR,就把机器人位姿发布在地图系:NDT/GICP 多后端、IMU 预积分与连续时间去畸变、Nav2 集成;冷启动用分支定界全局搜索初始位姿,跟踪丢失后由带安全闸的监督器重新播种,公开数据集基准全部写进文档。

580GitHub Star 数

Repo

3D 与世界模型

image-to-3d-pipeline:多模型图生3D的公平评测与浏览器探索流水线

同一组 AI 渲染图喂给 TRELLIS V1/V2 与 TripoSR,用写死的 Blender EEVEE 巡检轨道加 0–2 五轴评分卡逐个打分,胜出网格进 Three.js 浏览器探索器。Apache-2.0,仓库自带 1.5 MB 成品 GLB。

258GitHub Star 数

Repo

具身智能

Genesis World：面向物理 AI 的统一多物理仿真平台

Genesis AI 开源的物理 AI 仿真平台：一套 Pythonic API 之下是多物理引擎（刚体、FEM、MPM、PBD、SPH、Stable Fluid、IPC）、Nyx 路径追踪渲染器，以及跨平台 Python-to-GPU 编译器 Quadrants。它的定位是机器人基础模型的评测引擎而不是数据工厂——单卡 3 万并行环境跑出 43M FPS；在零样本 real-to-sim 协议下，仿真与真实的评测一致性皮尔逊相关 0.8996、平均最大排序违背 0.0166。Apache 2.0，29.9k star。

30kGitHub Star 数

官网 Repo

论文与深读

2026-11-010 元搭出舞台级 3D 动漫 MV：GPT、Muse 与 Opus 5.5 的完整制作链Hailey 用 GPT 拆分角色与分镜、Muse 生成舞蹈、Claude Opus 5.5 编写 Three.js 舞台，把绿幕动作接入节拍与镜头，展示 AI 视频走向可编辑制作链的方法与局限。

2026-10-29L3G-World：潜在三维高斯记忆实时世界生成L3G-World 以潜空间三维高斯记忆保存场景：新区域新增、旧区域残差修正，直接渲染为扩散模型潜变量，兼顾长时一致性与实时性，H100 达 9.02 FPS。

2026-10-29NanoDreamer：只有 750k 参数，却在想象中学会玩 5 个游戏作者从 autograd 和张量库开始，在 MacBook 上造出 750k 参数 Dreamer。Actor 完全在想象 rollout 中训练，最终在 5 个 MinAtar 游戏全部超过随机基线；文章完整保留奖励错位、critic 过度乐观、CNN/多步 rollout 重建与消融结果。

2026-10-26一句话生成可导出的 3D 动作：prompt2rig 如何把 AI 视频变成手指级 Mixamo 动画prompt2rig 用视频模型演出一句动作描述，再以浏览器 MediaPipe 和本地 GVHMR/WiLoR 双路重建身体与手指，重定向到 Mixamo 并导出 GLB。拆解流水线、加速、局限与许可边界。

2026-10-23UniAction：面向世界模型的统一动作条件化UniAction 将力、相机指令、手部姿态与机器人姿态统一表示为稀疏动作元素，通过原生时空位置编码与基数校准注意力共享一个视频世界模型。

2026-10-23RynnUnify：迈向统一具身大脑RynnUnify以16B双分支统一具身大脑，交错语言推理与视频世界建模，并扩展至机器人动作控制。

2026-10-21智能体世界动作模型（AW-0）近期的世界动作模型为机器人操作提供了视觉前瞻与未来预测，但缺少显式的组合式技能复用机制。智能体机器人将基于代码的规划与推理同可复用技能相结合，却往往缺少对物理动力学的预测性支撑。我们提出 AW-0，一个将基于代码的规划与联合视频、动作预测相融合的智能体世界动作模型框架。我们在统一的混合 Transformer 架构中，将代码、未来视频与机器人动作作为三条耦合的生成流联合建模。该架构中的代码专家生成参数化技能例程与控制逻辑，视频专家与动作专家则生成未来视觉状态与底层运动指令。代码承担两种互补角色：它在世界模型内部组织多步预测与控制，并把技能表示为可供后续智能体执行复用的程序。我们进一步提出自动化整理流程，为机器人视频与人类视频轨迹标注对齐的程序，并将反复出现的例程整合为可复用技能库。在 RoboTwin 2.0 与真实双臂操作任务上的评估显示，该方法相较视觉-语言-动作模型与世界动作模型基线提升了任务表现，并在语言遵循、语义推理与鲁棒性方面取得增益，表明智能体代码能够在世界动作模型中连接规划、预测与执行。

2026-10-2010 款面向商业与轻制造的专业级树脂 3D 打印机：从 4,500 美元的 HeyGears Reflex 2 Pro 到按报价出售的 Axtra3D Lumia X1横评 10 台 4,000-100,000 美元档专业树脂机：成型体积、LCD/DLP/SLA 光路、开放材料生态与清洗固化后处理如何决定真实产能，以及何时直接买打印服务更划算。

2026-10-15OneWM：统一因果训练能否让世界模型与动作模型相互促进？世界模型预测给定动作会带来怎样的未来观测，动作模型则根据视觉上下文生成控制。既有世界动作模型常让视频分支只接触噪声动作，或完全屏蔽动作信息，难以显式学习“指定动作会造成什么变化”。OneWM 在共享的视频—动作混合 Transformer 中引入全干净、部分干净与全噪声三种动作条件：干净动作作为未来视频的因果条件，噪声后缀作为动作去噪目标，并通过时间因果联合注意力耦合两个专家。作者在 LIBERO、LIBERO-Plus、RoboCasa365 与三项真实机器人任务上同时评估策略学习和世界预测，结果显示，指定动作的世界建模能提升策略，并改善分布偏移下的泛化；动作生成监督也会改善多视角未来视频预测，形成双向收益。

2026-10-13Thinker-WM：共享多模态具身世界模型统一建模 RGB、度量深度与机器人动作，在共享表征中完成世界预测、策略推断与多模态生成。

2026-10-13面向世界动作模型的无数据持续学习：整流生成回放基于预训练视频生成模型的世界动作模型（WAM）能快速适配新机器人任务，但在顺序微调下会遗忘旧任务。经验回放（ER）靠重演旧任务数据缓解遗忘，而机器人场景中策略往往只以权重形式部署、训练数据并不随权重共享，旧数据常常不可得。本文研究 WAM 能否通过重生成自己的过去实现无数据持续学习：关键观察是 WAM 可以自回归地重生成旧任务的完整 rollout 并回放以缓解遗忘，但直接回放原始 rollout 仍远不如回放真实数据，原因有二——其一，WAM 无法识别任务已完成，在任务结束后继续生成无目的动作；其二，开环生成下生成的动作会逐渐偏离生成的观测。为此提出整流生成回放 R²-WAM：用智能体式评估器在任务完成处截断生成的 rollout，并滤除动作与观测物理不一致的 rollout。在 LIBERO 四个套件与五个真实世界任务上，R²-WAM 相比顺序微调将遗忘降低 90% 以上，且在完全不接触旧任务数据的前提下接近经验回放的效果。分析进一步揭示 WAM 的遗忘集中在逆动力学建模：被遗忘的 WAM 仍能生成旧任务视觉上合理的观测，但其生成的动作已经失败。

2026-10-13LidarVerse：跨任务、跨传感器的实时统一 LiDAR 世界模型NVIDIA 等提出 LidarVerse：统一条件生成框架下的实时 LiDAR 世界模型。通用 tokenizer 将 32/64/128 线距离序列映射到共享潜空间，双向教师模型以 LiDAR 前缀、HD-Map、持久空间缓存与可选文本为条件；蒸馏出的四步自回归因果学生模型配合滚动时序 K/V 缓存与世界对齐空间缓存，在单张 H100 上以 11 FPS 实现长时程一致 rollout，在三种评测协议的大部分指标上达到 SOTA。

2026-10-12Agentic CAD 的十个检查器：每次模型更新后跑一遍的验收回路David Bar 给 agentic CAD 配的十个检查器：规格、运动、几何、边、可制造性、紧固件、孔、图片、已接受问题、以及测试检查器本身，基于 build123d 用 Python 写成，每次模型更新后运行。

2026-10-08AgentGarten：给进化智能体的代码世界引擎维护显式状态与规则，共享的实时神经渲染器把几何条件渲染成第一人称画面；预训练智能体只看画面练习，每轮把经验写进 playbook 传给下一轮。

2026-10-06RIWANav：世界模型与导航策略的递归自我改进城市长距离导航里一步走偏会顺着后续观测一路放大，而模仿学习只监督专家的成功动作、真机试错又太贵；用冻结世界模型做想象反馈则会随策略演化逐渐失准。RIWANav 把「动作条件世界模型 + 策略」的耦合适配写成任务级递归自我改进：Cosmos 世界模型为同一状态下采样的 4 个候选路点块想象未来 17 帧，打分后经 GRPO 的组内相对优势更新策略，并配 KL 与专家锚点两项防漂移；改进后的策略再提出动作，只保留与记录专家运动局部一致（ADE/MADE/AOE/MAOE 加权一致性 Q≥0.35）的动作-视频对进入策略诱导回放池，按相对初始策略的行为新颖度与当前预测误差排优先级去微调世界模型，K=19 轮闭环。UrbanNav test-seen 成功率 89.92%、SPL 86.87%，test-unseen 88.25%/82.59%，比冻结世界模型的 GRPO-WM 高 7.94/6.50 个百分点，导航误差从 3.3314 降到 2.0429；世界模型在策略动作上 L1/LPIPS 各降 3.2%/7.1%。已在自建移动机器人上完成城市实机验证。

2026-10-01Odyssey 发布 PROWL-2：保真度门控双课程——让世界模型的失败变成策略进步的燃料，而不是策略错误的来源Odyssey（联合 UCL AI Centre 与巴塞尔大学）10 月 1 日发布 PROWL-2：首个把「任务策略课程」与「世界模型修复课程」耦合进同一持续训练循环的框架。核心洞见：想象训练中高学习信号的轨迹是歧义的——可能是策略真弱点，也可能只是世界模型预测错了；不加分拣地优先学习等于强化模型自己的幻觉。PROWL-2 用一道保真度门把「有用」与「可信」分开判定：可信的高潜力想象经验进策略课表，不可信的连同其已存储的真实延续一起送进修复池，由随机初始化+KL 锚定的开发者策略在真实环境中修复，修好重审再放行。SMACv2 九场景全部第一（5v5 提 4–18%、10v10/10v11 提 20–91%）；MQE 难任务大幅领先——Gate-3 70.4% vs 骨干 29.8%、Shepherd-Hard 28.2% vs 7.3%，其余基线全为 0。消融证明两份课表并非可加：只修不排课收益边际，只排课不加门在九个场景全部低于骨干，加门后同一套课程变成最大单项增益。框架对世界模型架构与 MARL 算法完全不可知，后续指向人形机器人协作与长视野多智能体游戏。

2026-09-30Social-WM：面向机器人社交导航的安全感知隐空间世界模型社交导航不只要求机器人预判动作后果，还要求它判断一条名义动作在当前物理与社交约束下是否真能执行。Social-WM 从第一视角 RGB 序列训练一个轻量隐空间世界模型，把名义动作与可实现动作之间的系统性偏差直接用作安全信号：冻结的 DINOv2-small 把 224×224 画面编码为 16 个 384 维 token，六层 Transformer 在 T=8 的历史上预测 H=8 的未来隐状态；再用可实现逆动力学目标，以里程计恢复出的真实运动而非下发指令来监督隐空间转移。部署时 CVAE 一次提出 K=8 条动作块，全部在世界模型中想象，由逆动力学估计每条转移的可实现动作，残差超阈值的候选在执行前即被判为不安全并剔除，其余按目标代价择优。在 Habitat Social-HM3D 上取得 63.77% 成功率与 94.37% 个人空间合规率，与人碰撞率降至 21.67%（相对 NavThinker 降低 44.6%），零样本迁移到 Social-MP3D 仍为成功率最高、碰撞率最低，全程只用离线 RGB 轨迹，不需显式行人跟踪、特权人体状态或在线强化学习。

2026-09-28WB-WAM：清华叉院把全身动作监督塞进视频预训练，人形数据效率提升 3 倍清华交叉信息研究院、雄安人工智能研究院与墨尔本大学（Hang Zhao 组）提出 WB-WAM：72 维共享物理动作空间（身体 29 + 根部 3 + 双灵巧手 20+20）把 1,880.2 小时九源异构视频/动捕数据的部分标注统一进掩码流匹配的生成式视频预训练，再经 PICO 第一人称演示中间训练（22h/73 任务，GMR 重定向+约束 IK+MINT）与带前向运动学损失的真机后训练落到宇树 G1 + Wuji 灵巧手。仿真 HumanoidArena 七任务全胜（81.9%）；真机五任务 84.0% 超 OpenWAM 的 80.0%（ACT 仅 20%、Fast-WAM 仅 6%）；PICO 中间训练让 30 条真机演示达 73.8%，超过 100 条直训的 65.0%——真机数据省 70%。

2026-09-26World SLAM Model：面向SLAM与导航的联合世界建模WSM 将 SLAM 的持续记忆、增量状态更新与局部后端优化嵌入导航世界模型，在统一 Mixture-of-Transformers 中联合预测未来视觉、深度和相机位姿，以纯 RGB 输入完成闭环导航，并同时保持准确的定位与稠密建图能力。

2026-09-24Rolling-WAM：把世界动作模型的去噪摊到每个重规划周期南加州大学、布朗大学、复旦大学与丰田研究院提出 Rolling-WAM。世界动作模型（WAM）把未来视觉预测与动作生成耦合，但标准做法要求每个重规划周期把整个预测视野从纯噪声完整去噪一遍，延迟巨大、闭环反应迟钝。作者指出 receding-horizon 控制实际只执行视野的开头一小段，未被执行的尾巴含有价值却被丢弃。Rolling-WAM 维护一个滑动窗口，窗口内越靠未来的 chunk 噪声越高：滚动模式下 chunk j 的噪声为 σ((j-1+τ)/W)，第一个 chunk 在周期结束时变干净，且满足 σ_{j+1}(0) = σ_j(1) 的衔接条件，因此窗口前移后被保留的 chunk 恰好处于新位置的起始噪声，可直接接着去噪。每个 chunk 仍走满 N 步，但计算被摊到多个周期，稳态每周期只需 N/W 步。默认 N=10、W=5、K=16，即维持 80 个动作的预测窗口而每次更新只跑 2 步去噪。注意力掩码上，每个动作 chunk 可 attend 整个窗口的视觉特征，动作之间的直接注意力仅限同 chunk，视频 token 不 attend 动作 token，训练与推理一致。结果：稳态重规划 215 ms 对比 Joint-WAM 的 978 ms，加速 4.5 倍，比不做未来想象的 Fast-WAM（548 ms）还快，且比两个 VLA 基线（285/296 ms）更快；LIBERO 98.1%、RoboTwin 2.0 93.3%（全场最高，且无具身预训练即超过预训练的 LingBot-VA）、Unitree G1 真机三任务 85.0%。消融显示窗口 W=5 最优而 W=8 掉到 69.5%，且跨 chunk 直接动作注意力反而有害——动作应借道共享视觉未来协调。

开源项目

rsasaki0109/lidar_localization_ros2BSD-2-Clause