
InteractiveWorld:面向交互式 MLLM 助手的可验证人本环境
Meta 与 Duke 提出 InteractiveWorld:首个可验证的人—助手闭环交互环境。助手共享用户的第一人称视角,用自然语言给出指导;由 MLLM 驱动的人类智能体把指导落成 36 个动作原语之一,Isaac Sim 执行动作、更新世界状态并渲染下一段视角。在其之上构建 InteractiveBench:6 类共 120 个人工复核的多轮任务,成败由最终物体状态自动判定,不靠文本评判。12 个前沿 MLLM 的评测显示,最强的 Claude Fable 5.1 也只通过 41.7% 的任务,长程 Guidance 与 Planning 仅 20.0% 与 25.0%;失败任务的首个错误中 70.4%—85.7% 来自视觉感知与记忆。
Qinsi Wang, Wei Wen, Chong Zhou · 17次阅读 · 2026年10月25日
MLLMEgocentric AI Assistant
2026年10月25日