#基准测试 (26)

源自阿里内部官方 AI 评审助手（两年数万开发者、百万级缺陷）：确定性流水线 + LLM Agent 混合架构，行级评审意见，内置 NPE/线程安全/XSS/SQL 注入规则集，支持 Claude Code/Codex/Cursor 等插件与 CI/CD 集成，附 200 真实 PR、1505 条标注缺陷的公开基准。OpenAI/Anthropic 兼容。

阿里open-code-review

Go43k3.1k133

InteractiveWorld：面向交互式 MLLM 助手的可验证人本环境

Meta 与 Duke 提出 InteractiveWorld：首个可验证的人—助手闭环交互环境。助手共享用户的第一人称视角，用自然语言给出指导；由 MLLM 驱动的人类智能体把指导落成 36 个动作原语之一，Isaac Sim 执行动作、更新世界状态并渲染下一段视角。在其之上构建 InteractiveBench：6 类共 120 个人工复核的多轮任务，成败由最终物体状态自动判定，不靠文本评判。12 个前沿 MLLM 的评测显示，最强的 Claude Fable 5.1 也只通过 41.7% 的任务，长程 Guidance 与 Planning 仅 20.0% 与 25.0%；失败任务的首个错误中 70.4%—85.7% 来自视觉感知与记忆。

Qinsi Wang, Wei Wen, Chong Zhou · 24次阅读 · 2026年10月25日

MLLMEgocentric AI Assistant

2026年10月25日

HA-VLN 2.0：面向离散与连续环境中动态多人交互的人本导航开放基准与排行榜

现有视觉语言导航研究大多分别面向离散或连续空间，并把行人简化为静态障碍。HA-VLN 2.0 统一两类导航范式，引入动态多人、个人空间约束和社会线索指令，发布 HAPS 2.0、HA-R2R、双仿真器、基线智能体、真实机器人验证与公开排行榜。基准包含 16,844 条社交指令，实验显示引入人本训练可提升成功率并减少碰撞，但在突发人群运动和受限通道中仍有明显失效。

Yifei Dong, Fengyi Wu, Qi He · 117次阅读 · 2025年3月18日

Human-Aware NavigationVision-and-Language Navigation

2025年3月18日

0:30

SpatialScout：VLM主动探索三维场景基准

@HuggingPapers · 88次播放 · 2026-10-22

具身智能视觉语言模型

PaperBanana-Interact：多轮人类反馈下的科研示意图精修

科研示意图很难一轮画到位：14 人用户研究里所有参与者在看到初稿后都要求继续修改，86% 认为精修后的图更令人满意。这项工作把 292 张专家手绘示意图上的 3518 条隐藏修改需求做成多轮基准 MTPaperBananaBench，并提出 PaperBanana-Interact：历史摘要器把多轮图文交互压成结构化记忆，多目标批评家与提示词精修器在每轮用户反馈下自我迭代至多 10 次。同一个单轮生成器 PaperBanana 起点质量分 50.3，配最强基线 DirectRefine 五轮后是 47.1、遗忘率 18.8%，换成 Interact 则是 61.2 与 12.6%。

Xueqing Wu, Ashwin Balasubramanian, Bingxuan Li · 138次阅读 · 2026年8月31日

多智能体Diagram Generation

2026年8月31日

MultINav：超越可达性的交互式导航基准与智能体框架

MultINav 统一「开门改变连通、开容器改变可见」两类交互及其顺序依赖，发布 3000 回合 MultINav-Bench 与三阶段智能体 MultINav-Agent；混合任务成功率 24.1%，较 MoMa-LLM 提升 22.4 个百分点。

Delun Li, Xueyao Wei, Rui Chen · 214次阅读 · 2026年10月12日

具身导航Interactive Navigation

2026年10月12日