Skip to content
←返回能力前沿雷达

SOTA · 智能体与运行时

智能体运行时

Agent 运行时:插件与沙箱、工具接口、技能系统、长程记忆与自我改进。

模型能力是上限,agent 运行时决定你能拿到上限的多少。同一个模型换一层骨架,长任务完成率能差一倍以上——这不是修辞:Terminal-Bench 的成绩单必须把 harness 版本一起记下来才有意义,因为分数是「模型 × 运行时」的乘积,不是模型单独的属性。所以这个域量的是 agent 脚下那层东西:插件与工具的挂载语义、沙箱与权限边界、技能系统(能不能自己写工具、写完能不能复用)、长程记忆与会话恢复、以及自我改进回路(任务后总结出的经验,下一次是否真的用得上)。和 AGI 的连接点在于:模型权重是冻结的,而运行时是可以在部署之后继续变强的那一层。今天梯顶的几个开源项目走的是同一条路线——把记忆、技能、沙箱、持久化做成显式的运行时能力,而不是塞进一段越来越长的系统提示词里。判断一个 harness 值不值得用,不看它能跑通几个 demo,看这三件事:崩了能不能从断点续跑、越权操作有没有硬边界、技能与记忆能不能跨会话累积。

尺子长任务完成率、插件与技能生态、沙箱与遥测、单任务成本延迟

SOTA 阶梯

8
智能体运行时

DeepSeek Harness:一切皆插件的开源 agent 运行时

DeepSeek AI 开源的 agent harness(命令行 dsh,MIT,23 万+ star)。内核只提供插件系统语义,工具、界面、模型接入全部以插件挂载;底座是 Cordis 的时空可组合性范式(arXiv:2608.25512)。当前处于 developer preview,官方明确警告会有破坏兼容性的变更,运行前须读 SAFETY.md。基准复现尚未做过,这一档记为待复现。

234kGitHub Star 数
DeepSeek Harness:一切皆插件的开源 agent 运行时
智能体运行时

Pi:分层的 agent harness monorepo

Pi Agent Harness(原 badlogic/pi-mono,10.8 万+ star,MIT/TypeScript)。不是一个 CLI 而是一套可分层取用的包:pi-coding-agent(交互式编码 agent)、pi-agent-core(带工具调用与状态管理的运行时)、pi-ai(统一多 provider LLM API),外加 chord 组合运行时、pi-telemetry 遥测契约、pi-durable 持久化、pi-tui 差分渲染终端 UI。README 明确写出它没有内置权限系统,并给出微 VM / Docker / 沙箱三条边界路径。未做基准复现,记为待复现。

109kGitHub Star 数
Pi:分层的 agent harness monorepo
智能体运行时

Impeccable:给 AI 编码 Agent 的设计语言,专治 AI slop 前端

Paul Bakaus 出的开源设计技能:1 个技能、24 条命令、61 条确定性反模式检测规则,专治 AI 生成前端的千篇一律(Inter 字体、紫蓝渐变、卡片套卡片)。支持 Claude Code/Cursor/Codex/Gemini 等 16 种 harness 安装,带浏览器实时迭代模式与 Chrome 扩展;纯 Markdown 规则 + 零 LLM 检测引擎,Apache-2.0,75k+ stars。

76kGitHub Star 数
Impeccable:给 AI 编码 Agent 的设计语言,专治 AI slop 前端
智能体运行时

Diagram Design:给 agent 用的编辑级图表设计 skill

MIT 开源的 agent skill,把 Claude Code/Codex/Factory Droid/Pi 变成图表设计工具:44 种视觉类型、211 个自包含 HTML 示例、语义模式与版式正交的结构,首次运行强制校验品牌 token 以免默认皮肤污染品牌站,渲染 lint 以像素 diff 抓 SVG 被裁。

47kGitHub Star 数
Diagram Design:给 agent 用的编辑级图表设计 skill
智能体运行时

Deep Agents:逆向 Claude Code 得到的开箱即用 agent harness

README 第一行就自称「开箱即用的 agent harness」,MIT,Python(另有 deepagents.js),建在 LangGraph 之上,流式/持久化/检查点是继承来的。理解它的钥匙在致谢里那句「受 Claude Code 启发:试图找出它为什么通用,然后把这件事推得更远」——这是一次逆向工程,把一个公认好用的闭源编码 agent 拆开,问「到底哪几件事让它能处理长任务」。它给出的答案是四件被捆绑进来的事:可插拔后端的文件系统(长任务的产物是文件不是消息,上下文只留指针)、各有独立窗口的子智能体(上下文的隔离与压缩,不是多几个帮手)、长对话摘要 + 工具输出卸载到磁盘、以及按需加载的 Skills。另有沙箱内 shell、跨会话持久记忆、工具调用执行前可批准/编辑/拒绝的人在环中、任意 MCP server 当工具。模型无关:前沿 API、Baseten/Fireworks 上的开源权重、Ollama/vLLM/llama.cpp 自托管都能跑,三行 create_deep_agent 起一个能规划能读写文件的 agent。安全段写得异常坦白——遵循「信任 LLM」模型,边界必须在工具层与沙箱层强制,不要指望模型自我约束。29.7k★。未运行过;子智能体隔离效果与摘要信息损失尚未验证,记为待复现。

30kGitHub Star 数
Deep Agents:逆向 Claude Code 得到的开箱即用 agent harness
智能体运行时

Learn Harness Engineering:把 AI 编码 Agent 调教到可靠的 harness engineering 实战课程

WalkingLabs 出的开源实战课程:14 讲 + 8 个项目 + 15 种语言,系统教你搭 AGENTS.md/状态管理/验证闭环/会话生命周期五件套,让最强模型在真实仓库里从「不可靠」变「可靠」。含 Pi、Claude Code、Codex、DeepSeek 四家前沿产品 harness 逆向拆解,以及 loop/graph engineering 进阶两讲;MIT 开源,附 harness-creator 技能与零依赖审计脚本。

19kGitHub Star 数
Learn Harness Engineering:把 AI 编码 Agent 调教到可靠的 harness engineering 实战课程
智能体运行时

claude-quickstarts:Anthropic 自用 Claude 应用示范代码整仓摊开,18 个可跑项目覆盖会话、工具与 computer use

Anthropic 把自用构建 Claude 应用的示范代码以 claude-quickstarts 整仓摊开:18 个完整可跑项目,分三层——对话应用(客服、金融分析)、桌面与浏览器操作(computer use demo、原生 macOS 最佳实践参考实现、browser/computer toolset 极简示例)、长时智能体与 Managed Agents 生态(多渠道聊天、AG-UI 生成式 UI、cron 部署、知识蒸馏 wiki、九工具 MCP server)。MIT 许可,采集时 1.86 万 star。最值得逐行读的是 computer-use-best-practices:截图 resize、提示缓存、服务端压缩、批处理工具调用、沙箱 shell 与轨迹记录全部直接写进代码。

19kGitHub Star 数
claude-quickstarts:Anthropic 自用 Claude 应用示范代码整仓摊开,18 个可跑项目覆盖会话、工具与 computer use
智能体运行时

Midscene.js:视觉界面智能体与端到端测试框架

字节跳动 Web Infra 团队开源的视觉界面智能体与端到端测试框架。它用截图而非选择器定位元素,同一套接口覆盖 Web、安卓、iOS、鸿蒙与桌面,并提供 YAML 用例、TypeScript 节点、可回放报告与面向编程智能体的命令行技能。定位为智能体运行时层,而非 AI 编程工具。

15kGitHub Star 数
Midscene.js:视觉界面智能体与端到端测试框架

最新演示

30

论文与深读

35
智能体科学家:编排编码智能体实现自动化科学(协同)发现2026-10-13智能体科学家:编排编码智能体实现自动化科学(协同)发现现代编码智能体正在重塑计算研究中人类的角色:它们写代码、发起 in-silico 实验、分析结果,并在越来越长的时间跨度上自主运转。但完全自主的研究智能体有两个硬伤——想法半径太窄,搜索动力学是短视的爬山。Sakana AI 提出 The Agentic Scientist:一条端到端的分布式流水线,让人类研究者与编码智能体并肩做计算研究。系统把研究拆解为任务起草、想法生成、规划、沙箱实验、结果聚合、基线与消融构建、事后分析与报告撰写,每一步都由下一代编码智能体驱动并自带智能体自校验;上层由一个元控制器管理并行的研究智能体,并在每个阶段强制 rubric 校验,因此同一套编排层能跨不同执行环境、编码 harness 与评价指标复用。系统的自主性是一条连续光谱:既可当协同科学家工具,也能端到端独立完成科研。在协同模式下,其开发版本参与完成的一篇论文已被 ALIFE 2026 接收;在全自主模式下,它攻克了若干机器学习开放问题,例如把 Doc-to-LoRA 的精确匹配准确率从 51.7% 推到 98.0%,并让元训练出的进化策略在 7 个未见过的 Brax 控制任务中的 5 个上匹配或超过 CMA-ES。消融进一步显示:可靠的科学自主性不只取决于基座模型能力,更取决于跨智能体的编排层。
World Action Agent:让 VLM 在视觉动作工作区里驾驶机器人2026-09-24World Action Agent:让 VLM 在视觉动作工作区里驾驶机器人香港科技大学(广州)、香港中文大学与 Knowin AI 提出 World Action Agent(WAA),一个多智能体 harness——它不改 VLM,而是改 VLM 看到什么、以及它的决策如何生效,让通用 VLM 只用点选、拖拽、预览、执行等基础工具就能驾驶机器人,所有决策都在同一个「视觉动作工作区」内完成。工作区有三个性质:其一是 Contact views,根据交互区域、遮挡、取景紧凑度、视点冗余与稳定性主动求解相机参数,且约束两个视图的水平投影正交,使任何对齐误差都能沿两个独立方向被读出,且只需基坐标系点云,因此对 RGB-D 融合、仿真渲染或 VGGT 重建等感知来源完全无关;其二是动作试演,把每个动作表示为可编辑提案,由 cuRobo 规划后以半透明机器人叠加到各视图并报告可行性,Imagination Agent 在物理场景不变的独立上下文中反复修订,只有具备可执行规划的提案才能变成物理运动;其三是视图内修正,智能体在观察到误差的 Contact view 中从参考点拖到期望位置,参考点可以是所持物体上的可见点,因此无需先把关系换算成绝对位姿。技能侧由 Learner、Editor、Reviewer 三个角色在证据与独立审核约束下从专家视频与人类 Canvas-GUI 教学中进化出关系型多模态技能库。LIBERO-Pro 上以 Gemini 3.7 Flash 为骨干、仅用 LIBERO-90 进化并冻结的技能取得 75.6% 平均成功率的 SOTA,超过 ASPIRE(72.0%)、端到端 VLA 与同骨干的 Show-Harness(6.7%),Spatial 两个切分达 80.0 / 73.3;每回合仅 31 次模型调用、150 秒、0.1996 美元,远低于 Show-Harness 的 120 次、874 秒、0.5021 美元。同一套冻结技能迁移到 robosuite 达 100.0%;用 112 条轨迹(1,774 决策步)LoRA 微调 Qwen3.5-9B 只替换主智能体,域外成功率从 1.7% 提升至 43.3%。

开源项目

31

现在就能用的资产

这个域还没有挂上可直接装用的 skill。

边界与失败模式

边界比模型侧更硬,而且大部分不是算法问题,是工程与信任问题。一、没有统一尺子:这个域几乎没有公认榜单。Terminal-Bench、OSWorld、GAIA 量的是「模型配某个骨架」的合成结果,换个 harness 分数就变,所以横向比较两个运行时的优劣基本做不到;站内因此主要记可核对的工程事实(有没有持久化、沙箱边界、技能生态规模),而不是完成率排名。二、自我改进未被证明:hermes-agent 这类项目把「任务后自己写技能、技能在使用中自己改」作为卖点,主张很强,但可证伪的受控实验(同模型同任务、开与不开回路的对照)公开数据里几乎没有,站内一律记为待复现。三、权限与安全是薄弱处:多数开源运行时要么没有权限系统(pi 的 README 自己写明),要么只有一层确认提示;能执行 shell、能改文件、能联网的 agent,一次提示注入就可能越界,沙箱是必需品而不是可选项。四、star 不等于可用:这一层的社区热度受发布节奏影响极大,几万 star 的项目也可能只适配特定模型与特定操作系统;判断成本要自己付一遍。五、成本与延迟被系统性低估:运行时决定每个任务要调多少次模型、每次带多少上下文。同一任务在「一次长上下文」与「多步小上下文 + 检索记忆」两种骨架下的 token 账单能差数倍,长任务里工具调用失败重试还会再放大一轮,预算要按最坏情况算。

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。