
从业务 SOP 到可信 Agent Harness:商家 AI 助手的评测闭环
以商家广告助手巡检为案例,完整拆解业务 Benchmark、Task Schema、评测器校准、根因分析、持续回归及从离线指标到线上证据的边界。
核心判断:业务 Agent 的评测对象不是一个漂亮的回答,而是一条完整的执行链。它是否理解了意图和时间范围,是否调用了正确的数据与工具,是否遵守业务规则,最终账户状态或交付物是否真的达到了目标,都必须被观测、被验证,并且在失败时能够追溯到证据。
本文以美团商家广告助手的每日巡检为案例,拆解一套可以落地的 Agent 评测闭环:从业务 SOP 和线上 Bad Case 共同构建 Benchmark,把成功标准写成可执行的 Grader,校准评测器本身,再用分层指标和局部 Trace 定位根因。优化完成后,还要用同一套任务与标准做回归,并谨慎区分离线能力提升、线上过程变化和真实业务收益。
公开 Benchmark 可以作为方法参照,但不能直接充当生产上线依据。业务团队真正需要维护的是一套与自己的任务、规则、数据和风险对齐的评测资产。
一、为什么商家 Agent 需要任务级评测
1.1 Agent 完成的是任务,不是一段文本
商家广告助手面向投放巡检、异常诊断、数据报告和计划编辑等场景。它执行任务时,需要读取持续变化的真实账户数据,调用多个工具,遵守平台和投放规则,根据中间结果继续分析,必要时还要直接修改投放计划。
因此,“回答看起来像是对的”远远不够。一个结构完整的巡检报告,可能仍然建立在错误日期、错误账户或错误工具返回值之上。生产级评测至少要回答四个问题:
- 意图、账户和时间范围是否被正确理解;
- 数据和工具调用是否正确、完整且符合依赖关系;
- 关键业务规则、条件分支和停止条件是否被遵守;
- 最终账户状态、报告或修改动作是否符合预期。
1.2 公开 Benchmark 提供结构,不提供业务答案
团队调研代表性 Agent Benchmark 时,重点不是照抄榜单,而是观察三件事:任务如何组织,执行环境如何构造,结果如何判定。业界常见做法是让 Agent 在可执行环境中完成完整任务,再通过测试、验证器或 Judge 检查最终状态。
例如,SWE-bench Pro、Terminal-Bench、τ-bench 和 Toolathlon 等工作,分别强调长程代码任务、终端环境、领域规则约束以及多工具工作流。它们能帮助团队理解执行环境、数据库状态和验证器的设计,却不能告诉我们:一次商家巡检应该先查账户还是先查门店,哪些异常必须停止下钻,哪些动作必须被拒绝。
1.3 建设目标:可测、可信、可优化
这套体系需要同时满足三个目标。第一,可测,把真实业务流程转化为可执行、可判定的场景和成功标准。第二,可信,能够稳定、规模化执行评测,并让证据可观测、结论可复核。第三,可优化,失败结果不仅告诉我们“没过”,还要能定位根因、验证改动,并最终连接到线上业务效果。
二、从业务 SOP 和真实 Bad Case 共同构建 Benchmark
2.1 只从线上问题出发,会形成偏斜的测试集
评测集建设遇到的第一个问题通常是:究竟该拿哪些任务来考 Agent?直接从线上 Bad Case 出发,能够抓住真实痛点,但样本容易集中在已经暴露的错误上,对核心流程的覆盖反而不足;对于尚未上线或使用量较小的 Agent,可积累的案例也很有限。
如果完全由团队手工设计,又会依赖个人经验。设计者很难凭空证明主链路、风险分支和能力边界都已覆盖。更可靠的做法是让两条路径相互补充:从业务 SOP 自顶向下拆解,再用线上和离线发现的 Bad Case 自底向上补齐。
2.2 把每个 Skill 还原成状态图
历史对话只能说明用户过去“怎么问”,不能保证覆盖业务系统真正支持的状态与分支。因此,团队先以业务 SOP 为基础,把每个 Skill 还原为状态图,并明确六类要素:
- 当前业务状态是什么;
- 需要依赖哪些数据;
- 存在哪些条件分支;
- 在哪些条件下应该提前停止;
- 这个 Skill 的能力边界在哪里;
- 何时应该把任务转交给另一个 Skill。
以到店 KA 业务的每日巡检为例,流程不是一条从头跑到尾的固定链路,而是由账户、门店、投放和异常状态共同驱动的分支网络。
这张状态图至少定义了五类行为规范:未发现异常门店时,跳过投放层下钻,但仍要生成巡检报告;账户余额不足时,只产生账户级预警,不单独触发门店下钻;只有发现异常投放后,才进入分层归因;命中预算、余额、状态或时段等直接根因后,停止后续弱证据检查;如果用户真正需要的是投放日报复盘、计划诊断或计划编辑,则应转交相应 Skill,并结束当前巡检。
这样做得到的不是一份题目清单,而是一份“在什么条件下应该做什么、何时停止、何时转交”的行为规范。它让原本藏在专家经验里的判断变成可设计的评测场景。
2.3 把一次错误抽象成可复用的失效模式
业务 SOP 描述的是预期行为,却无法穷举真实执行中出现的非预期失效。团队从线上使用和离线测试中收集 Bad Case,但不会把每个错误只保留为一道单独的错题,而是先把它抽象成失效模式,再扩展成边界、异常和回归场景。
例如,在一次线上任务抽检中,商家要求巡检昨日投放。Agent 输出的报告结构完整,但 Trace 显示它查询的是当天数据。这个具体错误会被抽象为“日期理解与计算失效”,随后覆盖今日、昨日、历史日期、跨周和周末等情况。
最终,团队为 KA 每日巡检设计了六类共 41 个评测场景。核心流程场景保证主链路和关键分支得到覆盖,其他分组补充触发词变体、业务变量和能力边界。路由转交与主流程同样重要:生产可用的 Agent 不仅要会执行,还必须知道什么时候应该追问、转交或拒绝。
三、把“做对了”写成可执行的成功标准
3.1 报告送达不等于任务完成
继续以“巡检昨日投放”为例。商家收到一份报告,只能证明系统产生了输出,不能证明任务完成。团队从三个层面定义成功:执行流程是否遵循 SOP,执行过程和结论是否有据可依,最终交付物是否完整且符合规范。
| 判断层面 | 需要检查的内容 | 典型失败 |
|---|---|---|
| 执行流程 | 必要步骤是否覆盖,工具调用顺序和依赖是否正确,是否存在重复、低效或非必要步骤,条件分支是否按状态执行 | 没有先取数就生成结论;无异常门店仍然继续下钻;多门店分析没有并行 |
| 过程与事实 | 工具参数是否与任务语义一致,是否选对工具,是否违反静态参数约束,结论是否忠实于工具返回的数据 | “昨日”被解析成今天;查询了错误账户;报告中的结论超出数据能够支持的范围 |
| 最终交付 | 必要内容是否缺失,格式是否符合模板,结论是否存在无依据的模糊表达 | 没有生成完整巡检报告;缺少必要表格;结论含糊但无法复核 |
这些检查项共同构成任务的 Rubric。必要步骤、顺序调用、正确工具、参数一致性、参数合规性、输出忠实性、输出完整性和模板遵守被设为成功必需项。低效与重复工具调用、规划效率、结论表达等指标主要用于质量分层和问题诊断,不会单独决定任务是否成功。
判定方法也要与证据类型匹配。能够从 Trace 中精确取证的检查项交给确定性 Grader,例如查询日期、工具名称、必要节点和参数范围;需要理解业务语义、事实关系和输出表达的部分交给 LLM Grader。确定性规则负责硬约束,语义 Judge 负责复杂解释,两者不能互相替代。
3.2 一次通过不代表可靠
一个任务通过检查,只能说明 Agent 在这个场景、这一次执行中做对了。它换一个业务场景还能完成吗?同一个任务多跑几次,会不会时好时坏?完成任务需要消耗多少 Token、多少轮模型调用和多少时间?为了回答这些问题,团队把各场景、多次 Trial 的检查结果与运行资源汇总成五个维度。
| 维度 | 核心指标 | 回答的问题 |
|---|---|---|
| 任务完成 | 任务完成率、Pass@k、Pass^k | 是否能完成,能力上限在哪里,重复执行是否稳定 |
| 路径规划 | 工具调用顺序命中率、必要步骤覆盖率、低效与重复调用率、规划效率、条件分支通过率 | 失败是否来自路径、遗漏、低效或错误分支 |
| 工具与事实一致性 | 工具选择准确率、参数与上下文一致性、静态参数合规率、输出忠实性、工具结果准确率 | 是否用了正确工具,参数是否正确,报告是否忠于真实数据 |
| 输出质量 | 完整性、必要性、模板合规率、结论确定性 | 最终交付是否完整、规范且可以被业务使用 |
| 成本与时延 | Token、工具调用次数、端到端耗时、TTFT、LLM 调用轮次 | 完成任务的代价是否适合生产运行 |
其中,Pass@k 衡量多次尝试中至少一次成功的上限,Pass^k 衡量同一任务在多次执行中能否持续成功。两者同时观察,才能区分“模型不会做”和“模型会做但不稳定”。这对生产 Agent 尤其重要,因为业务流程通常要求可重复完成,而不是偶尔出现一个正确答案。
3.3 场景必须补充执行条件,才能变成 Task
40 多个场景定义了“测什么”,成功标准定义了“怎样算做对”,但还不能直接运行。一个可执行 Task 还需要测试账号、运行日期、业务数据状态、必要权限、执行环境和对应 Grader。
团队为 41 个场景实例补齐这些前置条件,最终形成 41 个可执行评测 Task。真实 Task 的 Schema 会把输入、环境、确定性规则、语义 Rubric 和输出检查组织在一起。
在实现中,tool_calls_dag 主要约束路径规划,no_hallucination 与 hallucination.* 约束工具和事实一致性,output_fields 与 output.* 检查输出质量,execution.conditional 检查条件分支。任务完成率、Pass@k、Pass^k 以及成本时延不属于单条 Task 的 Grader,而由 Harness 在多轮 Trial 后聚合。
四、先校准尺子,再优化 Agent
4.1 评测器本身也会出错
任务失败只是一个结果,不一定是 Agent 的根因。Trace 解析、确定性 Grader、LLM Rubric、业务标准和运行环境都可能产生偏差。文章提到,OpenAI 曾审计 138 道难以攻克的 SWE-bench Verified 任务,发现其中 59.4% 存在任务描述或测试设计缺陷。即使广泛使用的 Benchmark,也需要持续校准。
因此,在依据评测结果优化 Agent 之前,团队先要证明“尺子”可信。校准集由业务专家确认,覆盖明确的 Good Case、Bad Case 和边界 Case,并分别验证 Trace 解析、确定性 Grader 和 LLM Rubric,避免用一个总体一致率掩盖不同环节的问题。
确定性 Grader 的校准重点,是规则是否准确表达了必要业务约束。早期 Task 用线性顺序描述工具调用,能够表达简单的前后依赖,却容易把合理的并行与汇聚路径判为失败。人工复核发现这类假阴性后,团队把复杂路径升级为 DAG:节点表示必要工具调用,边只保留真实的数据依赖,互不依赖的步骤允许采用不同顺序。
LLM Grader 则重点验证它与业务专家在语义判断上的一致性。团队人工抽检判定结果,分析分歧究竟来自 Rubric 表述不清、证据不足,还是业务标准本身存在歧义。对于证据不足的高风险问题,评测器应允许返回“无法判断”,而不是强制给出缺乏依据的二元结论。
这里必须区分两个闭环:评测误判减少,说明尺子变准了,不代表 Agent 能力提高;只有使用校准后的同一套标准重新执行 Benchmark,才能判断 Agent 是否真正变强。
4.2 评测器需要持续维护
初始校准不能保证评测器永久正确。模型、Agent 和 Skill 持续迭代,业务 SOP 和能力边界会变化,账号状态、工具接口与 Trace 格式也可能漂移。团队用三种机制控制维护成本:
- 自动回归:每次修改 Trace 解析、确定性 Grader 或 LLM Rubric 后,在固定校准集和历史样本上重新执行,检查是否引入新的误判。
- 稳定抽检:评测运行稳定后,定期随机抽取少量样本人工复核,监测人机一致性和数据分布变化。
- 触发复核:当模型、Skill 或执行环境发生较大变化,指标分布突然异常,或者线上反馈与离线判断明显不一致时,提高人工复核比例。
人的职责逐渐从“逐条判题”转向校准标准、处理争议、复核高风险结果和识别新的失效模式。确认后的新问题再回流到校准集、Grader 和历史回归样本中,形成评测器自身的迭代闭环。
五、从聚合指标下钻到局部 Trace
任务完成指标回答“是否失败”,分层指标进一步指出问题大致发生在哪里:路由、必要步骤、工具参数、条件分支、事实依据或最终输出。但原子指标只负责缩小范围,根因仍要回到执行证据中确认。
同样一个“必要步骤缺失”,可能来自 Skill 没有明确约束,也可能来自模型在长上下文中遗漏要求,还可能来自数据、环境或 Grader 异常。定位到检查项后,分析者直接查看对应的工具参数、返回结果和局部 Trace,通常就能区分问题来源。
只有当指标与 Trace 结论冲突、局部证据不足、问题随机出现,或者仍无法区分 Skill 与模型问题时,才需要查看完整 Trace、重复执行或补充控制变量验证。这样既利用指标降低定位成本,也保留 Trace 作为最终判断依据。
六、一次完整的巡检优化闭环
6.1 从失败模式映射到系统改动
评测器校准后,团队用同一套 KA 每日巡检 Benchmark 观察分层指标。问题主要集中在四个方向:配置职责混杂,命令路由不唯一,条件分支和停止条件不明确,以及稳定逻辑过度依赖模型。结合局部 Trace 确认根因后,团队把每个问题转化为明确的系统改动。
这些改动遵循同一原则:减少模型需要记忆和自由判断的确定性约束。平台、账号和参数红线由公共配置统一管理,业务分支与停止条件写入 Skill,解析、计算和筛选交给确定性代码;模型聚焦流程调度、条件理解和业务表达。
6.2 用同一套 Benchmark 验证效果
优化后,团队没有更换评价标准,而是使用同一套 KA 每日巡检 Benchmark 重新回归。这样,指标变化才能归因于 Agent 与系统改动,而不是题目变简单或口径变化。
| 指标 | 报告中经过脱敏的变化 | 含义 |
|---|---|---|
| 任务完成率 | +17 个百分点 | 整体任务成功情况改善 |
| Pass@k | +22 个百分点 | 多次尝试中的能力上限提高 |
| Pass^k | +12 个百分点 | 重复执行稳定性提高 |
| 平均 Token | -52% | 完成任务所需模型消耗下降 |
| 平均耗时 | -53% | 端到端执行效率提高 |
更值得注意的是,Pass^k 仍显著低于 Pass@k。这说明主要瓶颈已经从“不会做”转向“不能稳定做对”。如果只看能力上限,团队可能继续投入提升单次效果;但稳定性指标指出,下一阶段更应关注执行一致性、停止条件和重复运行中的波动。
6.3 离线提升不能自动推导业务收益
离线 Benchmark 可以验证任务完成、稳定性、事实性、Token 和时延,却不能直接证明商家获得了业务收益。完整的证据链还需要经过线上过程指标,再连接到用户采纳、问题解决和投放结果。
文章报告了线上的初步正向变化,包括线上评测完成度、能力与 Token 时延指标改善,以及部分商家开始使用助手后的行为变化。但作者同时指出,当时使用商家数较少且缺少同期对照组,结果仍可能受到季节、活动、商家经营状态等因素影响。因此,这些变化只能视为业务价值的初步信号,后续仍需要扩大样本和对照实验。
这种表述边界非常重要。评测体系如果急于把离线提升包装成业务因果,会破坏团队对数据的信任。更稳健的做法是把离线结果、线上过程指标和业务结果分层呈现,明确每一层能够支持什么结论、不能支持什么结论。
七、把评测从一次性项目变成持续回归系统
随着模型、Skill 和工具持续更新,评测不能每轮都从头配置。团队需要复用任务与判定标准,批量执行 Trial,保留复核与版本比较所需的证据,并把准备、执行、判定、分析和回归串成可重复运行的 Pipeline。
7.1 先保证版本比较有共同基线
比较两个 Agent 版本的巡检完成率,前提是它们面对同一批任务、同一套成功标准、可比的环境和相近的数据状态。Task 集管理负责维护任务输入、前置条件和预期行为;环境配置负责复制线上 Agent 的模型、Prompt、Skill、工具和权限。
验证新版 Skill 是否正确处理“昨日”时,应复用相同任务、相同 Grader 和相同上下文,只改变待验证的 Skill。真实账户数据会随时间变化,因此还要核对运行日期、账号和数据状态。复制配置不等于固定业务数据,只有运行条件可比,完成率变化才具有解释意义。
7.2 判定必须能回到证据
可执行的 Evaluator 把 Rubric 落成检查项。脚本负责精确取证,LLM 负责语义判断;成功必需项决定任务是否完成,质量诊断项用于优化分析,并在多轮评测中复用统一口径。
团队可以从报告下钻到具体 Task、失败检查项和执行片段,复核查询日期是否正确、结论是否忠实于数据。一个典型分歧是:工具返回“投放消耗下降”,Agent 却写成“投放效果变差”。LLM Judge 可能认为报告忠实于数据,业务专家则认为消耗下降不足以证明效果变差。针对这类争议,团队会在 Rubric 中明确“结论必须有数据支撑”,再回放历史样本,验证人机一致率是否改善。
7.3 回归要同时检查目标改动和副作用
修复一个失败任务后,还需要检查改动是否让其他场景退化。例如显式化停止条件后,既要验证“无异常时不继续下钻”,也要检查“存在异常时仍能完成必要诊断”。Pipeline 批量执行任务并采集报告、查询参数、工具返回和 Trace,再交给 Evaluator 逐项判定,可以减少逐条发起、复制结果和整理判定的人工操作。
评测报告汇总完成情况、分层指标、耗时和 Token,并支持下钻到 Task、检查项和 Trace。业务人员因此可以把精力集中在新增场景、异常结果和优化判断上,而平台负责可重复执行的任务组织、机器判定和结果汇总。
八、可复用的五条结论
这套实践最终形成的不是 41 道固定题,而是一条可以迁移到其他业务 Agent 的建设路径。
- 从业务任务出发,而不是从公开数据集出发。公开 Benchmark 提供通用参照,业务 Benchmark 负责定义真实生产要求。
- 从业务风险推导指标,而不是先有指标再寻找解释。每个指标都应对应具体风险和执行阶段,并能帮助定位问题。
- 指标既要能够衡量,也要能够诊断。任务失败后,团队必须能下钻到原子检查项和局部证据,而不是停留在总体分数。
- 评测器和 Agent 要分别迭代。尺子变准与能力变强是两个不同闭环,不能把误判减少误写成 Agent 进步。
- 离线 Benchmark、线上过程指标和业务结果共同构成证据链。离线提升是必要条件,但不能自动推导业务收益。
当 Agent 从“生成内容”走向“完成业务任务”,评测的重心也必须变化:不再只判断答案好不好,而要判断它是否沿着正确路径、基于真实证据、以可接受的时间和成本稳定完成交付。
一套真正有价值的业务 Agent 评测体系,不以 Task 数量、指标数量或自动化程度为终点。它的价值在于:业务问题能够被稳定复现,失败能够被快速定位,优化能够被可信验证,线上变化又能够持续反哺下一轮评测和业务迭代。