Open Agent Leaderboard：评估 Agent 不能只看模型分数

这篇解决什么

Agent 成败不只取决于底层模型。工具选择、记忆机制、计划方式和错误恢复会让同一个模型表现出完全不同的成本和可靠性。

适合谁

适合正在采购、搭建或比较多个 Agent 框架的开发者、管理者和技术运营团队。

操作步骤

1. 先定义业务任务，而不是直接套用通用排行榜结论
2. 把模型、工具、记忆、计划器和恢复策略作为独立评分项
3. 为每个评分项准备真实样本和失败样本
4. 记录完成率、人工接管次数、成本和耗时
5. 按任务类型比较，而不是把所有 Agent 混在一张总表
6. 把评估结果回写到工具采购和上线门禁

可复制模板

任务类型：
模型：
工具：
记忆：
恢复策略：
完成率：
人工接管：
成本：

验收清单

• 评分项覆盖系统设计
• 样本来自真实任务
• 记录人工接管次数
• 按任务类型比较
• 评估结果影响上线决策

常见错误

• 只收藏产品更新，没有改成自己的任务卡、权限表和验收证据。
• 直接在生产账号、生产仓库或公开页面试新功能，没有先跑低风险样本。
• 只看工具能力，不记录成本、失败率、人工接管次数和恢复动作。
• 把外部链接当正文主体，读者离开页面后才知道怎么做。

30 分钟小样本

前 5 分钟写清输入、目标和风险边界；中间 15 分钟按步骤跑一个低风险样本；最后 10 分钟记录输出、失败点、人工修改量和下一次复用条件。样本不通过时，只修失败点，不扩大范围。

发布建议

第一次执行时把它当成个人操作卡；第二次复用时沉淀为团队模板；第三次仍然稳定后，再升级为固定 SOP、Skill 或工具导航页。涉及账号、发布、删除、付费、生产代码和客户数据的动作，必须保留人工确认点。

资料依据

• Hugging Face Blog / The Open Agent Leaderboard / 2026-05-18

标签