以电商客服为例，看 AgentKit 技能评测如何让 Skill 敢上生产！
推荐理由字节 AgentKit 用客服退款规则案例展示 Skill 评测、产物核查和同集复测，帮助团队发现回答正确却改错业务约束的隐藏缺陷。
读前速览
火山引擎 AgentKit 技能评测通过 Agent as a Judge、一键调优和 A/B 对比，解决了 Skill 质量评估、问题定位和效果验证的难题，让开发者能自信地将 Skill 部署到生产环境。
判分：真实任务与 Agent 裁判
使用真实业务场景（如电商退款政策）构建评测集，并由 Agent as a Judge 进行严格评估，确保 Skill 不仅能运行，还能正确处理业务逻辑。
洞察调优：一键定位问题
评测报告提供详细的调优建议，包括问题描述、改法和具体位置（如 SKILL.md:17），帮助开发者快速修复错误。
对比验证：多维度复测
支持 A/B 对照、版本对比和有无 Skill 对比，让开发者通过数据定量判断修改效果，避免盲目调整。
完整摘要
文章介绍了火山引擎 AgentKit 技能评测的核心功能，包括使用真实业务任务进行判分、通过调优建议快速定位问题、以及利用 A/B 对照验证修改效果。以电商售后客服 Agent 退款审核 Skill 为例，展示了如何从 95.8 分提升到 99.8 分，确保 Skill 在生产中可靠运行。
Skill 写好、跑通之后，如果回答不好下面三个问题，也很难大规模应用到生产环境当中：
-
它到底好不好用？ Agent 表面上完成了任务，但得出的结论可能会违反业务规则；出现这类问题，系统不会报错，在抽查时也很难发现。
-
问题出在哪，该怎么改？ 知道分数低，想查问题出在哪儿？需要逐条翻执行轨迹，才能找到是哪条指令出了错。
-
改完是否变好？ 修好这一处的同时，可能会改坏另一处；模型升级后，Skill 还有没有用，也缺少参考依据。
火山引擎 AgentKit 技能评测，不止于 Skill 打分，更能串起判分、洞察调优、对比验证的完整闭环。
-
判分：支持 Agent as a Judge。裁判 Agent 能查轨迹、读产物、跑脚本，逐项复核结论，不会被 “看起来没问题” 的结果骗过；六个预置维度开箱即用，也支持自定义评估器。
-
洞察调优：从失分根因到一键调优。它能直接给出要改的文件、行号和改法，一键复制给 Agent 就可以完成修改。
-
对比验证：用 A/B 对照确认效果。新旧版本、有无 Skill、不同 Skill，都能在同一数据集和评估器下比较质量与成本；改没改好、值不值得用，都用数据说话。
下面以电商售后客服 Agent 退款审核 Skill 的一次评测演示为例，看火山引擎 AgentKit 技能评测如何应用。
复制链接至浏览器可直接体验下方完整流程：https://s17uffe794hvnhq5hduse.apigateway-cn-beijing.volceapi.com/
01 | 判分：用真实业务任务检验 Skill 好不好用
电商场景中，商家退款政策规定：签收超 7 天的订单，不予退款。
1.1 用真实任务准备评测集
基于该政策，我们准备了 40 条真实的评测任务，覆盖期限临界、重复记录、金额异常、客户冒充身份等多种情况。
每条任务附有参考输出。我们会将这套评测集作为复测基准，后续每次修改都会进行对比复测，还能将它一键上传至 AgentKit 评测集平台。
1.2 选择评估器，六个预置维度开箱即用
准备好评测集后，需要通过评估器来判断 Skill 执行的好坏。对此，AgentKit 预置了六个评估维度：
|
维度 |
检查什么 |
|
任务完成度 |
要求的事情是否做完，交付是否齐全 |
|
结果正确性 |
结论、数值和业务处理是否正确 |
|
约束遵守度 |
是否遵守隐私、权限、操作范围和输出要求 |
|
Skill 遵循度 |
Skill 中适用的关键方法和要求是否落实 |
|
证据可靠性 |
结论是否得到实际资料和核验结果的支持 |
|
过程稳健度 |
遇到问题能否有效调整，有没有无效重复或盲目重试 |
根据自身场景和诉求，业务可自行添加自定义评估器；创建评测实验时，还可以分别配置执行模型和评分模型。
1.3 执行评测实验，裁判 Agent 严格评估
该 Skill 总分为 95.8，整体表现很好，但从细项看，结果正确性只有 91.3 分：部分签收时间在 8 至 15 天的订单被判为可退，违背了退款政策。
在生产环境中，这类失误可能被视为生产事故，也会大幅降低企业对 Agent 的信任度。
在 AgentKit 中，我们可以快速定位到问题点：
在评估时，裁判 Agent 没有直接采信被测 Agent 的说法。它读取了实际交付的审核表，翻出被误判订单（签收第 8 天的订单）的签收天数，再跟政策原文逐一核对，最后追查到了错误的源头：Skill 改写了政策。
问题找到了，接下来怎么把 Skill 改好？能不能“一键优化”呢？
02 | 洞察调优：一键定位 Skill 问题
执行完评测后，在评测报告下方即可查看调优建议：
调优建议会写明问题、改法和精确位置：
SKILL.md:17：删除此处“其中退款期限统一使用 15 天”的改写，改为严格要求按 references/policy.md days>7 判 ineligible/的 expired，第 7 天含在期限内执行，不再另行覆盖期限。
点击「复制调优建议」，可一键交给 Agent 进行修改；也可以点击 SKILL.md:17，跳到对应行手动修改。
03 | 对比验证：支持 A/B 等多维度复测
改完之后，Skill 是不是真的变好了？AgentKit 支持多种复测对比方式，帮助验证调优效果：
|
对比维度 |
回答的问题 |
保持不变的条件 |
帮助做出的决定 |
|
有无 Skill |
当前模型下，这个 Skill 还能带来多少提升？ |
数据集、评估器、模型 |
保留、精简或下线 Skill |
|
不同 Skill |
同一类任务，哪个版本的 Skill 更合适？ |
数据集、评估器、模型 |
选用、合并或分场景使用 |
本案例中，我们用同一个数据集和评估器，把修改前后两个版本的 Skill 进行 A/B 对照。
|
指标 |
修改前 |
修改后 |
|
总综合得分 |
95.8 |
99.8 |
|
结果正确性 |
91.3 |
100 |
|
Skill 遵循度 |
92.5 |
100 |
|
证据可靠性 |
91.3 |
98.8 |
|
任务完成度 |
100 |
100 |
|
约束遵守度 |
100 |
100 |
|
过程稳健度 |
100 |
100 |
|
平均轨迹耗时 |
28.33s |
26.05s |
|
平均 Token 消耗 |
64.8k |
66.3k |
|
平均执行步骤错误率 |
2.8% |
2.1% |
总综合得分从 95.8 提升到 99.8，结果正确性从 91.3 提升到 100，证据可靠性从 91.3 升到 98.8，原本满分的三个维度没有下降。效率上，平均耗时缩短约 2 秒，Token 消耗基本持平。
过去，Skill 改没改好，只能靠人工抽查和经验判断；现在，每一次修改都能用评测数据说话，让你的 Skill 从 “能跑的通” 走到 “敢上生产”。
想要体验上述过程，可复制链接至浏览器： https://s17uffe794hvnhq5hduse.apigateway-cn-beijing.volceapi.com/ ，快速上手体验。
04 | Skill 上生产还有哪些问题？
Skill 上线后不会一成不变：版本要迭代，模型要升级，规则要调整，还会被拿去挑选和审查。归纳起来会出现三类问题：
|
问题类型 |
典型场景 |
AgentKit 技能能力 |
|
变更可控： 变了之后还靠谱吗？ |
版本变动：修好一处，可能会改坏别处 模型替换：换了模型后，Skill 的提升效果可能缩水 规则变化：政策调整后，Skill 还按老口径执行 |
版本对比：Diff 逐行看清改动 A/B 复测：改版本、换模型后，对比前后表现 |
|
选型有据： 该用哪个、值不值得用？ |
Skill 选择：内部多个团队和外部厂商，都有同类 Skill，难以取舍 价值判断：加了 Skill 后，是否一定能变得更好 |
不同 Skill 对比：同等条件下比质量和成本 有无 Skill 对比：判断该 Skill 是保留还是下线 |
|
安全合规： 会不会出事？ |
数据隐私：泄露客户信息、越权操作 行业规范：违反合规要求 |
约束遵守度：检查隐私、权限和操作范围 自定义评估器：把合规及业务规则纳入到判分体系 |
除了上述特色功能，技能评测还支持对产物的评测以及多轮对话评测。
AgentKit 让 Skill 的每一次变更、每一次选型都有据可依，上线也更安心。想体验更多技能能力，欢迎点击阅读原文，预约咨询。