唐杰团队开源 HarnessPro，Agent 更强更便宜
推荐理由HarnessPro 将失败轨迹与执行预算一起纳入 harness 迭代，为降低智能体成本提供开源实验线索，需保持基准配置归属。
读前速览
唐杰团队开源 HarnessPro，通过让 Agent 迭代自身的 harness 设计，同时优化任务表现与执行成本，在 Terminal-Bench 2、SWE-Bench Pro 和 ProgramBench 三大基准上实现通过率提升和调用成本降低，提供 Lite、Medium、Heavy 三个配置档位。
HarnessPro 通过轨迹分析定位失败与预算浪费，优化指令、工具、上下文和运行策略
每轮执行后，轨迹分析器联合查看同一任务的多次运行，识别具体的失败点和无效探索，规划器据此提出成本优先、均衡或性能优先的三种方案供 Agent 修改。
引入三档配置（Lite、Medium、Heavy）实现性能与成本的灵活取舍
在 GPT-5.5 搭配 Codex 的配置下，Medium 档通过率 79% 仅需 1.26 美元（成本降 53%），Heavy 档以 1.97 美元实现 80.7% 通过率，均优于 RHO 基线。
自主生成测试而非依赖官方答案，显著提升失败召回率
在 20 个初步检查案例中，模型直接评判只识别出 5 个失败案例，而生成测试识别出 10 个，失败召回率从 41.7% 提升至 83.3%。
运行时 hooks 控制探索与收尾，压缩工具输出与重复指令
例如 Terminal-Bench 2 的 Medium 档在 14 次工具调用时提醒合并并行调用，26 次时转向完成验证，44 次后阻止继续调用，有效减少冗余操作。
完整摘要
HarnessPro 是唐杰（清华大学）等团队开源的框架，旨在通过让 Agent 自主迭代优化 harness 设计，同时将执行成本纳入进化目标。它从每轮执行轨迹中识别失败原因和预算浪费点，在指令、工具、上下文和运行策略上进行修改。采用三档选择机制（Lite、Medium、Heavy），在 Terminal-Bench 2 上的 Heavy 档通过率从 76.3% 提升至 80.8%，单任务平均调用成本从 1.09 美元降至 0.72 美元，节省约 34%。在 GPT-5.5 搭配 Codex 的配置下，SWE-Bench Pro 测试中 Medium 档实现 79% 通过率，仅花 1.26 美元，成本降低 53%；Heavy 档则以 1.97 美元实现 80.7% 通过率。换用 GLM-5.2 搭配 Claude Code 时，Terminal-Bench 2 的 Heavy 档通过率从 78.0% 提升至 81.4%，单任务成本从 1 美元降至 0.62 美元。HarnessPro 使用任务描述和初始轨迹生成测试，避免依赖官方测试，显著提升失败召回率。
目录 · 6 节
原创 NLPer 2026-11-02 22:31 江苏
有些 Token 真没必要花
清华大学、智谱等团队开源了 HarnessPro，唐杰是论文的共同通讯作者。它让 Agent 迭代自己的 harness，同时优化任务表现与执行成本。
同样搭配 GPT-5.5 和 Codex，在论文的 Terminal-Bench 2 测试子集上，HarnessPro 的 Heavy 档相比 RHO，通过率从 76.3% 提高到 80.8%，单任务平均调用成本从 1.09 美元降到 0.72 美元，省下约 34%。
把成本放进进化目标
让 Agent 自己改 harness，已经有 RHO 等工作。更多探索、更强验证往往能换来更好的表现，调用费用也随之增加。
HarnessPro 从每轮执行轨迹中同时寻找两类问题：哪些地方导致失败，哪些地方在空耗预算。 模型权重不变，修改落在指令、工具、上下文与运行策略上。
轨迹分析器联合查看同一任务的多次运行，把失败、重复计算和无效探索定位到具体记录。规划器据此提出成本优先、均衡、性能优先三种方案，编辑 Agent 再在独立工作区里实现修改，交由后续评测筛选。
论文图一 HarnessPro 的改进流程
每轮都会把新候选与父代一起评估，先淘汰低于初始通过率底线、或被其他方案 Pareto 支配的候选，再按性能与成本的归一化加权距离，留下 Lite、Medium、Heavy 三个代表进入下一轮。
用测试筛掉假进步
自我改进时，HarnessPro 不使用官方测试和标准答案。RHO 依赖模型比较执行轨迹，HarnessPro 则根据任务描述和初始轨迹生成测试，之后所有候选都跑这套固定测试。
在论文的 20 个初步检查案例中，12 个实际失败案例，模型直接评判只识别出 5 个；生成测试识别出 10 个，失败召回率从 41.7% 提高到 83.3%。
论文图二 模型直接评判与生成测试的对照
测试只在初始阶段生成一次，不随候选版本一起变化。等多轮优化完成、harness 固定下来，再用官方评测检查留出测试集上的表现。
拿掉测试合成器后，不同设置下的任务通过率下降了 3.4 至 10 个百分点。
三档选择各有取舍
实验覆盖 Terminal-Bench 2、SWE-Bench Pro 和 ProgramBench，采用 GPT-5.5 × Codex、GLM-5.2 × Claude Code 两组配置；留出的测试任务分别为 59、100 和 100 个。
论文表二 三组任务的性能与成本
在 GPT-5.5 搭配 Codex 的 SWE-Bench Pro 测试中，RHO 的通过率是 80%，单任务平均成本为 2.68 美元。
Medium 档做到 79%，只花 1.26 美元。 通过率少 1 个百分点，费用减少约 53%。Heavy 档则以 1.97 美元做到 80.7%，表现和成本都优于 RHO。
Lite 更偏向低预算，72.3% 的通过率对应 0.80 美元。它仍超过原始 Codex 配置的 59%，后者每个任务平均花 1.88 美元。
换成 GLM-5.2 搭配 Claude Code，Terminal-Bench 2 上的 Heavy 档也从 RHO 的 78.0% 提高到 81.4%，单任务平均成本从 1 美元降至 0.62 美元。
钱省在执行细节里
演化后的 harness 会按任务选择推理强度与工具预算，用运行时 hooks 控制探索和收尾，压缩工具输出，减少重复指令。
例如，Terminal-Bench 2 的 Medium 档选中 standard 配置后，14 次工具调用时会提醒合并可并行的调用、减少重复检查；26 次时要求转向完成与验证；44 次后阻止继续调用。其他执行配置有各自的预算。
这些提醒附在工具返回结果后面，保留提示词前缀以继续利用缓存。重复日志会折叠，冗长输出也会压缩，避免后续每一轮都带着它们重新读。
单独移植其中一项，并不能得到相同收益。在 SWE-Bench Pro 上，只给 RHO 增加动态路由或预算 hooks，通过率分别从 80% 降到 76% 和 75%；统一调低推理强度，更是降到 59%。
GPT-5.5 的 Terminal-Bench 2 Heavy 档，第一轮是 74.6%、0.91 美元，第三轮达到 80.8%、0.72 美元。
论文图四局部 Terminal-Bench 2 的多轮变化
SWE-Bench Pro 的 Medium 档在第二轮提高通过率时，费用一起上涨；到第三轮才同时改善两项指标。
代码已经开放
仓库提供了三个基准、每个基准三档，共 9 套选定的 harness，以及评估脚本。运行策略、hooks 和部分验证工具都能直接看，runtime/policy.json 里就有推理强度和工具预算的具体配置。
复现需要另行准备基准数据、任务环境和模型接口。当前发布包主要是选出的配置与评估入口，论文中的 GLM-5.2 演化配置尚未一并放出。
参考链接
-
HarnessPro 论文｜Zhuoshi Pan、ZhiYuan Feng 等：https://arxiv.org/abs/2610.26770v2
-
HarnessPro 开源项目：https://github.com/pzs19/HarnessPro
-
评估与复现说明：https://github.com/pzs19/HarnessPro/blob/6fd2d4dbc3b73881b2b48833764fcd803aacb7b8/docs/evaluation.md