字节跳动 Athanor：4 个 Agent 自主后训练，104 小时追平官方指令版
推荐理由自动化研究团队可借多智能体后训练实验观察任务协调、实验复用和计算预算，并识别研究路线趋同对探索范围的影响。
读前速览
字节跳动等团队提出 Athanor 系统，让四个 Claude Agent 自主完成 Qwen3-4B-Base 的后训练研究，104 小时、约 1.18 万美元后追平官方指令版，但研究路线高度趋同。
Athanor 让多个 Agent 自主决定研究路线，人类只负责环境与基础设施
四个 Claude Opus 5.5 Agent 各自拥有独立工作区和八卡机器，可读队友记录、取用 checkpoint，系统提供可运行的训练起点以及数据、训练、评测和实验记录服务；没有人逐轮指定换哪份数据或调哪个参数。
104 小时、约 1.18 万美元的自主研究追平官方指令版
团队模型开发集均分 67.3、隐藏集 48.2，官方 Qwen3-4B-Instruct-2507 为 66.5 和 47.9，差异区间包含零；隐藏集多步行动任务团队模型 74.7 反超官方 66.8，但数学和逻辑仍落后。
Agent 3 的诊断与改法是过程里的关键突破：训练采样绕开了模型最容易犯的重复循环错误
过程评测多用贪心解码，模型反复写同样内容直到长度上限；训练时随机采样却很少碰到死循环。Agent 3 让每条回答有四分之一概率走贪心解码，使重复回答获得负优势，重复循环从 86 条降到 18 条，均分从约 49.7 升到 57.3，六小时内被另外三位队友采用。
团队通过共享 checkpoint、模型合并与自蒸馏组合各自成果
前 15.8 小时 Agent 未交换 checkpoint，操作员补充最终计算团队提交结果的规则后 56 秒出现首次取用；之后共 57 次队友 checkpoint 获取、160 个版本共享笔记，第 21 小时后每个刷新最佳成绩的模型都包含多位 Agent 的贡献。
自主研究仍存在路线趋同与验证不足的局限
四个 Agent 第一小时都选中 AM-Thinking-v1-Distilled，占首批训练数据 76%—87%，整轮没有做固定其他条件只比较数据来源的实验；它们能发现样本太长、格式不对，却较少核对答案本身是否正确，一个过滤疑似错误答案的计划最终未执行。
完整摘要
字节跳动、杜克大学等团队提出 Athanor，一个让多个 Agent 自主进行后训练研究的系统。四个 Claude Opus 5.5 Agent 通过 Claude Code 工作，各自拥有独立工作区和八卡机器，共享训练、数据、评测与实验记录服务，人类只搭建环境、提供起始代码和维护机器，研究路线由 Agent 自行决定。任务是把 Qwen3-4B-Base 训练成通用模型，覆盖数学、逻辑、代码、知识、指令遵循和多步行动六类任务。104 小时后，团队提交的模型在开发集和隐藏集上的平均分分别为 67.3 和 48.2，接近官方 Qwen3-4B-Instruct-2507 的 66.5 和 47.9，重复评测差异区间包含零。过程中，Agent 3 发现模型在贪心解码下容易陷入重复循环，而训练时的随机采样绕开了这一路径，于是修改生成代码，让每条回答有四分之一概率走贪心解码，使重复回答获得负优势，均分从约 49.7 升到 57.3，该改法被其他 Agent 快速复用。团队还通过共享 checkpoint、模型合并和自蒸馏组合成果。全程提交 500 个作业，26 个失败，三个节点被回收损失约 23 个 GPU 小时，估算总成本约 1.18 万美元，其中 Agent 自身推理仅占 9%。文章也指出局限：四个 Agent 第一小时就选中同一主力语料，研究路线趋同，且较少核对答案本身是否正确。
目录 · 7 节
字节跳动、杜克大学等团队，把四个 Claude Agent 拉到一起，交给它们一份研究任务：把 Qwen3-4B-Base 训成一个通用模型。
每个 Agent 分到一台八卡机器。选数据、写训练代码、分析结果，连下一步该试什么，都由它们自己决定。
104 小时后，它们交出的模型，在论文两组综合评测中，追平了官方 Qwen3-4B-Instruct-2507 的平均水平。
这套系统叫 Athanor。公开的论文，把这四天多的研究过程也留了下来：有模型答题卡死，有队友接过有效的改法，还有机器半路被回收后恢复实验。
四个 Agent，要交同一个模型
这次要练的能力不少：数学、逻辑、代码、知识、指令遵循，还有多步行动。
六类任务分别评分，再取简单平均。Agent 能看到开发集结果，另一组隐藏集则换了题目、来源或任务形式，整个研究期间不对它们开放。
最终统一复测，结果如下：
|
模型 |
开发集均分 |
隐藏集均分 |
|---|---|---|
|
Qwen3-4B-Base |
15.9 |
9.2 |
|
四个 Agent 的最终模型 |
67.3 | 48.2 |
|
Qwen3-4B-Instruct-2507 |
66.5 |
47.9 |
两组平均成绩都到了官方指令版附近，重复评测的差异区间包含零，可以视为接近的水平。
它们各有强项。隐藏集的多步行动任务，团队模型拿到 74.7，官方指令版是 66.8；数学和逻辑仍落后。更强的 Qwen3-4B-Thinking-2507，在同一复测中也保留着明显优势。
论文表1：上半为研究过程评测，下半为统一最终复测
四个 Agent 最后交的是同一份权重，要同时面对这六类任务。某次训练把代码能力推高了，却伤到知识或逻辑，接下来就得想办法把它们调回来。
数据怎样混，强化学习怎么跑，队友训出的模型能不能接着用，这些都成了它们自己的研究问题。
先把实验室交给它们
四位“研究员”都是 Claude Opus 5.5，通过 Claude Code 工作。Claude 负责读材料、改代码和决定实验，实际更新权重的是 Qwen3-4B。
每个“研究员”都有独立工作区，也能读队友的记录、取走队友的 checkpoint。Athanor 则准备好可运行的训练起点，以及数据、训练、评测和实验记录服务。
Agent 提交任务后，GPU 作业会独立运行，结束后再唤起它分析结果。每轮用了什么数据、哪份代码、从哪个模型继续，都能查到；即使会话结束或节点故障，已有成果也能接着用。
评测服务放在沙箱外，规则冻结，Agent 改不了考题和评分代码。
Athanor 系统：四个研究 Agent 调用训练、数据与评测服务，共享成果并保留实验记录；隐藏评测不向它们开放
人类搭好环境、提供起始代码、维护机器，研究路线留给 Agent。没有人逐轮告诉它们该换哪份数据、调哪个参数。
它们先翻起了数据。可选池里有 447 个公开数据集，最初六小时，每个 Agent 都会抽几十行看看：格式能否处理，答案有多长，题目够不够难，奖励能不能算。
第一小时内，四个 Agent 都选中了 AM-Thinking-v1-Distilled，在各自第一批公开训练数据中占到 76%—87%。这类语料已经包含从更强模型蒸馏的知识，本次实验禁止它们额外调用外部教师模型。
一轮监督微调之后，Agent 3 遇到了一个具体麻烦。
模型明明会答，却卡在了重复里
第 10 小时左右，Agent 3 手里的模型，开发集均分约 49.7。
它去读那些一直答到长度上限的输出，发现模型反复写同样的东西，停不下来。逻辑和代码等任务上，大量答案就这样耗光了输出预算。
Agent 3 启动 GRPO 强化学习，跑了一阵，毛病还在。
它继续看训练时生成的回答，才发现两边不一样：当时的过程评测，六项中有五项采用贪心解码，每一步都选概率最高的 token；训练时则随机采样回答，反而很少碰到死循环。
训练绕开了模型最容易犯错的那条路。
Agent 3 在第 25 个训练步骤停掉这次尝试，改了生成回答的代码：每条回答有四分之一的概率走贪心解码，其余仍随机采样。
这样，同一道题里就可能同时出现一条卡死的回答和一条正常答对的回答。前者得零分、后者得高分，重复的那条回答便会获得负优势，训练开始压低这种行为的概率。
它还重建了一批训练题，再开一轮。小验证集里，重复循环从 86 条降到 18 条；随后完整的过程评测，均分从约 49.7 升到 57.3。这是采样改法与重建训练题一起带来的结果。
Agent 3 把诊断和代码写进共享笔记。六小时内，另外三位队友都用上了。
一个 Agent 的改法，四个 Agent 接着练
这支队伍的合作，还有一段小插曲。
前 15.8 小时，它们看过彼此的文件，却没交换 checkpoint，也没写共享笔记。操作员这时补充了一条起始文档漏写的既定规则：最终计算的是团队提交结果。
56 秒后，第一次从队友那里取 checkpoint 的动作出现了。
之后，成果开始频繁流动：57 次队友 checkpoint 获取，160 个版本的共享笔记。到了第 21 小时之后，每一个刷新最佳成绩的模型，都已经包含多位 Agent 的训练贡献。
Agent 4 把三位 Agent 训出的模型做加权平均。Agent 3 又沿着合并模型相对基座的权重变化方向向外推了一点，用部分知识成绩换取逻辑提升。
接着，它们开始自蒸馏：让自己的模型对每道训练题生成四份回答，用规则奖励挑出答对的，再留下其中最短的一份，拿来做监督微调。
两位 Agent 分别跑出结果，最后再合并，形成团队提交。
论文图5：不同 Agent 的训练、合并与自蒸馏如何汇入最终模型
SFT、GRPO、模型合并、自蒸馏，都是已有方法。这次留下的进展，来自 Agent 怎样读结果、修改实现，再把几位队友的成果组合到一起。
104小时，花了多少钱
全程提交了 500 个作业，174 个 checkpoint 完成了完整评测。26 个作业失败，大多与 Agent 写的代码有关。
机器也出了状况。四个节点中，有三个先后被回收，靠系统恢复和人类维护接回实验，仍损失了约 23 个 GPU 小时。
按每 GPU 小时 3.49 美元的云租用价格，加上 Claude 的标价推理费用，论文估算这轮研究约花 1.18 万美元。
论文图4a：约1.18万美元的估算成本，强化学习、评测和自蒸馏采样占了大头；GPU按每小时3.49美元折算
Agent 自身的推理约 1,074 美元，占 9% 左右。花钱更多的是它们指挥的工作：强化学习、评测，以及为自蒸馏生成答案。
进步也越来越慢。第一天，成绩已经到了 60 分左右；后面三天，又多出约 7 分。研究原计划跑 72 小时，后来延长到 144 小时，最后在第 104 小时停下——最近一天，最佳成绩提升已不到 1 分。
四个研究员，为什么想到了同一条路
翻完这份记录，还有一件事挺有意思。
四个相同的 Claude Agent，第一小时就选中了同一个主力语料。后来试过的两条替代数据路线，成绩较低，很快被放弃。整轮研究没有做过一次固定其他条件、只比较两种数据来源的实验。
论文图7c：四个 Agent 首批训练混合中，同一份 AM-Thinking-v1-Distilled 语料占76%—87%；深色部分为该语料
它们能发现样本太长、格式不对、奖励算不出来，却较少核对答案本身是否正确。一个准备过滤疑似错误答案的计划，最终也没执行。
四位研究员的动作很勤快，研究路线却相当一致。把实验跑起来之后，怎样让它们找到不同的好问题，成了这间实验室留给下一轮的课题。
参考链接
-
Athanor: An Agent-Native System for Autonomous Post-Training Research：https://arxiv.org/abs/2610.21055