NeurIPS 2026｜训练策略变强，推理就一定变强吗？MemoraX AI 联合天大、阿里提出 MIPI

在大模型强化学习（RL）中，训练过程的优化最终需要体现在模型的实际输出上。然而，训练引擎与推理引擎即使共享模型参数，也可能因为数值精度、解码实现和计算后端等差异，产生不同的输出概率分布。当训练端的更新无法完整转化为推理端的收益时，模型在训练过程中获得的改进，就可能在实际推理中打折。

围绕这一问题，MemoraX AI 联合天津大学、阿里巴巴开展的研究入选 NeurIPS 2026，提出单调推理策略改进原则（Monotonic Inference Policy Improvement，MIPI），将实际用于采样和部署的推理策略确立为优化目标，并进一步设计具体实现方法 MIPU。

在 Qwen3-4B 和 Qwen3-1.7B 的 FP8 量化采样实验中，MIPU 在五项数学推理基准上的平均准确率分别达到 66.71% 和 53.97%，较 GRPO 基线分别提升 2.29 和 3.11 个百分点。实验还显示，MIPU 在论文报告的训练范围内保持了更稳定的训练表现。

这项工作的核心问题并非如何进一步优化训练端的更新，而是：怎样让每一次训练更新的价值，真正体现在模型实际使用的推理策略上？

论文标题：The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning

论文链接：https://arxiv.org/abs/2606.29526

项目主页：https://anitaleungxx.github.io/MIPU

一、训练端的优化，为什么可能在推理端失效？

大模型强化学习通常涉及两个相互关联、但职责不同的过程：推理引擎负责生成回复，训练引擎负责计算概率、评估更新并调整模型参数。

在实际系统中，推理与训练可能分别运行于不同的引擎或计算后端。例如，vLLM、SGLang 等推理系统与 Megatron、FSDP 等训练组件，在数值精度、解码实现和底层计算方式上可能存在差异。

因此，即使模型参数已经同步，训练策略与推理策略也不一定完全一致。论文将训练策略记为 π，将实际用于采样和部署的推理策略记为 μ。当两者存在差异时，训练过程所依据的概率分布就可能与实际生成数据的分布不同。

这种现象被称为训练—推理不一致（training-inference mismatch）。

已有研究通常从训练稳定性和系统实现等角度处理这一问题，例如通过重要性采样修正、异常样本过滤、学习率衰减或底层系统优化，缓解训练与推理之间的差异。

但这项研究进一步追问了一个目标层面的问题：即使训练策略获得了有效更新，同步后的推理策略是否也一定得到改善？

答案并不能简单地视为肯定。训练策略的优化效果与推理策略的实际表现之间，仍然存在需要明确处理的差距。

因此，研究团队将关注点从训练策略本身的改进，转向实际推理策略在相邻更新之间的性能变化。这也构成了 MIPI 的出发点。

二、从优化训练策略，到直接关注推理策略

MIPI 的关键创新，是重新明确策略优化究竟应该以谁的改进为目标。

传统策略优化通常围绕训练策略的更新展开。但在训练与推理不完全一致的情况下，训练端的收益并不能直接等同于部署端的收益。MIPI 因此将实际推理策略的改进确立为策略优化原则，希望每次更新后，真正用于生成答案的策略都能获得改进。

这一原则可以表示为：

其中，(J(μ)) 表示推理策略的期望回报，(μₖ) 和 (μₖ₊₁) 分别表示更新前后的推理策略。

这一表达式体现了 MIPI 的核心目标：更新后的推理策略，其期望回报不应低于更新前的策略。

需要区分的是，MIPI 是一项关于优化目标与策略改进的原则，并不限定具体采用哪一种重要性采样权重、差距估计器或回滚阈值。论文提出的 MIPU，则是在这一原则下设计的具体实现框架。

为了把这一原则转化为可分析的优化过程，研究进一步将推理策略的变化分解为三个部分：

这三个部分分别对应更新后的推理差距、训练端更新，以及更新前的推理差距。

这一分解揭示了一个重要问题：训练端更新只是推理策略最终改进的一部分。更新前后的训练—推理差距，同样会影响实际收益能否得到兑现。

因此，优化训练策略本身并不足以完整描述推理端的改进过程。如何处理已有差距，以及如何判断新更新是否值得保留，成为 MIPU 进一步设计的重点。

三、MIPU 如何把原则落实到训练过程？

MIPU 围绕上述问题设计了两个互补步骤：先构造候选更新，再从推理端验收候选更新。

Step 1：以实际采样策略为参照，构造候选更新

常规GRPO更新使用新旧训练策略的概率比，而训练样本实际由推理策略生成。MIPU在第一步中引入采样策略参照，并将总概率比拆成两项：

其中，第一项修正更新前已经存在的训练—推理不一致，第二项描述当前训练更新的幅度。将两者分开，能够避免把既有差距误当作本次更新过大的信号。

在具体实现中，MIPU采用TIS式截断重要性采样：限制不一致修正权重的上界，同时仅对当前更新比率施加PPO式裁剪。这样既保留了对采样分布的修正，又避免极端权重过度放大梯度方差。

这一步提供更合理的候选模型，但候选模型同步到推理引擎后能否兑现收益，还需要进一步检查。

Step 2：同步到推理端后，再决定是否接受更新

MIPU 的第二步针对候选更新增加了推理端验收机制。

候选模型同步后，方法使用新的推理策略在验证批次上生成回复，并结合组内相对优势与长度归一化的概率比，计算更新后推理差距的代理量。

这一代理量用于识别潜在的收益错位。例如，对于优势为正的回复，如果推理端分配的概率偏低；或者对于优势为负的回复，如果推理端分配的概率偏高，那么训练端预期的收益就可能在同步后打折。

当代理量满足设定的容忍阈值时，系统接受候选更新；否则，恢复上一检查点中的模型参数、优化器状态和推理策略。

论文还采用动态容忍阈值：训练初期设置相对宽松的容忍范围，随后逐步收紧，以避免训练初期过度拒绝具有价值的探索。

因此，MIPU 的两个步骤承担着不同的作用：第一步改善候选更新的质量，第二步判断候选更新是否值得保留。两者共同服务于 MIPI 所提出的推理策略改进原则。

四、实验结果：两种模型规模均取得更高平均准确率

研究在 Qwen3-4B 和 Qwen3-1.7B 上进行实验，采用 FP8 量化采样，以考察量化推理放大训练—推理差异时的表现。

评测覆盖五项数学推理基准：MATH-500、AIME24、OlympiadBench、Minerva 和 AMC23。对比方法包括标准 GRPO、MIS、学习率衰减和 MIPU。

论文报告 pass@1 准确率；对于题量较小的 AIME24 和 AMC23，则采用 avg@16 以降低评测波动。该指标不等同于 pass@16。

五项数学基准的平均准确率如下：

模型	Qwen3-4B	Qwen3-1.7B
GRPO基线	64.42%	50.86%
MIS	63.42%	51.73%
学习率衰减	65.66%	52.23%
MIPU	66.71%	53.97%
较GRPO提升	2.29个百分点	3.11个百分点

表1：FP8量化采样设置下，五项数学推理基准的平均准确率。数据来自论文表1，提升幅度按表中结果相减计算。

在 Qwen3-4B 上，MIPU 在 MATH-500、OlympiadBench、Minerva 和 AMC23 四项基准取得表中最高成绩，其中 AMC23 达到 85.00%，Minerva 达到 45.96%。在 Qwen3-1.7B 上，MIPU 在 MATH-500 和 OlympiadBench 上分别达到 86.52% 和 59.52%。

这些结果显示，在论文设定的 FP8 量化采样场景下，MIPU 在两种模型规模上都取得了最高的五项基准平均准确率。但这并不意味着它在每一项单独基准上都领先，也不能直接推断其在所有模型规模、任务和训练系统中都具有相同优势。

除平均成绩外，论文还报告了训练过程中的稳定性表现：部分基线在中途达到较高分数后出现明显退化，而 MIPU 在论文展示的训练范围内保持了更稳定的轨迹。

消融实验：候选更新与推理端验收需要配合

为了进一步分析两个步骤的作用，研究在 Qwen3-4B 上进行了消融实验。

方法	平均准确率
GRPO基线	64.42%
仅Step 1：采样策略参照更新	65.36%
仅Step 2：推理差距验收	62.81%
完整MIPU	66.71%

表2：Qwen3-4B在FP8量化采样下的消融实验。数据来自论文表2。

仅使用 Step 1 时，平均准确率从 64.42% 提升至 65.36%，说明改善候选更新能够带来收益。但由于缺少后续验收，候选更新仍可能在同步到推理端后出现问题。

仅使用 Step 2 时，平均准确率为 62.81%。论文的分析指出，单独的验收机制能够通过拒绝更新缓解训练崩溃，但无法直接改善候选更新本身的质量；当有用候选较少时，系统也容易停留在旧策略上。

完整 MIPU 的平均准确率达到 66.71%，比仅使用 Step 1 高出 1.35 个百分点。这一结果表明，在该实验设置下，候选更新与推理端验收具有互补作用。

随机回滚对照：减少更新次数并不足够

研究还通过随机回滚实验，检验 MIPU 的稳定性是否仅仅来自减少更新次数。

在论文图 4b 展示的比较窗口中，随机回滚拒绝了 67.0% 的候选更新，高于仅使用 Step 2 时的 53.5%，但仍然在达到短暂峰值后发生崩溃。相比之下，基于推理差距信号的验收维持了更稳定的训练轨迹。

这一对照支持了论文的设计动机：稳定性不仅取决于拒绝多少次更新，也取决于依据什么信号判断更新是否值得接受。

论文中的容忍阈值实验也显示，过于严格的验收可能导致频繁回滚，从而限制后续学习。如何在控制风险与保留有效探索之间取得平衡，仍是这类方法设计中的重要问题。

五、从训练优化到实际推理表现，仍有问题需要回答

项研究从训练与推理不一致的问题出发，将策略优化的关注点从训练端扩展到实际用于采样和部署的推理策略，并通过 MIPU 展示了如何利用候选更新与推理端验收，将这一原则落实到训练过程中。

不过，现有实验主要集中于 1.7B 和 4B 模型，以及数学推理任务。MIPI 与 MIPU 在更大规模模型、更多任务和不同训练系统中的适用性，仍有待进一步验证。此外，推理端验证与候选回滚也会带来额外成本，如何进一步提高差距估计与验收效率，是后续值得探索的方向。

从更广泛的角度看，这项工作提出了一个值得持续关注的问题：训练阶段的优化，如何才能真正转化为模型在实际使用中的表现提升？

对于 AI 系统而言，训练指标的改善固然重要，但这些改善能否在真实生成与部署过程中得到保留，同样需要被认真评估。MIPI 提供了一个以推理策略改进为目标的研究原则，MIPU 则为这一原则提供了具体的实现路径。

这一问题也与 MemoraX AI 持续探索的方向密切相关。随着 AI 从单轮交互走向长期、复杂的任务执行，如何让模型在实际应用中持续积累经验、有效利用历史信息，并将已有经验转化为后续任务中的能力提升，将成为 AI 学习机制研究的重要议题。围绕 AI Memory 与长程智能，MemoraX AI 将继续探索如何让 AI 不仅能够完成当下的任务，也能够更好地利用过去的经验，支持更持续的学习与更可靠的任务执行。