新智元报说念
裁剪：Aeneas 犀牛
【新智元导读】DeepSeek新论文来了！在清华商榷者共同发布的商榷中，他们发现了奖励模子推理时Scaling的全新秩序。
DeepSeek R2，确实近了。
最近，DeepSeek和清华的商榷者发表的这篇论文，谈判了奖励模子的推理时Scaling秩序。
论文地址：
https://arxiv.org/abs/2504.02495
当今，强化学习（RL）已世俗应用于LLM的大规模后考验阶段。
通过RL引发LLMs的推理才能标明，吸收合适的学习秩序，就有望已毕存效的推理时可膨胀性。
但是，RL濒临的一个重要挑战，即是在可考证问题或东说念主工规定以外的多种领域中，为LLMs得回准确的奖励信号。
是否有可能通过加多推理计较资源，来进步通用查询场景下奖励建模（RM）的才能，即通用RM在推理阶段的可膨胀性呢？
DeepSeek和清华的商榷者发现，在RM秩序上吸收点式生成式奖励建模（Pointwise Generative Reward Modeling, GRM），就能进步模子对不同输入类型的无邪适合才能，并具备推理阶段可膨胀的后劲。
为此，他们冷漠一种自我原则点评调优（Self-Principled Critique Tuning, SPCT）的学习秩序。
通过在线RL考验促进GRM生成具备可膨胀奖励才能的步履，即粗略自适合生成评判原则并准确生成点评内容，从而得到DeepSeek-GRM模子。
他们冷漠了DeepSeek-GRM-27B，它是基于Gemma-2-27B经过SPCT后考验的。
不错发现，SPCT权贵提高了GRM的质料和可膨胀性，在多个概述RM基准测试中优于现存秩序和模子。
商榷者还比较了DeepSeek-GRM-27B与671B的更大模子的推理手艺膨胀性能，发现它在模子大小上的考验手艺膨胀性能更好。
另外，他们还引入一个元奖励模子（meta RM）来蛊惑投票过程，以进步膨胀性能。
总体来说，商榷者的三个孝敬如下。
1.冷漠了一种新秩序——自我原则点评调优（SPCT），用于鼓励通用奖励建模在推理阶段已毕存效的可膨胀性，最终构建出DeepSeek-GRM系列模子。同期引入了元奖励模子（meta RM），进一步进步推理膨胀性能。
2.SPCT权贵进步了GRM在奖励质料和推理膨胀性能方面的进展，越过了现存秩序及多个强盛的公开模子。
3.将SPCT的考验进程应用于更大规模的LLM，并发现比拟于考验阶段扩大模子参数目，推理阶段的膨胀战略在性能上更具上风。
SPCT
受到初步实验着力的启发，商榷者为点式生成式奖励模子（pointwise GRM）蛊惑了一种新颖的秩序，使其粗略学习生成具有适合性和高质料的原则，以灵验指挥点评内容的生成。
这一秩序被称为自我原则点评调优（Self-Principled Critique Tuning，SPCT）。
如图3所示，SPCT包括两个阶段。
1.拒却式微调（rejective fine-tuning）看成冷最先阶段
2.基于规定的在线强化学习（rule-based online RL），通过进步生成的原则和点评内容来强化通用奖励的生成过程。
另外，SPCT还不错促进GRM在推理阶段的可膨胀步履。
将「原则」从相识转向生成
商榷者发现，安妥的原则不错在一定圭臬下蛊惑奖励生成，这关于生成高质料奖励至关要紧。
但是，在大规模通用奖励建模中，何如灵验生成这些原则如故一个挑战。
为此，他们冷漠将「原则」从一种相识过程解耦出来，滚动为奖励生成的一部分，也即是说，不再将原则视为预处理门径，而是纳入奖励生成进程中。
面容化地说，当原则是预界说时，原则可用于蛊惑奖励生成。
商榷者让GRM自行生成原则，并基于这些原则生成点评内容，面容化抒发如下：
其中，p_θ是用于生成原则的函数，由参数θ示意，且与奖励生成函数r_θ分享吞并个模子架构。
这一行变使原则粗略左证输入问题过甚文告内容进举止态生成，从而使奖励生成过程愈加自适合。
此外，通过对GRM进行后考验，可进一步进步所生成原则与对应点评内容的质料与细密进程。
当GRM粗略在大规模要求下生成各种化、高质料的原则时，其输出的奖励将愈加合理且具备更高的细粒度，而这一才能恰是推理阶段可膨胀性的重要隘点。
基于规定的强化学习
为了同期优化GRM中的原则与点评内容的生成，商榷者冷漠了SPCT秩序，它团结了拒却式微调（rejective fine-tuning）与基于规定的强化学习（rule-based RL）。
其中，拒却式微调看成冷最先阶段。
拒却式微调（Rejective Fine-Tuning，冷最先）
这一阶段的中枢念念想是让GRM适合不同输入类型，并以正确的方法生成原则与点评内容。
与以往责任夹杂使用单个、成对和多个文告的RM数据并使用不同方法不同，商榷者吸收了点式GRM（pointwise GRM），以在疏通方法下无邪地对淘气数目的文告进行奖励生成。
在数据构建方面，除了通用指示数据外，商榷者还从具有不同文告数目的RM数据中采样预考验GRM在给定查询与文告下的轨迹。
关于每个查询过甚对应的文告，商榷者履行了N_RFT次采样。
他们结伴了拒却战略：若模子展望的奖励与真确奖励不一致（造作），或该组查询与文告在所有N_RFT次采样中沿途展望正确（太浮浅），则拒却该轨迹。
面容化地，令r_i示意第i个文告y_i对查询x的真确奖励，AG百家乐网站地址展望得到的点式奖励
被合计是正确的，当且仅当：
该要求保证真确奖励中只好一个最大值。
但是，正如以往商榷所指出的，预考验的GRM在有限采样次数下，经常难以为部分查询过甚文告生成正确的奖励。
因此，商榷者引入了教导式采样（hinted sampling）：将
看成教导，附加到GRM的教导语中，以期提高展望奖励与真确奖励的一致性。
不错发现，与之前的商榷不同，教导采样的轨迹在某些情况下会捷径式简化点评生成，终点是在推理任务中。
这标明：在线强化学习关于GRM如故必要的，并具有潜在上风。
基于规定的强化学习
在SPCT的第二阶段，商榷者使用基于规定的在线强化学习对GRM进一步微调。
具体而言，咱们吸收了GRPO的原始设定，并使用基于规定的着力奖励（rule-based outcome rewards）。
在rollout过程中，GRM左证输入查询与文告生成原则与点评，然后索要展望奖励并通过准确性规定与真确奖励进行对比。
与DeepSeek-AI不同的是，商榷者不再使用方法奖励，而是吸收更高的KL贬责所有，以确保输出方法正确并幸免产生严重偏差。
面容化地，关于第i个输出o_i（给定查询x和文告
），其奖励界说为
其中，点式奖励
是从o_i中索要的。
该奖励函数饱读吹GRM通过在线优化生成的原则与点评内容，正确地划分最优文告，从而进步推理阶段的可膨胀性。
此外，这种奖励信号可无缝对接任何偏好数据集与标注的LLM文告。
SPCT的推理时Scaling
为了进一步进步DeepSeek-GRM在生成通用奖励上的性能，商榷团队探索了何如期骗更多的推理计较，通过基于采样的战略来已毕存效的推理时膨胀。
通过生成奖励进行投票
逐点GRM（pointwise GRMs）投票过程被界说为将奖励乞降：
因为S_(i,j)经常被设定在一个小的打破范围内（比如{1,...,10}），是以投票过程履行上将奖励空间扩大了k倍，让GRM能生成多数原则（principles），从而进步最终奖励的质料和细腻度。
直不雅来说，要是把每个原则看作一种判断视角的代表，那么更多的原则就能更准确地反馈真确漫衍，从而带来膨胀的灵验性。
值得一提的是，为了幸免位置偏差并加多各种性，商榷东说念主员在采样前会对文告进行立时打乱。
元奖励模子蛊惑投票
DeepSeek-GRM的投票过程需要屡次采样，但由于立时性或模子本人的局限性，生成的某些原则和驳斥可能会出现偏见或者质料不高。
因此，商榷团队考验了一个元奖励模子（meta RM）来蛊惑投票过程。
这个meta RM是一个逐点标量模子，考验筹谋是判断DeepSeek-GRM生成的原则和驳斥是否正确。
蛊惑投票的已毕很浮浅：meta RM为k个采样奖励输出元奖励（meta rewards），然后从这些奖励中选出前k_meta（k_meta ≤ k）个高质料的奖励进行最终投票，从而过滤掉低质料样本。
奖励模子着力
不同秩序和模子在RM基准测试上的总体着力如表2所示。
着力败露，DeepSeek-GRM-27B在合座性能上越过了基线秩序，况且与一些宏大的公开RM（如Nemotron-4-340B-Reward和GPT-4o）进展相配。
要是通过推理时膨胀（inference-time scaling），DeepSeek-GRM-27B还能进一步进步，达到最好合座着力。
不同秩序和模子在RM基准测试上的总体着力。下划线数字示意最好性能，粗体数字示意基线秩序和本文秩序中的最好性能，斜体字示意标量或半标量RM。关于meta RM指挥的投票，k_meta = 1/2k
推理时膨胀性
不同秩序的推理时膨胀着力如表3所示，合座趋势见图1。
商榷东说念主员发现，在最多8个样本的情况下，DeepSeek-GRM-27B的性能进步最高，稀奇了蓄意解码和采样着力。
跟着推理计较量加多（最多32个样本），DeepSeek-GRM-27B展现出进一步进步性能的后劲。meta RM也在每个基准测试中解说了其过滤低质料轨迹的灵验性。
总之，SPCT进步了GRM的推理时膨胀性，而meta RM进一步增强了合座膨胀性能。
消融商榷
表4展示了所提SPCT不同组件的消融商榷着力。
令东说念主讶异的是，即使莫得使用拒却采样的驳斥数据进行冷最先，经过在线强化学习（online RL）后，通用指示调度的GRM仍然权贵进步（66.1 → 68.7）。
此外，非教导采样似乎比教导采样更要紧，可能是因为教导采样轨迹中出现了捷径。这标明在线考验对GRM的要紧性。
与之前商榷一致，商榷团队证实通用指示数据对GRM性能至关要紧。他们发现，原则生成对DeepSeek-GRM-27B的蓄意解码和推理时膨胀性能齐至关要紧。
在推理时膨胀中，meta RM指挥的投票在不同k_meta下进展出鲁棒性。
推理与考验老本膨胀
商榷团队进一步商榷了DeepSeek-GRM-27B在不同规模LLM后考验下的推理时和考验时膨胀性能。
模子在Reward Bench上测试，着力如图4所示。
他们发现，使用32个样本径直投票的DeepSeek-GRM-27B不错达到与671B MoE模子相配的性能，而meta RM指挥的投票仅用8个样本就能取得最好着力，解说了DeepSeek-GRM-27B在推理时膨胀上的灵验性，优于单纯扩大模子规模。
此外，他们用包含300个样本的降采样测试集测试了DeepSeek-R1，发现其性能致使不如236B MoE RFT模子，这标明延伸推理任务的念念维链并不可权贵进步通用RM的性能。