AG百家乐下三路技巧打法 不蒸馏R1也能特出DeepSeek，上海 AI Lab 用RL摧毁数学推理极限
发布日期：2024-11-14 00:31 点击次数：121
书理 投稿自 凹非寺量子位 | 公众号 QbitAI
仅通过强化学习，就能特出DeepSeek！
上海AI Lab建议了基于限度奖励的强化学习新范式——
从Qwen2.5-32B-Base模子启程，仅通过微协调基于限度响应的强化学习，在不蒸馏超大模子如DeepSeek-R1的情况下，就能特出DeepSeek-R1-Distill-Qwen32B和OpenAI-O1系列的超强数学推感性能。
团队发现，现时大模子数学推理任务面对”三重门”困局：
奖励窘境：最终谜底对错的二元响应，使复杂推理的优化变得穷苦局部正确陷坑：长想维链中部分正确法子反而可能误导模子学习范围依赖魔咒：传统蒸馏程序迫使询查者堕入”参数范围武备竞赛”
因此，询查团队再行注目了现时基于限度奖励的强化学习算法，经过严格的表面推导与诠释注解，再行遐想了一个新的限度奖励强化学习算法，并在这个过程中得出了三点报复论断：
关于正样本：在二元响应环境下，通过最好轨迹采样（BoN）的活动即可学习最优战术关于负样本：需要使用奖励重塑来崇敬战术优化筹谋的一致性关于长序列：不同的序列部分对限度的孝顺不同，因此需要更细粒度的奖励分拨函数，这个函数不错通过限度奖励习得
平常来说，便是通过对正确样本效法学习，间隙样本偏勤学习，关节法子重心学习，无需依赖超大范围的模子（举例DeepSeek-R1）进行蒸馏，仅通过强化学习即可达到惊东说念主的着力。
除此以外，团队也对不同起初模子进行了强化学习查考对比和分析，发现强化学习的起初模子和查考数据散播对最终的模子着力也很报复。因此，询查团队将RL查考的数据、起初和最终模子通盘完好开源，来鼓励社区的公说念比较和进一步询查。形势连续已放文末。
从新遐想限度奖励强化学习
针对数学推理任务中强化学习面对的寥落奖励和局部正确难题，团队建议新的战术优化框架OREAL。
通过表面更正收场针对性的算法矫正，在用实验诠释“若何作念更好”之前，领先论证“为什么这样作念更好”
正负样本奖励重塑，处罚寥落奖励窘境
在数学推理任务的采样过程中，团队经过表面分析推导，建议中枢意见：在二元响应机制下，采样纵情数目包含正确谜底的BoN（Best-of-N）建筑，其正确轨迹的散播具有一致性特征。这一发现标明，通过平直活动克隆（behaviorcloning）采样得到的正确轨迹，照旧组成了正样本查考中的最优建筑。
在对正样本作念效法学习的基础上，团队建议平直刑事包袱负样本会导致梯度偏差问题，对负样本的查考原则应当是崇敬优化梯度神志与学习BoN散播一致。通过深入分析正负样本的查考梯度，询查者们建议了基于平均准确率p的奖励重塑因子来崇敬上述一致性，为GRPO等算法的矫正提供了表面依据。这种建筑使模子既能有用收受得手教养，又能精准识别关节间隙规模，对查考性能有赫然匡助。
限度奖励「因果溯源」，跳出局部正确陷坑
针对复杂的长推理链问题，ag百家乐苹果appOREAL更正性地遐想了token报复性算计器。通过构建序列累计神志的奖励函数，咱们将限度奖励逆向领悟到每个推理法子（见底下的token-level RM热力求）。这种程序或者精详情位中枢间隙法子，在查考时收场更精粹的梯度更新，权臣升迁了模子在长序列任务中的阐发。
OREAL框架
将几项领略组合起来，团队建议的最优强化学习战术不错轮廓为：在正确样本上效法学习，在间隙样本上偏勤学习，对关节法子作念重心学习。
通过合理的分析和履行，一步步坚韧化学习性能推到最好水平。
强化学习特出蒸馏，解脱范围依赖魔咒
团队在7B和32B两个范围的模子上仅使用4千条高质地查考样本进行了查考和测试，
在7B量级上，Oreal-7B在MATH-500上获得了91.0的pass@1准确率。这是初度通过强化学习而非蒸馏程序达到了如斯高的精度。这一得益不仅为基于RL的程序确立了新的里程碑，还特出了更大参数目的模子，包括QWQ-32B-Preview和OpenAI-O1-Mini。
此外，将Oreal行使于此前最好的7B模子（DeepSeek-r1-Distill-Qwen-7B）后，得到的新模子OREAL-DSR1-Distill-Qwen-7B在MATH-500上获得了94.0的pass@1精度，创下了7B模子的纪录。千问的基座，经过DeepSeek的蒸馏查考，再经过上海AI Lab的强化学习查考，达到了中国原更正高度。
关于32B模子，Oreal-32B在MATH-500上也达到了95.0的分数，特出了同级别的DeepSeek-r1-Distill-Qwen-32B，收场32B模子的新SOTA。
One More Thing
终末，询查团队还对比了不同基座模子下的性能阐发，发现不同性能起初的战术模子RL后性能上限是不同的，起初模子越强，RL后的性能越好。
何况，尽管在多个基座模子上，大部分benchmark性能齐会在RL后有所升迁，偶尔也会出现合手平（OREAL-32B在AIME2025-I）或者性能下落（比较于DSR1-Distill-Qwen-7B在AIME2024）。
询查以为，这些情况的出现可能与查考语料的质地、难度和数目等方面准备的不够充分谈判，这也给将来的询查留住了空间。
因此，除了深刻的RL算法，团队还建议两个关节身分关于RL在数学推理任务中的得手至关报复：
深刻的起初模子是RL不错有用激励模子潜在能力的前提。
在RL阶段使用的数据也必须在质地、难度、数目和种种性方面齐得到充分保证。高质地的数据集或者让模子通过面对普通的挑战和学习契机，充分阐发自后劲。
模子数据全面开源，助力强化学习询查
询查团队同期也防御到，尽管DeepSeek-R1的出现引发了社区关于诳言语模子强化学习的学习和询查存眷，全球使用的查考起初模子、查考数据、查考算法和超参细节齐不尽交流，影响了算法和模子性能的暴露比较。
因此，询查团队将通盘RL查考过程顶用到的查考数据、起初模子和RL后模子齐进行了全面开源，查考代码也将开源到XTuner。
接待下载体验：
形势连续：https://github.com/InternLM/OREAL论文地址：https://arxiv.org/abs/2502.06781RL 查考数据连续：https://huggingface.co/datasets/internlm/OREAL-RL-Prompts系列模子地址：https://huggingface.co/collections/internlm/oreal-67aaccf5a8192c1ba3cff018