日榜第二,北大开源,强化学习数据策略接入更简单、对比更公平
每一轮强化学习到底应该把哪些数据交给模型? 这个问题正随着推理模型和 RLVR 的发展变得更加重要。随着强化学习在大模型后训练中的作用不断增强,模型练什么、怎么练,也需要更仔细地安排。一道题可能起初很难,训练一段时间后却能稳定答对。哪些数据该继续保留,学习权重和领域配比该怎样调整,都需要结合模型的训练状态重新考虑。 而数据策略方法往往不止一种,如何把不同方法比较清楚,还有一些实际难题。不同方法各有一套实现,换个筛选规则就可能要改训练器;比较效果时,模型、奖励函数和训练预算又未必一致。即使分数提高了,也很难判断收益究竟来自数据策略,还是其他训练设置。 为了
了解更多 →