RL 的 token 选择之争：高熵词到底重不重要？

一句话总结

有的研究认为 RL 时要重点训高熵 token（激发探索），有的则认为要避开它们（干扰优化），关键是双方的实验都能涨点。作者提出 “相对惊喜度” 指标来同时刻画 token 的不确定性与梯度影响，发现这一争论并非矛盾，而是互补：通过 RSI 筛选概率适中的区间，同时获取双方优势，实现更好效果

• 论文标题：Which Tokens Matter? Adaptive Token Selection for RLVR with the Relative Surprisal Index
• 论文地址：https://arxiv.org/abs/2606.31575
• 作者背景：阿里巴巴 ModelScope 团队、上海交通大学

一、动机

RLVR 已成为大模型学推理的主流范式，GRPO 是其中最常用的算法：把整条回答中每个 token 一视同仁地拿去更新

近期研究表明，不是每个 token 都值得训练。只在某些重点 token 上，或者避开某些低质 token，能够得到更好的效果。但令人困惑的是，这些研究结论似乎存在冲突：有的研究认为，高熵位置的 token 是关键，应该只训它们；而有的研究认为，低概率词过度主导了模型更新，阻碍了其他关键词的有效学习

尽管这里 “高熵” 与 “低概率” 并不完全等价，前者衡量模型在这个位置有多犹豫（不管最终选了哪个词）后者反映最终选择有多 “意外”，但它们是高度相关的，一派要重点训练的正是另一派要压制的同一批词，戏剧性的是两派在实验上都涨了分

二、解决方法

2.1 相对惊喜度 RSI

作者的思路是，得有一个指标把熵和概率这两件事，捏到一起来看。于是定义了相对惊喜度（Relative Surprisal Index）：被选 token 的 log 概率与分布平均 log 概率之差，再除以熵做归一化：

R S I t = 1 + log ⁡ π θ ( o t ∣ q , o < t ) H t \mathrm{RSI}_t = 1 + \frac{\log \pi_\theta(o_t|q,o_{<t})}{\mathcal{H}_t}RSIt​=1+Ht​logπθ​(ot​∣q,o<t​)​

直觉上，RSI 衡量的是：被选中的这个词，相对其所在分布的平均水平，到底有多让人意外

• RSI ∈ (−∞, 1]
• RSI > 0：该 token 比分布均值更容易出现（低惊异）
• RSI < 0：该 token 比均值更意外（高惊异）

值得注意的是，RSI 并非简单的启发式设计，作者做了严格的数学推理证明了它在梯度-熵关系中的精确角色：

d log ⁡ T t d log ⁡ H t = 1 R S I t , T t = l o g π θ ( o t ∣ q , o < t ) \frac{d\log \mathcal{T}_t}{d\log \mathcal{H}_t} = \frac{1}{\mathrm{RSI}_t}, \mathcal{T}_t=log \pi_\theta(o_t|q,o_{<t})dlogHt​dlogTt​​=RSIt​1​,Tt​=logπθ​(ot​∣q,o<t​)

• H t \mathcal{H}_tHt​：位置t tt的熵，衡量模型此刻有多不确定
• T t \mathcal{T}_tTt​：被选 token 的 log 概率对 logits 的梯度 ℓ₂ 范数

d log(·) 表示 “相对变化率”，上述公式意为：熵每变动 1%，梯度范数就相应变动 1/RSI，即 RSI 就是 “不确定性（熵）” 与 “梯度幅度” 之间的兑换汇率，它把熵派盯着的熵、和概率派盯着的梯度大小，用一个比值锁在了一起

实证发现绝大多数 token 的 RSI 集中在 1 附近 —— 真正让模型惊讶的是少数

2.2 token 筛选

有了 RSI 这一新指标，我们就能更全面地挑选更合适的 token 做 RL，方法非常简洁：只保留 RSI 落在某个非对称区间 [a, b]（a < 0 < b, |a| > b）内的参与梯度更新

• 上界 b：低惊异 token，太好猜、信息量低
• 下界 a：极端高惊异 token，太意外、梯度不稳
• 中间段：既有信息又稳定的 token

注意：在 RSI 指标上应用上下界，并不是简单地框了一个概率固定阈值。如果把 RSI ∈ [a, b] 换算回概率域后，允许的概率范围是：

e ( a − 1 ) H t ≤ π θ ( o t ) ≤ e ( b − 1 ) H t e^{(a-1)\mathcal{H}_t} \leq \pi_\theta(o_t) \leq e^{(b-1)\mathcal{H}_t}e(a−1)Ht​≤πθ​(ot​)≤e(b−1)Ht​

这意味着每个位置的允许概率区间会随该位置的熵自动伸缩，熵大的位置放得宽，熵小的位置收得紧。这是一种熵自适应的门控机制

实验选用的超参：1.5B 用 [−6, 0.95]，3B 用 [−6, 0.9]，7B 用 [−6, 0.8]

三、实验结果

3.1 基准测试

使用 EasyR1 做分布式训练，仅使用 base 模型（Qwen2.5-1.5/3/7B）做实验（干净地对比 RL 效果），采用 DAPO-MATH-17K 作为主要训练集，在AIME、AMC 基准（2024-2026）上测试，评测指标为独立采样 32 次的平均准确率

对照组就是上述两个流派代表分别提出高熵词优先、低概率词抑制方法，记为熵基准（EB）和 概率基准（PB）

EB：保留熵最高的 20% token 计算 GRPO 损失
PB：根据 token 概率对梯度做线形缩放、单独处理低概率 token 避免其主导梯度

两个基准的平均分统计如下：

值得注意的是，EB（熵派）和 PB（概率派）在 1.5B 和 3B 上均未超过原始 GRPO，只有 EB 在 7B 上取得了微弱正增益（+0.83）。而 RSI-S 在所有规模上都稳定正增益，且生成长度更短（平均减少 100–265 token）

3.2 消融

• 对比静态概率阈值

以 3B 为例，固定概率区间 P1=[0.1, 0.9] / P2=[0.2, 0.8] / P3=[0.3, 0.7] 都不如 GRPO 基线（下降 2–3 分），证实 RSI 的增益来自熵自适应性而非简单的概率截断

• 上下界缺一不可

去掉上界（RSI-SU, [-6, 1]）→ +0.61；去掉下界（RSI-SL, [-∞, 0.9]）→ −0.08。完整双界 → +3.30。两个界分别对应两派的核心主张：上界对标 “高熵派的重点训练”，下界对标 “概率派的稳定性约束”

3.3 规模化影响

最优上界 b 随模型变大而下降（1.5B→0.95，3B→0.9，7B→0.8）。小模型需要更多低惊异 token 做巩固；大模型探索能力更强，太好猜的 token 对它价值更低

3.4 RL-critical token 覆盖率

用 JS 散度找出 RL 前后分布变化最大的 token（高 JS = 被训练真正改动过的关键词），RSI 的覆盖率显著高于纯熵筛选，且在不同 JS 阈值下波动极小

四、局限

• 区间 [a, b] 的最优值随模型规模变化，未给出自动选取策略
• 实验仅在数学推理（AIME/AMC）上验证，未扩展到代码、自然语言推理等任务
• 计算 RSI 需要在每个 token 位置计算完整的熵（遍历词表），有一定额外开销

五、启发

当看到同一领域里两种明显对立的做法都有效时，别急着站队。很可能两者各自只抓住了现象的一个侧面，背后隐藏着一个被忽略的量能够把它们统一起来