1. Composition-RL：构建可验证提示组合的强化学习新范式
在大型语言模型（LLM）的强化学习训练中，可验证奖励（Verifiable Reward）一直是个令人头疼的问题。我最近在微调一个7B参数的数学推理模型时，就深刻体会到这个痛点——当你手头有1000个训练提示（prompt），其中300个模型永远答错（通过率0），400个模型永远答对（通过率1），真正能提供有效学习信号的样本只剩30%。这就像厨师面对一筐食材，其中70%要么烧不熟要么已经煮烂，能用的新鲜材料所剩无几。
传统解决方案主要关注"难提示"（通过率0的样本），但斯坦福和清华联合发表的Composition-RL论文提出了全新视角：那些被忽视的"易提示"（通过率1的样本）其实蕴含着巨大价值。通过智能组合这些看似简单的提示，我们可以创造出更具挑战性的新训练样本。这让我想起调鸡尾酒的原理——单一基酒风味有限，但通过精心调配就能产生层次丰富的全新饮品。
2. 核心原理与技术实现
2.1 顺序提示组合（SPC）机制
SPC算法的精妙之处在于它的递归组合策略。想象你在玩乐高积木，每个基础积木块（原始提示）本身结构简单，但通过特定连接方式就能搭建出复杂建筑。具体实现包含三个关键步骤：
变量提取与替换：从两个提示的答案中提取数值，定义为变量。例如：
- 提示A："3个苹果加5个梨共几个水果？" → 答案：8
- 提示B："每箱装4个水果，需要几个箱子？" → 答案：2 将具体数字替换为变量：x=3+5=8，y=ceil(x/4)=2
自然语言衔接：用自然语言描述变量关系，形成连贯的新提示： "小明有3个苹果和5个梨，他想把这些水果分装到箱子里，每箱装4个。请问需要准备多少个箱子？"
递归扩展：上述过程可以不断迭代，组合深度K=2时能生成二阶复合提示，K=3时产生三阶提示，依此类推。这就像俄罗斯套娃，每一层都增加新的复杂度。
实践建议：在实现变量替换时，建议建立变量类型系统。数值型变量直接参与运算，而文本型变量需要特殊处理（如词向量相似度检查），避免生成无意义的组合提示。
2.2 动态课程学习策略
单纯的提示组合可能产生难度跳跃过大的样本。论文采用了渐进式课程设计，其核心在于：
难度量化体系：
- 基础难度D(p)：原始提示的通过率倒数
- 组合难度D(p₁⊕p₂) = D(p₁) + D(p₂) + λ·R(p₁,p₂) 其中R表示两个提示的语义关联度，λ是调节系数
训练阶段划分：
训练阶段 组合深度K 样本比例 温度参数τ 初期 K=1 80% 0.3 中期 K=2 50% 0.7 后期 K≥3 30% 1.0
温度参数τ控制探索强度，随着难度提升逐渐增大，避免模型陷入局部最优。这种设计让我联想到驾校的教学安排——先练倒车入库，再练侧方停车，最后才是复杂路况驾驶。
3. 工程实现关键点
3.1 提示组合的质量控制
在复现实验时，我们发现约15%的自动组合提示存在逻辑瑕疵。通过以下过滤机制可提升质量：
语义一致性检查：
- 使用RoBERTa-large计算原始提示与组合提示的语义相似度
- 设置阈值θ=0.65，过滤低相似度样本
数学有效性验证：
def validate_math_prompt(combined_prompt): try: # 提取所有数值和运算符 numbers = extract_numbers(combined_prompt) operators = extract_operators(combined_prompt) # 构建计算图验证可解性 return check_computability(numbers, operators) except: return False多样性保障：
- 对每个原始提示，限制其最大组合次数
- 采用贪心算法选择组合伙伴，优先选择低共现率的提示对
3.2 训练效率优化
原始方法在30B模型上需要约800GPU小时，我们通过以下技巧将时间缩短40%：
记忆库缓存：
- 为每个基础提示建立Embedding缓存
- 组合时直接调用缓存结果，避免重复编码
混合精度训练：
torch.cuda.amp.autocast(enabled=True) optimizer.step(scaler.scale(loss).backward) scaler.step(optimizer) scaler.update()动态批处理：
- 根据组合提示长度自动调整batch_size
- 设置最大token数阈值（如4096），超长样本单独处理
4. 多领域验证结果
4.1 数学推理任务表现
在AIME25测试集上的对比实验令人印象深刻：
| 方法 | 准确率 | 训练样本利用率 | 收敛步数 |
|---|---|---|---|
| 原始提示 | 58.3% | 32% | 120k |
| 难提示优先 | 61.7% | 45% | 100k |
| Composition-RL(K=2) | 66.2% | 78% | 85k |
| Composition-RL(K=3) | 69.5% | 92% | 95k |
值得注意的是，当组合深度K=3时，虽然收敛稍慢，但最终准确率提升显著。这印证了"慢就是快"的训练哲学——适当的复杂度增加反而能带来更好的泛化能力。
4.2 跨领域迁移实验
将数学提示与物理提示组合后，在GPQA-Diamond测试集上的表现：
| 组合策略 | 数学得分 | 物理得分 | 交叉得分 |
|---|---|---|---|
| 单独训练 | 71.2 | 68.5 | 52.3 |
| 简单混合 | 69.8 | 67.1 | 58.7 |
| 跨域组合(K=2) | 70.5 | 69.3 | 63.4 |
| 课程式跨域组合 | 71.0 | 70.1 | 65.8 |
跨领域组合展现出惊人的协同效应。一个典型案例是组合"抛物线方程"和"抛体运动"提示后，模型自发理解了数学公式与物理现象的联系。这提示我们，提示组合可能意外地激发了模型的跨领域推理能力。
5. 实践中的经验教训
在复现过程中，我们踩过几个值得分享的坑：
变量命名冲突： 早期版本未规范变量命名，导致不同提示的x,y变量相互污染。解决方案是引入命名空间：
def generate_var_name(prompt_id, original_var): return f"var_{prompt_id}_{original_var}"语义漂移问题： 连续组合超过4层时，约8%的提示会发生主题偏离。通过以下方法缓解：
- 设置最大组合深度K_max=3
- 引入主题一致性损失项：
L_{topic} = 1 - \cos(E(p), E(\oplus p))
奖励稀疏性： 复合提示的通过率可能骤降，导致奖励信号稀疏。我们采用：
- 分层奖励设计：对每个子问题给予部分奖励
- 基于进展的奖励塑形（reward shaping）
对于计算资源有限的研究者，建议从K=2开始，优先组合同领域但不同题型的提示（如代数与几何）。在我们的测试中，这种保守策略仍能带来约60%的样本利用率提升，而计算开销仅增加15-20%。
