这项由清华大学与蚂蚁集团、中国人民大学合作完成的研究，于2026年7月1日以预印本形式发布，论文编号为arXiv:2607.01104，感兴趣的读者可通过该编号查询完整论文。
训练一个强大的大语言模型，本质上和培养一个全能型学生没什么两样。你需要给这个"学生"喂各种各样的知识：数学题、编程练习、阅读理解、安全常识……但问题来了——这些内容各喂多少，比例怎么分，才能让"学生"最终考出最好的成绩？这个问题听起来简单，却让人工智能研究者们头疼了很久。
每次训练大型语言模型，都需要耗费巨大的计算资源，就像开一家顶级餐厅，食材成本高得吓人。你不能一道菜一道菜试着来，更不能把菜单上所有组合都试一遍——那会让你破产。所以，研究者们一直在寻找一种聪明的方法，能在少量"试验"的基础上，推算出最佳的"食材配比"。
现有的方法，比如业界常用的RegMix，思路是找一批"小号练习模型"，用不同的数据比例训练它们，观察哪种比例表现更好，再把这个比例应用到真正的大模型上。这种方法有一个致命缺陷：它假设数据的质量和特性是固定不变的。但现实中，不同批次的数据质量千差万别——有的数学题又难又深，有的则浅显简单；有的代码注释清晰，有的则一团糟。当你换了一批新数据，之前学到的"最佳配比"往往就失效了，只能从头再来，重新耗费大量资源进行实验。
这项研究提出的CAUSALMIX框架，换了一个根本性的视角来看待这个问题。
一、从"猜配方"到"看病情开药方"——因果推断视角的引入
现有方法的核心逻辑，类似于一位厨师积累了大量"某道菜加多少盐会得到多少分"的记录，然后用这个历史记录来预测下次应该加多少盐。这种做法的隐含假设是：每次做菜的食材质量都一样，厨房条件也完全相同。一旦食材批次变了，这份记录就不再可靠了。
CAUSALMIX的思路更像一位经验丰富的中医：它不只记录"加多少盐得多少分"，而是先把每批食材的"体质"摸清楚——这批食材的难度如何？质量如何？风格如何？——然后再问：在这批特定食材的条件下，调整哪个领域的数据比例，会带来最大的收益？
用更正式的语言来说，研究团队把每次训练实验看作一次"治疗"（treatment），把数据的统计特征看作"病人的体质"（covariates），把最终模型的表现看作"治疗效果"（outcome）。整个问题就变成了：对于当前这批特定体质的数据，每种"治疗方案"（数据配比调整）会产生多大的因果效果？这正是医学领域中"条件平均治疗效应"（CATE）的标准问题框架。
为什么要用因果推断，而不是普通的统计预测？这里有一个微妙但重要的区别。普通的统计预测会把"数据本身的质量高低"和"数据配比调整的效果"混为一谈。举个例子：某一批数学数据恰好质量很高，同时实验中数学比例也很高，于是模型表现好。但我们搞不清楚，到底是"数学数据质量高"带来了好表现，还是"数学比例高"带来了好表现，还是两者共同作用的结果？如果把这两个因素混在一起，下次换了一批质量普通的数学数据，套用同样的配比，效果就会大打折扣。
因果推断的核心技术——双重机器学习（Double Machine Learning，简称DML）——专门解决这个"去混淆"的问题。它的操作方式类似于从照片中"去除背景光线的干扰，只看物体本身的颜色"。具体来说，研究团队先用机器学习模型分别预测：在当前数据体质下，模型表现的"基准线"应该是多少？数据配比的"基准线"应该是多少？然后把实际观测值减去这两个基准线，得到两个"残差"。对残差做分析，就能看出：纯粹由于数据配比调整（而非数据本身质量）带来的效果到底有多大。这个过程叫做"正交化"，通俗地说就是把"数据质量的影响"和"配比调整的影响"拆分开来，单独研究后者。
二、这批数据的"体质"怎么量化——三个关键指标的选择
要把数据的"体质"量化成计算机能理解的数字，研究团队从一个包含30个维度评分的大型数据集（OpenDataArena-scored-data-2603）中，挑选了三个最能代表数据状态的核心指标。
第一个指标叫做HES（高熵熵和），专门用来衡量数据的"思维复杂度"。它的计算方式是：用一个大型语言模型（Qwen3-8B）对文本进行推理，然后找出那些模型最"犹豫不决"的关键决策点，把这些点的不确定程度加总起来。可以把它理解为：一道数学题中真正需要你绞尽脑汁思考的步骤有多少？这个数字越高，说明数据对模型的推理能力挑战越大，复杂度越高。
第二个指标叫做Normalized Loss（归一化损失），用来衡量数据的"学习难度"。它的计算方式是用同一个模型（Qwen3-8B）对文本计算交叉熵，再做归一化处理。直白地说，就是"这道题对于当前水平的学生来说，有多难猜到下一步该怎么做？"。难度越高，模型越难预测，归一化损失就越大。这个指标反映的是数据对模型来说的学习价值和训练效用。
第三个指标叫做Writing Style（写作风格），评估文本的质量、清晰度和连贯性。它使用一个专门训练的文本质量评估模型（QuRater-1.3B）来打分。可以把它理解为："这份学习材料写得好不好、条理不条理、表达清不清楚？"质量越高，对模型的正向影响越稳定。
这三个指标分别对应数据的复杂度、难度和质量三个维度，形成了一个多角度刻画数据"体质"的完整画像。研究团队通过系统性实验验证了这个组合：他们随机抽取64组历史实验记录作为验证集，尝试了几乎所有可能的指标组合，最终发现这三个指标的组合达到了最高的斯皮尔曼秩相关系数（0.7557），明显优于单独使用任何一个指标，也优于加入更多指标的情况。加入太多指标反而会导致模型性能下降，这是因为512组历史实验记录相对有限，维度过高会让因果模型难以准确学习（即所谓的"维度诅咒"）。
三、从因果效应到实际配比——如何把"诊断结果"变成"处方"
经过正交化处理后，研究团队使用一种叫做"因果森林双重机器学习"（CausalForestDML）的算法来估计每个数据领域的因果边际回报。这个算法来自经济学领域的因果推断工具箱，本质上是一种非参数的树状结构模型，特别擅长捕捉复杂的交互效应和局部异质性——也就是说，它不假设"增加数学数据的效果在所有情况下都一样"，而是能够根据当前数据的具体体质，给出个性化的效果估计。
研究团队用了512组历史代理模型训练实验来训练这个因果模型。每组实验使用Qwen2.5-0.5B这个小模型（参数量5亿），在10万条数据上按照某种随机抽取的配比训练，然后评估其在知识、推理、数学、编程、指令遵循、安全性等六个维度的表现。这512组实验就构成了因果模型的训练素材。
当需要为一批新数据确定最佳配比时，研究团队先计算这批新数据的三个体质指标，然后把这些指标输入训练好的因果模型，得到每个领域的"边际因果回报"估计值。这个值可以理解为：在这批数据的条件下，适当增加该领域的数据比例，平均会带来多大的性能提升？
把这个估计值转化为实际配比，有两种方式。第一种是直接解析推导：通过严格的数学证明（利用KKT最优性条件），可以推导出最优解的闭合形式。具体结论是：对于因果回报为负的领域，最优比例应该设为零；对于因果回报为正的领域，最优比例与其因果回报值成正比，即回报越大分配越多，并通过归一化保证所有比例之和为1。这个结论在数学上是严格最优的，整个推导过程有完整的KKT条件验证。第二种方式是搜索加融合：从一个数学分布（Dirichlet分布）中随机抽取10万个候选配比，把每个候选配比转化为对数形式后输入因果模型，预测其在目标数据状态下的得分，选取排名前100的候选配比，取其平均值作为最终策略。这种方式通过"局部集成"的思想降低了单一解的偏差，让结果更加稳健。
四、用小模型的实验指导大模型的训练——跨规模迁移验证
CAUSALMIX最令人关注的特性之一，就是它对跨规模迁移的支持。研究团队用Qwen2.5-0.5B（5亿参数的小模型）训练因果模型，然后把学到的最优配比直接应用于Qwen2.5-7B（70亿参数的大模型）的训练，无需为大模型重新做代理实验。
实验结果表明，这种迁移是有效的。在80万条数据的训练规模下，CAUSALMIX指导的7B模型在开发集综合得分（AvgDev）上达到61.84分（解析版）和62.28分（搜索版），超过了RegMix的60.14分、DMO的60.35分，以及等量混合基线的60.02分。在编程能力这一单项上，CAUSALMIX的表现尤为突出，远超其他方法。
研究团队在多个数据规模下重复了对比实验：10万、40万、80万条数据。在几乎所有设置下，CAUSALMIX都稳定地优于现有基线方法，尤其是相比SFT领域的最新方法DMO，优势较为一致。这种跨规模的稳定性，支持了研究中引用的"排名不变性假设"——即在小模型上表现好的配比，在大模型上通常也表现好。
五、换一批完全不同的数据还管用吗——在长链式推理数据上的迁移实验
除了跨模型规模的迁移，研究团队还验证了一个更大胆的问题：能不能把在一批数据（tulu-3-sft-mixture）上训练的因果模型，直接迁移到一批完全不同的数据（AM-Thinking-v1-Distilled，一个专注于数学和编程的长链式推理数据集）上，指导一个完全不同系列的模型（Qwen3-4B-Base）的训练？
这个实验的难度在于：新数据的风格、领域分布和格式与原始训练数据有根本性的差异——前者是通用的指令遵循数据，后者是包含大量长步骤推理过程的高难度数学和编程数据。模型也换了，从Qwen2.5系列换成了Qwen3系列。
即便如此，CAUSALMIX在数学和编程两个领域的综合平均分（66.66分）依然显著优于所有对比方法：等量混合为63.80分，表现第二好的Grid搜索为64.74分，DMO为63.47分，而RegMix仅有61.40分。特别是在MATH这一高难度数学基准上，CAUSALMIX取得了60.58分，而竞争最激烈的Grid方法为61.20分，两者非常接近，整体综合表现上CAUSALMIX领先。
这个结果说明，CAUSALMIX学到的不是"某批特定数据应该怎么配"，而是"数据体质和配比效果之间的底层规律"。只要能准确刻画新数据的体质（三个指标），因果模型就能给出合理的配比建议，而无需重新做昂贵的代理实验。
六、去掉哪个零件会出问题——消融实验的验证
为了搞清楚CAUSALMIX各个组件究竟有多重要，研究团队做了一组拆解实验，分别移除关键组件，观察性能变化。
第一个变体是去掉数据体质指标（协变量X），让模型只根据数据配比预测效果，不考虑数据本身的状态。这退化成了一个类似RegMix的方法（但优化目标是下游任务表现而非验证损失）。在0.5B模型80万数据的设置下，这个变体的综合得分为33.29分，低于CAUSALMIX-A的33.94分。问题在于，不考虑数据体质的模型，对数据分布的变化毫无适应能力，一旦数据特性有所不同，性能就会下滑。
第二个变体是去掉正交化处理步骤，直接把协变量X和数据配比T拼接在一起，用普通监督学习预测绝对效果。这个变体的综合得分为32.66分，甚至低于去掉协变量X的变体。这个反直觉的结果揭示了一个深层问题：如果不做正交化，普通监督学习会把"数据质量的影响"和"配比调整的影响"混在一起，产生方向性错误的配比建议，反而比不用数据体质信息还要差。换句话说，"有错误的先验不如没有先验"。这有力地证明了正交化在这个框架中的核心作用。
七、因果模型说了什么——解读"哪些数据在什么条件下有价值"
研究团队还用一种叫做"树状解释器"的可视化工具，对训练好的因果模型进行了解读，直观展示了不同数据领域在不同数据体质条件下的因果边际回报。
其中最稳健的发现是：指令遵循（IF）数据在几乎所有数据体质条件下都表现出强烈的正向因果效果，是最可靠的"通用增益"来源。无论当前数据是简单还是复杂、质量高还是低，增加指令遵循数据的比例几乎总能带来性能提升。
知识类数据则呈现出相反的模式。在数据归一化损失高（说明数据对模型来说很难预测）且HES也高（说明推理复杂度高）的条件下，增加知识类数据反而会显著拉低模型表现。因果边际回报在这些条件下是负数，有时甚至达到-5分以上的量级。这印证了研究者们长期猜测但难以量化的"技能冲突"现象：当模型需要处理高难度逻辑推理任务时，大量注入事实性知识数据会干扰推理能力的形成，两者争夺模型的"注意力资源"，产生负迁移。
数学、编程和安全类数据的表现，则高度依赖于数据的质量状态。在写作风格评分低、HES也低的"低质量"数据条件下，增加这些复杂任务领域的数据比例会带来负向效果——复杂任务的数据如果质量太差，反而会给模型引入噪声和混乱，降低整体表现。然而，当写作风格评分达到中等水平、HES也适中时，这些领域的数据产生了强烈的协同增益效果，甚至能抵消安全类数据通常带来的性能代价。
这些洞察意味着：没有任何一种数据配比是"普适最优"的。真正的最优配比，总是相对于特定数据集的特定体质状态而言的。
八、工具箱里的其他选择——模型选择实验
研究团队还系统性地评估了不同因果估计器和第一阶段预测模型的选择，使用R分数（R-loss，基于Robinson正交化技术的无偏评估指标）来比较它们的性能。
在因果估计器方面，CausalForestDML以R分数0.1683排名第一，明显优于线性模型（LinearDML，0.1445）和其他变体（如CausalForestDML_Deep，-0.1238）。CausalForestDML的优势来自其非参数树状结构，它不强加任何参数形式假设，能自然捕捉多维协变量和配比空间之间的复杂交互关系，也更能处理特征饱和效应和局部异质性——这些都是数据混合问题中固有的复杂性。
在第一阶段预测模型方面（用于估计数据体质对效果和配比的基准预测），以LightGBM同时预测效果和配比的组合表现最佳（R分数0.1683，用时12.9秒），远优于使用随机森林（-0.0556）、岭回归（-0.1408）、梯度提升（-0.1686）等其他组合。LightGBM的优势在于其高效的梯度提升框架，能够在捕捉变量交互关系的同时避免过拟合，并且计算效率较高，整体运行时间在所有表现良好的配置中居中。
说到底，CAUSALMIX这项研究解决的是一个看似简单、实则极为棘手的工程问题：给大语言模型喂数据时，怎么搭配最合理？它的答案不是给出一个万能配方，而是建立了一套"根据数据体质开具个性化处方"的系统。通过借鉴经济学和医学领域的因果推断思想，它把"数据质量本身的影响"和"数据配比调整的效果"拆分开来，让配比优化的建议真正反映配比调整本身的价值，而非被数据质量差异所掩盖。这使得因果模型能够在不重新做昂贵实验的前提下，迁移到新的数据集和更大的模型上，从根本上解决了现有方法对数据分布变化高度敏感的问题。
对于普通人来说，这项研究的直接意义或许不那么显眼，但其背后的影响可能相当深远。更高效的大模型训练，意味着相同的计算资源能训练出更强的模型；更可迁移的配比策略，意味着研究者不必每次换数据都从零开始。随着大语言模型在教育、医疗、编程辅助等领域的渗透不断加深，训练效率的提升最终会转化为更好用、更便宜的AI工具落到每个人手中。
有兴趣深入探索这套方法的读者，可以通过arXiv编号2607.01104查阅完整的技术论文，其中包含了完整的数学证明、超参数配置和所有实验的详细数据。
---
Q&A
Q1：CAUSALMIX和RegMix的核心区别是什么？
A：RegMix把数据混合问题看成一个"输入配比、预测效果"的普通回归问题，假设数据本身的质量是固定的，换一批数据就要重新训练。CAUSALMIX则额外考虑了每批数据的"体质"（复杂度、难度、质量三个指标），用因果推断的方法把数据质量的影响和配比调整的效果拆分开，因此能迁移到新数据和更大的模型上，无需重新做代理实验。
Q2：双重机器学习（DML）在CAUSALMIX里具体做了什么？
A：DML的作用是"去混淆"。它先分别用机器学习模型预测当前数据条件下效果和配比各自的基准值，然后用真实值减去基准值得到两个残差，再分析残差之间的关系。这样做的目的是把"数据本身质量带来的效果"剥离掉，只看"配比调整本身带来的效果"，避免把两者混为一谈导致配比建议出现方向性错误。
Q3：CAUSALMIX为什么说知识类数据在某些条件下有害？
A：因果分析显示，当训练数据的推理复杂度高（HES值高）且难度大（归一化损失高）时，增加知识类数据（即事实性信息）的比例，反而会拉低模型表现，因果边际回报为明显的负值。研究者认为这印证了"技能冲突"现象：模型同时学习复杂推理和大量事实记忆时，两者会争夺有限的模型容量，导致推理能力受损，效果不如专注于推理数据的训练。
