📖标题：Beyond Rephrasing: Book-Level Organization Improves Synthetic Textbook Data for Mid-Training
🌐来源：arXiv, 2607.28109v1
🛎️文章简介
🔸研究问题：在合成教科书数据用于大模型中期训练时，除了内容质量和局部重写风格外，将相关内容组织成连贯的书本级文档结构是否能带来额外的性能提升？
🔸主要贡献：论文提出了一种可扩展的检索增强型教科书合成流水线，并通过受控实验证明了保持书本级组织结构对提升模型下游任务性能具有显著价值。
📝重点思路
🔸构建五阶段合成流水线：基于覆盖15,000多个学科的分类体系，从预训练语料中检索相关文档，通过聚类和主题总结形成知识单元，规划分层目录（TOC），并生成基于源材料的章节内容，最终组装成完整书籍。
🔸设计多重受控对照实验：为了分离组织结构的影响，设置了Split（内容相同但章节独立）、RandomConcat（随机拼接以匹配长度）和Rephrase（仅局部重写无全局规划）三种对照组，与完整的Full设置进行对比。
🔸实施严格的质量控制：在目录规划阶段引入LLM裁判进行质量过滤，剔除结构不合理或偏离主题的规划；在生成阶段采用基于检索证据的逐节生成，确保内容的事实性和 groundedness。
🔎分析总结
🔸书本级组织显著提升性能：在3B参数MoE模型上，使用完整书本结构的Full设置比自然书籍基线平均提升1.09分，比内容相同的Split设置提升1.02分，证明了文档连续性的重要性。
🔸结构化合成优于局部重写：Full设置在28个基准测试中有25项优于Rephrase设置（提升1.17分），表明全局的聚类、目录规划和书籍组装带来的增益远超单纯的文本润色。
🔸跨架构验证有效性：在Llama3-8B模型上的迁移实验显示，Full设置同样优于随机拼接和自然书籍，证实了书本级组织作为一种数据设计维度的通用有效性。
🔸组件消融揭示互补作用：检索 grounding 主要提升具体性和事实准确性，而基于聚类的目录规划则显著改善结构和受众适配度，两者结合才能产生高质量的长文本数据。
💡个人观点
论文突破了以往合成数据研究仅关注内容质量或局部风格的局限，提出的检索增强与层次化规划相结合的流水线，不仅解决了长文本生成的幻觉问题，更通过保留语义连贯性优化了模型的注意力机制学习。
