基于LLM与自适应三元组损失的土耳其语形式化风格连续建模实践

1. 项目概述

在自然语言处理（NLP）的日常工作中，我们常常会遇到一个看似简单却异常棘手的问题：如何让机器理解一段文字是“正式”还是“非正式”？对于英语这类高资源语言，我们已经有了一些不错的基准数据集和模型。但当我将目光转向像土耳其语这样形态丰富、资源却相对匮乏的语言时，情况就变得复杂多了。土耳其语有着极其复杂的语法结构和丰富的敬语体系，其正式程度的细微差别远非“是”或“否”能够概括。从朋友间的闲聊短信，到新闻报道，再到严谨的学术论文，语言的正式性是一个连续的光谱。然而，现有的研究要么将其简化为二元分类，要么因为缺乏高质量标注数据而难以深入。

这就是我们启动 LyreSense 项目的初衷。我们想构建一个框架，它不仅能判断土耳其语文本的正式程度，还能在向量空间中精确地刻画这种正式性的“渐变”过程。想象一下，如果对话机器人能根据用户的语气自动调整回复的正式程度，或者写作辅助工具能给出更符合目标读者期待的润色建议，那该多实用。为了实现这个目标，我们绕开了传统上依赖海量人工标注数据的路径，转而拥抱大型语言模型（LLM）的生成与标注能力，并结合了参数高效微调技术 LoRA 和一种新颖的自适应三元组损失函数。最终，我们得到的不仅仅是一个针对土耳其语的分类器，更是一个可扩展、语言无关的风格建模管道。

2. 核心思路与架构设计

2.1 问题拆解：从二元到连续光谱

传统的形式化风格建模，大多将其视为一个分类问题，比如“正式” vs. “非正式”。但现实中的语言使用要微妙得多。一封商务邮件的开头可能是高度正式的，但结尾的祝福语可能又带有一丝亲切感。因此，我们的第一个核心设计决策是：将形式化建模为一个连续值，而非离散标签。我们定义了一个从 0（极度非正式）到 1（极度正式）的连续标度。为了便于理解和后续的评估，我们将这个连续标度离散化为四个递增的类别：非正式、中性、正式、高度正式。但这四个类别在模型眼中，本质上是连续标度上的四个区间。

2.2 整体框架：数据、模型与损失的三位一体

LyreSense 的整体架构可以概括为“数据制备-模型微调-损失设计”的三步走策略，其核心目标是学习一个能够解耦语义与风格的嵌入空间。

1. 数据制备流水线：这是整个项目的基石。对于低资源语言，最大的瓶颈在于缺乏标注数据。我们的解决方案是一个混合流水线：

• 收集真人文本：我们从 mC4（多语言网页语料）和 Portex（社交媒体语料）数据集中筛选了约1450条土耳其语句子，确保覆盖从博客、新闻到社交媒体帖子等多种文体。
• LLM辅助连续标注：我们使用 GPT-4.1-mini 为每一条文本自动标注一个 [0,1] 之间的连续形式化分数。为了验证可靠性，我们不仅进行了跨模型（GPT-4.1-mini vs. Claude Haiku 3.5）的一致性检验，还抽取了100条样本由5位土耳其语母语者进行人工标注。结果显示模型与人类、模型与模型之间都具有高度一致性，这证明了使用LLM进行风格标注的可行性。
• 基于特征的合成数据生成：这是实现数据增强和构建对比学习样本的关键。我们不是简单地对原文进行改写，而是先让LLM分析原文，提取出一个结构化的“风格特征档案”（JSON格式），包括文本类型、目标受众、主导语气、句法结构特征、词汇特征等。然后，我们以这个特征档案和指定的目标形式化分数为控制信号，指导LLM生成在保持核心语义不变的前提下，风格发生特定变化的句子。例如，将一个“中性”的句子，重写为“高度正式”的版本。

2. 模型骨干与高效微调：我们选用在土耳其语上预训练好的bert-base-turkish-128k-cased作为基础模型。其128K的大词表对捕捉土耳其语丰富的形态变化很有帮助。然而，全参数微调这样一个模型计算成本高昂，且容易在小数据集上过拟合。因此，我们引入了Low-Rank Adaptation (LoRA)。具体来说，我们在Transformer编码器的Query, Key, Value以及全连接层注入了低秩适配器。这让我们仅需训练约268万个参数（占原模型184.35M参数的1.5%），就能高效地让模型学会关注风格特征，同时保留其强大的语义理解能力。

3. 损失函数：风格强度校准的三元组损失这是Lyresense的灵魂。普通的三元组损失要求“锚点”句子A与“正例”P（同风格或同语义）的距离，比与“负例”N的距离至少近一个固定边界值（margin）。但在风格连续体的建模中，固定边界是不合理的。

• 问题：把“非正式”和“中性”分开，与把“非正式”和“高度正式”分开，所需的“推力”应该不同。前者是细微差别，后者是天壤之别。固定边界要么对细微差别惩罚过重（导致过度分离），要么对巨大差异惩罚不足（导致分离不充分）。
• 我们的解决方案：我们提出了风格强度校准的三元组损失。其核心思想是让边界值m动态适应锚点A与负例N之间的形式化分数差。 公式定义为：L_style = max(0, d(A, P) - d(A, N) + m(A, N))其中，m(A, N) = m0 * |f(N) - f(A)|，f(x)是句子x的形式化分数，m0是一个缩放系数（我们设为1.0）。
• 效果：这意味着，如果A和N的风格非常接近（比如分数差0.1），损失函数只要求一个很小的分离（边界0.1）。如果A和N的风格截然不同（比如分数差0.8），损失函数就会强制一个很大的分离（边界0.8）。这样，嵌入空间就能学习到一个与形式化连续变化相对应的、平滑的几何结构。

2.3 训练与评估策略

我们采用两阶段训练策略。第一阶段使用较高的学习率进行15个epoch的粗调，让模型快速建立风格流形的初步概念。第二阶段使用较低的学习率再训练5个epoch进行精调，让自适应边界损失函数更好地刻画细微的风格渐变。

评估时，我们不仅看分类性能（四分类的Macro-F1和考虑顺序关系的Quadratic Weighted Kappa），还通过训练一个岭回归（Ridge Regression）模型，来预测文本的连续形式化分数，用Lin‘s CCC和MAE来评估嵌入空间是否真的学到了连续的风格表示。这种“离散评估+连续评估”的组合，能更全面地衡量模型性能。

3. 数据构建：从真人文本到可控合成

3.1 真人语料收集与清洗

数据是模型的上限。对于风格建模，数据的质量和多样性至关重要。我们主要从两个来源获取土耳其语文本：

1. mC4 土耳其语子集：这是一个大规模的多语言网页爬取语料。我们从中筛选出语法正确、语义连贯、长度在5-10个句子之间的文本993条。这类文本多来自新闻网站、百科、博客等，风格上偏向中性和正式。
2. Portex 多语言形式化转换数据集：我们从中提取了457条土耳其语文本。这些文本多来源于社交媒体、论坛帖子，天然地包含了大量非正式和口语化的表达。

实操心得：在筛选时，我们特别注重“语义连贯性”。一些网页文本可能包含不完整的句子、列表或表格，这些对句子级别的风格建模干扰很大。我们手动设定了过滤规则，并进行了随机抽样检查，确保最终语料是纯净的、可读的完整段落或对话片段。

收集完成后，我们使用LLM对每条文本进行了主题标注（例如：科技、体育、生活、政治等）。这步操作有两个目的：一是确保后续合成数据时能覆盖广泛的主题，防止模型过拟合到某些特定话题的风格上；二是为主题控制下的风格改写提供锚点。

3.2 LLM驱动的连续形式化标注

标注是另一个核心挑战。人工为上千条文本标注连续分数成本极高，且一致性难以保证。我们探索出了一套可靠的LLM自动化标注流程。

1. 设计结构化提示词（Prompt）：我们为GPT-4.1-mini设计了一个详细的提示词，要求它从四个维度分析文本：

• 句子结构：是简短直接，还是多从句复合句？
• 词汇特征：是日常用语，还是专业/技术术语？
• 语气与情态：是个人化、中性还是非个人化语气？是否使用敬语、情态动词？
• 受众与语境：是否隐含了对正式程度的期待（如使用尊称、制度性话语）？ 基于这些分析，LLM需要输出一个0到1之间的浮点数，代表其整体形式化程度。

2. 可靠性验证：自动化标注必须经过严格验证。

• 跨模型一致性：我们让另一个LLM（Claude Haiku 3.5）对同样的1450条文本进行独立评分。计算两者之间的Lin‘s一致性相关系数（CCC）达到了0.897，平均绝对误差（MAE）为0.081。这表明不同LLM对形式化的评判标准是高度一致的。
• 人工验证：我们随机抽取了100条文本，由5位土耳其语母语者按照四分类标准进行独立标注。将LLM的连续分数映射到四分类后，计算所有评分者（包括5位人类和2个LLM）之间的Krippendorff‘s α系数（序数距离）为0.723，达到了“实质性一致”的水平。这强有力地证明了LLM标注结果与人类感知是吻合的。

注意事项：LLM标注并非完美。我们发现，对于某些带有反讽、网络新词或特定文化梗的极端非正式文本，LLM的评分有时会偏高（即判断得过于正式）。因此，在构建最终数据集时，我们保留了人类标注的子集，并将其作为黄金测试集的一部分，用于监控模型在最棘手案例上的表现。

3.3 基于特征档案的合成数据生成

这是实现数据扩充和构建高质量对比学习三元组的关键创新。我们不是简单地让LLM“把这句话写得更正式”，而是实现了一种可控的、基于特征的生成。

1. 提取风格特征档案：对于每一条真人文本，我们使用另一个LLM提示词，将其分析为一个结构化的JSON对象。这个档案不仅包含形式化分数，还包括：

{ "text_type": "news_article", "dominant_tone": "informative", "target_audience": "general_public", "formality_scale": 0.75, "linguistic_features": { "sentence_structure": "complex, multi-clause", "vocabulary_traits": ["technical_terms", "formal_verbs"], "rhetorical_devices": ["metaphor"], "stylistic_vocabulary_examples": ["accordingly", "furthermore", "in conclusion"] } }

2. 指导性文本生成：有了这个特征档案，我们就可以进行精准的风格操控。生成新的句子时，我们向LLM提供：

• 原始文本的语义核心（通过关键词或摘要提示）。
• 目标形式化分数（例如，从0.3变为0.8）。
• 目标风格的特征描述（从特征档案中推导或修改而来，例如，将target_audience从“general_public”改为“academics”，将sentence_structure改为“more nominalizations and passive voice”）。

通过这种方式，我们能批量生成在语义上相关、但在风格上精确地位于形式化光谱不同位置的句子。这极大地丰富了我们的训练数据分布。

3.4 构建对比学习三元组

有了形式化分数和丰富的合成句子，我们就可以为三元组损失函数构建训练样本。我们的采样策略是“形式化引导的困难负例采样”：

• 锚点 (Anchor, A)：从数据集中随机选取一个句子。
• 正例 (Positive, P)：选择一个与锚点风格相近（形式化分数差值小）但语义尽可能不同的句子。我们通过计算句子在原始BERT嵌入空间中的余弦相似度，选择相似度最低的句子作为正例。这迫使模型忽略语义，专注于学习风格的相似性。
• 负例 (Negative, N)：这就是合成数据大显身手的地方。我们使用LLM，将锚点句子重写为与其风格差距最大的形式（例如，锚点是“中性”，则重写为“高度正式”），同时严格保持其核心语义不变。这个重写后的句子就是负例。

这样的三元组 (A, P, N) 确保了：A和P风格相似但语义不同，A和N语义相似但风格不同。模型要学习的，就是拉近A和P（风格相似），推远A和N（风格不同），从而将“风格”信息编码到嵌入向量中。

4. 模型实现与训练细节

4.1 模型架构详解

我们以bert-base-turkish-128k-cased模型作为编码器骨干。在其之上，我们添加了一个简单的句子嵌入层：

1. 均值池化 (Mean Pooling)：将序列中所有Token的最后一层隐藏状态取平均，得到一个固定维度的句子表示。
2. Dropout层：丢弃率设为0.1，用于防止过拟合。
3. L2归一化层：将句子表示向量归一化为单位长度。这在对比学习中非常常见，因为余弦距离在单位超球面上计算更为稳定和高效。

LoRA的集成是提升效率的关键。我们不在全连接层或注意力层的所有权重矩阵上进行微调，而是注入一对低秩矩阵。具体配置如下：

• 目标模块：query,key,value投影层以及每个Transformer块中的两个全连接层（即intermediate.dense和output.dense）。
• 秩 (r)：我们设置为8。这是一个经验值，在效果和参数效率之间取得了很好的平衡。秩越大，表征能力越强，但参数也越多。
• 缩放因子 (alpha)：设置为16。这个参数与学习率有关，用于调整低秩适配器输出的幅度。
• Dropout：LoRA层本身的Dropout设为0.1。

通过这种配置，可训练参数从全量微调的1.84亿个骤降到约268万个，训练速度和内存占用得到极大改善，同时性能损失极小。

4.2 自适应三元组损失的代码级实现

理解自适应边界如何在代码中实现至关重要。以下是该损失函数的核心逻辑的伪代码：

import torch import torch.nn.functional as F def style_intensity_calibrated_triplet_loss(anchor_emb, positive_emb, negative_emb, formality_anchor, formality_neg, base_margin=1.0): """ anchor_emb: 锚点句子的嵌入向量 [batch_size, embedding_dim] positive_emb: 正例句子的嵌入向量 [batch_size, embedding_dim] negative_emb: 负例句子的嵌入向量 [batch_size, embedding_dim] formality_anchor: 锚点句子的形式化分数 [batch_size] formality_neg: 负例句子的形式化分数 [batch_size] base_margin: 缩放系数 m0，默认为1.0 """ # 1. 计算余弦距离（因为嵌入已L2归一化，余弦距离 = 1 - 余弦相似度） dist_ap = 1 - F.cosine_similarity(anchor_emb, positive_emb) # 锚点与正例的距离 dist_an = 1 - F.cosine_similarity(anchor_emb, negative_emb) # 锚点与负例的距离 # 2. 计算动态边界 # 计算形式化分数的绝对差值 formality_diff = torch.abs(formality_neg - formality_anchor) # [batch_size] # 动态边界 = base_margin * 形式化差值 dynamic_margin = base_margin * formality_diff # [batch_size] # 3. 计算损失 # 对于每个样本，计算：dist_ap - dist_an + dynamic_margin # 然后取与0的最大值，并对batch求平均 losses = torch.relu(dist_ap - dist_an + dynamic_margin) loss = losses.mean() return loss

关键点：dynamic_margin是一个与批次中每个样本单独对应的向量。这意味着，对于同一个批次内风格差异大的样本对，模型会施加更大的分离力；对于差异小的样本对，分离力则更温和。这种细粒度的控制是固定边界损失无法实现的。

4.3 训练流程与超参数选择

我们使用AdamW优化器，采用两阶段训练策略，具体超参数如下表所示：

第一阶段：使用较高的学习率，目的是让模型快速地从预训练的语义空间向风格感知空间移动。三元组损失中的动态边界开始发挥作用，初步拉开不同风格样本的距离。

第二阶段：大幅降低学习率，进行精细调整。此时模型的大致风格流形已经形成，低学习率有助于模型更好地收敛到一个平滑、泛化能力强的解上，避免在训练集上过拟合。

实操心得：批次大小（Batch Size）的选择很重要。在对比学习中，更大的批次通常能提供更丰富的负例样本（同一批次内的其他样本可作为隐式负例），但也会增加内存消耗。我们经过实验发现，对于我们的数据集和模型规模，32是一个兼顾性能与资源的好选择。此外，我们使用了在线困难样本挖掘：在每个批次中，我们会选择那些当前模型还未能很好分离的（即损失较大的）三元组进行重点优化，这加速了训练过程。

5. 实验结果分析与问题排查

5.1 主要实验结果

经过训练，LyreSense在四分类形式化任务上取得了Macro-F1分数0.69，序数加权Kappa (QWK) 0.81的成绩。更重要的是，在预测连续形式化分数的回归任务上，达到了Lin‘s CCC 0.90和MAE 0.08，这表明模型确实学习到了一个连续、平滑的风格表示。

混淆矩阵分析（见图12）揭示了非常有意思的模式：

• 极端类别区分明确：“非正式”和“高度正式”类别的准确率都很高（约82%），且错误几乎全部流向相邻的类别（如非正式->中性）。
• 中间类别存在自然模糊性：“中性”和“正式”类别的准确率相对较低（分别为67%和57%），并且错误在相邻类别间分布相对对称。这恰恰反映了形式化在现实中是一个连续体，中性到正式之间的边界本身就是模糊的、主观的。
• 几乎没有长距离错误：几乎没有出现“非正式”被分类为“高度正式”的情况，这说明模型抓住了风格光谱的整体结构。

可视化验证：我们将验证集的句子嵌入通过UMAP降维到2D空间进行可视化（见图13）。图像显示，句子点云从左到右呈现出一个清晰的、平滑的颜色渐变（从代表非正式的蓝色渐变到代表高度正式的红色），而不是形成四个孤立的聚类。这直观地证明了LyreSense成功地将形式化建模为一个低维、连续的流形。

5.2 消融实验：每个组件贡献几何？

为了厘清框架中每个部分的作用，我们进行了系统的消融实验：

结论非常清晰：

1. 微调是必要的：未微调的基础模型性能最差，说明预训练模型本身对风格的区分能力有限。
2. LoRA几乎无损的高效：对比配置2和4，使用LoRA仅用1.5%的参数，就达到了与全量微调相近甚至略优的性能（配置5 vs 3）。参数量大幅减少，部署和后续适配成本极低。
3. 自适应边界带来提升：在同样使用LoRA的情况下，自适应边界损失（配置5）相比固定边界损失（配置4）在Macro-F1和QWK上均有稳定提升。可视化也显示，自适应边界下的嵌入空间连续性更好。

5.3 常见问题与实战排查指南

在实际复现或应用类似框架时，你可能会遇到以下问题：

问题1：合成数据质量不高，导致模型学习到噪声。

• 现象：模型训练损失震荡，收敛困难，或者在验证集上性能很差。
• 排查与解决：
  • 检查提示词：确保你用于LLM特征提取和文本生成的提示词清晰、无歧义。最好提供少量高质量的例子（Few-shot Learning）。
  • 人工审核样本：随机抽取一批合成数据，人工检查其是否在改变风格的同时忠实保留了原意。常见的失败模式包括：语义扭曲、引入事实错误、风格改变过于生硬。
  • 控制生成温度：降低LLM生成时的温度（Temperature）参数（例如设为0.3），可以减少随机性，得到更稳定、更可控的输出。
  • 后过滤：可以训练一个简单的分类器来过滤掉风格转换失败或语义保持度差的合成句子。

问题2：三元组损失不收敛，或模型坍缩（所有嵌入都趋近相同）。

• 现象：损失值很快降为0并保持不变，或者所有句子的嵌入向量彼此非常接近，没有区分度。
• 排查与解决：
  • 检查边界值：固定边界m值设置过大，可能导致梯度消失；设置过小，则约束力不足。自适应边界一定程度上缓解了这个问题，但基础缩放系数m0仍需调整。可以从0.5开始尝试。
  • 检查三元组采样：确保你的“正例”在风格上确实与“锚点”相似。如果采样不当，正例与锚点风格差异很大，模型会感到“困惑”。我们的“风格相近、语义相远”策略是针对这个问题的设计。
  • 使用在线困难样本挖掘：这能确保模型始终关注那些尚未被很好分离的样本对，提供更有信息量的梯度。
  • 增加批次大小：在资源允许的情况下，增大批次大小能在一个批次内提供更多样的负例，有助于稳定训练。

问题3：模型对某些特定主题过拟合，而非学习通用风格。

• 现象：模型在训练集上表现很好，但在来自新主题的测试数据上表现骤降。
• 排查与解决：
  • 主题平衡：确保你的训练数据覆盖尽可能多的主题领域。我们在数据制备阶段进行主题标注和池化，正是为了在合成数据时能均衡地覆盖各个主题。
  • 数据增强：除了风格改写，可以考虑对原始文本进行轻微的同义词替换、句式转换等，在不改变风格的前提下增加语义多样性。
  • 在损失中加入正则化：除了L2权重衰减，可以探索在损失函数中加入一项，惩罚那些与主题关键词高度相关的神经元激活，但这实现起来较复杂。

问题4：LoRA性能明显差于全量微调。

• 现象：使用LoRA后，模型性能下降显著。
• 排查与解决：
  • 调整秩 (r) 和 alpha：秩r是关键超参数。对于风格这种相对高层的任务，可能需要比下游分类任务稍大的秩（我们用了8）。可以尝试4, 8, 16。alpha通常设为r的2倍，但也可以调整。
  • 检查注入层：我们注入了Q/K/V和两个全连接层。对于你的任务和模型，可能某些层更重要。可以尝试仅注入注意力层（Q/K/V）或仅注入全连接层，看哪种组合更有效。
  • 微调学习率：LoRA层通常需要比全量微调更高的学习率，因为其参数是随机初始化的。可以尝试将LoRA参数的学习率设置为其他参数的2-10倍。

6. 总结与展望

LyreSense项目的实践表明，对于低资源语言的细粒度风格建模，一条可行的路径是：LLM辅助的数据构建 + 参数高效的模型适配 + 针对连续特性的损失函数设计。我们成功地为土耳其语构建了一个能够感知形式化连续变化的嵌入模型，并且整个流程具有高度的可扩展性和可复现性。

踩过最大的坑，莫过于初期过于依赖LLM的原始生成能力，没有设计结构化的特征控制和验证流程，导致合成数据噪声很大，模型学到的更多是“改写模式”而非“风格本质”。后来我们引入了JSON特征档案和基于嵌入相似度的参考句选择，才让生成过程变得可控、可靠。

这个框架的潜力远不止于土耳其语或形式化风格。理论上，任何可以量化的风格维度（如情感强度、礼貌程度、幽默感、地域方言色彩等），都可以套用这个“标注-生成-对比学习”的管道。我们接下来的工作，一方面是将其扩展到其他突厥语系乃至更多低资源语言，验证其跨语言泛化能力；另一方面是探索其生成能力，构建一个能够根据用户指定的风格强度（比如“请用正式度为0.7的语气重写这段话”）进行文本风格转换的系统。

对于想要复现或在此基础上进行研究的同行，我的建议是：从数据质量抓起。花时间设计好提示词，建立可靠的人工评估子集，比盲目调整模型超参数要有效得多。风格建模的挑战，一半在算法，一半在数据。当你的数据能清晰、干净地表达出你想让模型学习的那种“差异”时，模型学会它，就是水到渠成的事了。