用概念激活向量(CAV)分析L2口语评分模型中的偏见

1. 这篇文章真正要解决的问题

如果你做过自动口语评分系统，或者接触过语音评测产品，大概率会遇到一个让人头疼的现象：模型在公开测试集上准确率不错，但放到真实口语考试场景里，某些考生群体的分数系统性地偏低或偏高。比如：

• 母语为某种语言的考生，在相同表达水平下经常得到更低分数；
• 带有特定口音的学习者，明明流利度、语法、内容都合格，发音分却总是不够；
• 录音环境噪声稍大，分数波动比正常环境明显得多；
• 女声和男声在相同语音内容上，评分分布存在肉眼可见的差距。

更麻烦的是，开发团队面对这些现象时很难下手。为什么？因为现代口语评分系统大多是端到端深度学习模型。输入一段音频，输出若干维度的分数，中间过程是海量参数组成的黑盒。你只能看到结果，看不到模型内部到底在“关注”什么。传统的误差分析、混淆矩阵、分群体统计，只能告诉你“有差异”，却很难告诉你“差异从哪来”。于是你只能猜测，而这个猜测往往要花掉一周甚至更久。

这正是概念激活向量（Concept Activation Vectors，CAV）能帮上忙的地方。CAV 并不是一个新框架，它最早来自谷歌在 2017 年提出的 TCAV（Testing with Concept Activation Vectors）方法。它的核心思路非常直接：选一个你关心的概念，比如“口音重”“录音噪声”“女性音高”“犹豫停顿”，然后找到模型内部某一层对这些概念的敏感程度。换句话说，CAV 可以帮你回答一个关键问题：模型的评分决策中，究竟有多少成分是在依赖你定义的概念，而不是题目本身要求考察的语言能力。

本文要做的不是复述论文，而是把 CAV 用到 L2（第二语言）口语评估系统里做偏见分析的具体路径拆开。

• 第一部分先讲清楚概念和偏见的关系；
• 然后给出可直接运行的 Python 分析流程；
• 最后补充实际项目中容易踩的坑和工程建议。

读完这篇文章，你可以基于自己的模型，实现一套可复用的偏见分析脚本，定位模型内部对口音、性别、噪音等非语言能力因素的依赖程度，并把分析结果沉淀成一份有依据的偏见报告。

2. L2 口语评估系统为什么需要关注偏见

2.1 什么是 L2 口语评估系统

L2 是 Second Language 的缩写，指“第二语言”。L2 口语评估系统，就是面向非母语学习者的自动口语评分系统。它既要评估发音、流利度、语法、词汇，也要评估内容相关性和表达逻辑。

这类系统的典型输入是一条录音，或者录音 + 文本转写结果。输出通常包含一个总分和若干子维度分数。在真实考试场景中，它会直接参与成绩判定，所以它对公平性的要求远高于普通语音助手。

2.2 偏见的来源不止是训练数据

大家通常把 AI 偏见归因于训练数据不均衡。这个判断没错，但不够完整。对于口语评分系统，偏见可能来自至少四个层面，而且它们往往叠加在一起：

• 数据层面：训练语料中某种母语背景、性别、年龄段的样本偏少，模型对这些群体的拟合能力天然不足。
• 特征层面：声学特征提取器可能学习到“特定口音 = 低质量语音”的虚假相关性。比如某些元音共振峰模式在模型看来像噪声，而实际只是发音习惯不同。
• 标注层面：人工评分员对某种口音的考生更苛刻，这种偏向被模型学了过去。
• 架构层面：模型使用了不适合口语任务的多模态融合方式，导致文本信息被声学信息压制，或者反之。

传统评估只关注第一个层面，因为数据分布可以量化。但后面三个层面都藏在模型内部，单靠分数统计很难定位。

2.3 偏见不等于分数差异

这里有一个容易混淆的地方：发现不同群体分数有差异，不能直接断定模型有偏见。因为群体之间可能真的在目标能力上存在差异。所谓偏见，更准确地说，是在控制住目标能力之后，模型仍然对与能力无关的属性产生了系统性依赖。

这就要求我们把“目标能力”和“非目标属性”分离开。CAV 方法的优势正是：它测量的是模型内部表征对某个概念的依赖程度，而不是简单比较最终分数的分布。因此它比端到端分数统计更适合定位偏见。

从实际价值来看，偏见分析也不是“锦上添花”。在高利害考试场景里，评分不公可能直接影响考生升学、签证、职业认证。工程师不能只交付一个模型指标，还需要拿出可解释的、能支撑业务决策的公平性证据。CAV 就是这套证据链中非常关键的一环。

3. 核心概念：从 CAV 到 TCAV

3.1 概念激活向量（CAV）是什么

通俗理解，CAV 是把“一个概念”翻译成“模型内部某一层的一个方向向量”。

假设你在处理猫和狗的图像分类问题。你去模型中间层取出所有“猫”图片对应的激活向量，再取出所有“狗”图片对应的激活向量，然后训练一个线性分类器分开这两组向量。分类器有一个权重向量，这个向量的方向就是“猫”这个概念在模型内部表征空间中的方向。这个向量，就是概念激活向量。

对于口语评估系统，概念可以是：

• “带 Hindi 口音的英语”
• “录音环境有背景噪声”
• “明显犹豫停顿”
• “语速偏快”
• “语法错误较多”

你只需要为每个概念准备一组代表性样本（正样本）和一组对照样本（负样本），就能在任意中间层搞出一个 CAV。

3.2 TCAV：用方向导数量化模型依赖程度

仅有一个 CAV 还不够，你还需要衡量模型在预测时使用了多少这个方向的信息。TCAV（Testing with CAV）给出了一个具体方案。

TCAV 分数定义如下：

对于某一类输入样本集合 X，模型在给定层上的输出（或任务输出）对 CAV 方向 v 的方向导数，如果能与 v 的方向一致，就说明模型在该样本上正面使用了该概念。取所有样本的平均值，得到 TCAV 分数。

公式可以这样表达：

TCAV_Score = |{ x ∈ X : S(x) > 0 }| / |X|

其中S(x)是模型在输入 x 上、对概念方向 v 的敏感度指标。它衡量的是“把输入朝概念方向推一点点，模型输出变化是正向还是负向”。如果超过一半样本是正向，说明模型在用它；如果几乎都是反向，说明模型在回避这个概念；如果接近一半，说明模型不依赖该概念。

TCAV 最实用的地方在于：它可以针对任何你定义的层来分析，而不需要重新训练模型。对于已经有线上模型、但缺少公平性验证的团队，这是成本最低的切入点。

3.3 和传统可解释性方法的对比

用一张表说明 CAV 和常见方法之间的区别：

从这张表能看出，CAV 的定位并不是替代 SHAP 或误差分析，而是给这些方法补上“概念级、层内级”的视角。

3.4 口音、性别、噪声这些概念如何定义

这一步是最关键，也是最容易被忽视的。概念定义的质量，直接决定分析结果的可信度。

以口音为例：

• 如果定义成“带有地方口音的英语”，你需要明确是哪一种口音，而不是笼统的“accent”；
• 正样本应该由标注者确认过“口音特征明显”，且内容难度与负样本接近；
• 负样本最好选择“标准发音但内容等价”的语音，不能只是随机抽样，否则模型内部会把内容差异和口音差异混在一起。

性别概念则更复杂。因为音频中的生理性别特征通常和音高、共振峰分布密切相关。如果你把“男声”和“女声”当作概念，CAV 很可能抓到的其实是音高特征，而不是社会性别。分析时要谨慎命名，最好在报告里写清楚，我们测量的是“与男声/女声录音相关的声学特征”，而不是“性别”。

噪声概念相对容易一些。你可以用纯净语音和加了不同类型噪声的同一段语音做正负样本，CAV 就能定位模型是否依赖噪声通道。

4. 偏见分析的整体方案设计

在实际项目中，我不会建议你直接写一堆 CAV 脚本。正确做法是先设计一个最小可行的偏见分析闭环。它通常包含以下六个部分：

1. 确定分析目标：到底要检测哪几个概念？是口音、噪声还是性别？优先级是什么？
2. 准备概念样本集：为每个概念准备正样本和负样本，最好有两个独立集合，一个用于训练 CAV，一个用于验证 TCAV 分数稳定性。
3. 选择模型层：从口语评分模型中选出一个或多个中间层。文本编码器、声学编码器、融合层都可以作为候选。
4. 训练 CAV：取出激活向量，训练线性分类器，得到概念方向。
5. 计算 TCAV 分数：在验证集上计算模型依赖程度，并做显著性检验。
6. 输出偏见报告：把分数、置信区间、样本统计和人工审核建议整合成文档。

整个流程中，最容易出错的是第 2 步和第 5 步。概念样本不干净，后面全白做；显著性检验缺失，单个 TCAV 分数可能是随机波动。

为了让分析结果更可靠，建议每个概念准备至少 300 到 500 条样本。这个数字不是硬性规定，样本越少，CAV 方向越不稳定，结果越没有说服力。

5. 环境准备与前置条件

5.1 运行环境

本文的示例代码基于 Python 3.8 及以上版本。核心依赖是：

• torch：用于加载模型、计算激活值和梯度；
• numpy：数组运算；
• scikit-learn：训练线性分类器，得到 CAV 方向；
• pandas：整理分析结果。

安装命令如下：

pip install torch numpy scikit-learn pandas

如果你打算处理音频特征，可能还需要torchaudio或librosa。但本文的示例会从“已经提取好的激活向量”开始，暂时不涉及音频预处理细节。

5.2 模型假设

后续代码会假设你已有一个人口语评分模型。它的输入是一些特征，中间层包含声学编码器、文本编码器或融合模块。我无法替你的项目指定具体模型结构，因此代码里会用一个自定义的ScoringModel类做演示。你需要根据自己模型的接口改掉get_activation方法的实现。

这里强调一句：如果你没有现成口语评分模型，就用一个简单的 MLP 或 CNN 替代，重点是理解分析流程。

5.3 概念样本数据结构

建议每一类概念样本都用pandas.DataFrame管理，最少包含三列：

另外还要有一个字段指向音频特征文件，比如feature_path。训练 CAV 时，根据feature_path加载对应特征，再送入模型前向得到激活。

6. 完整示例：用 CAV 分析口语评分模型

6.1 步骤一：准备模型和激活提取接口

这里用 PyTorch 写一个简化封装。假设你的口语评分模型内部有一个encoder，我们想分析它在某一层输出的激活向量。

# 文件路径：cav_analysis/model_wrapper.py import torch class ScoringModel(torch.nn.Module): def __init__(self): super().__init__() # 仅作演示结构，实际请替换为你的口语评分模型 self.encoder = torch.nn.Sequential( torch.nn.Linear(768, 512), torch.nn.ReLU(), torch.nn.Linear(512, 256), torch.nn.ReLU(), ) self.score_head = torch.nn.Sequential( torch.nn.Linear(256, 64), torch.nn.ReLU(), torch.nn.Linear(64, 1), ) def forward(self, x): hidden = self.encoder(x) score = self.score_head(hidden) return score def get_activation(self, x, layer_name="encoder"): """ 返回指定中间层的激活值。 这里 layer_name 只是一个简单参数，实际项目中可以按模块名获取。 """ if layer_name == "encoder": activation = self.encoder(x) else: raise ValueError(f"Unknown layer: {layer_name}") return activation

这段代码的核心是get_activation。在真实系统里，你的模型可能来自torch.hub、torchvision、transformers或者自研模型。你只需保证能拿到某一层的输出 Tensor，形状是(batch_size, hidden_dim)。

6.2 步骤二：加载概念样本并生成激活矩阵

这里假设你已经把音频预处理成了固定维度的特征向量，存储在.npy文件中。概念列表里既包含正样本，也包含负样本。

# 文件路径：cav_analysis/build_activation.py import numpy as np import torch from torch.utils.data import DataLoader, TensorDataset def load_feature_vectors(concept_df, feature_root): """ 根据概念样本表的 feature_path 读取特征。 concept_df: pandas DataFrame，至少包含 feature_path 和 label。 feature_root: 特征文件根目录。 """ features = [] labels = [] for _, row in concept_df.iterrows(): feat = np.load(f"{feature_root}/{row['feature_path']}") features.append(feat) labels.append(row["label"]) features = np.stack(features).astype(np.float32) labels = np.array(labels, dtype=np.int64) return features, labels def collect_activations(model, features, layer_name="encoder", batch_size=32): """ 对特征前向传播，收集指定层的激活值。 """ model.eval() dataset = TensorDataset(torch.from_numpy(features)) loader = DataLoader(dataset, batch_size=batch_size) activations = [] with torch.no_grad(): for batch in loader: x = batch[0] act = model.get_activation(x, layer_name=layer_name) activations.append(act.cpu().numpy()) return np.concatenate(activations, axis=0)

使用说明：

• 概念样本表里的label，正样本为1，负样本为0；
• collect_activations不会更新模型参数，所以在no_grad下执行；
• 如果模型需要 GPU，记得把x移动到cuda，收集完再移回 CPU。

6.3 步骤三：训练 CAV 方向向量

CAV 本质上是正、负激活向量集上训练的逻辑回归权重。

# 文件路径：cav_analysis/train_cav.py from sklearn.linear_model import LogisticRegression def train_cav(concept_activations, random_activations, C=1.0): """ 训练概念激活向量。 concept_activations: 形状 (n_positive, hidden_dim) random_activations: 形状 (n_negative, hidden_dim) 返回：CAV 向量，形状 (hidden_dim,) """ X = np.concatenate([concept_activations, random_activations], axis=0) y = np.array([1] * len(concept_activations) + [0] * len(random_activations)) clf = LogisticRegression(C=C, max_iter=1000) clf.fit(X, y) # 逻辑回归的权重向量就是概念方向 cav = clf.coef_[0] return cav

代码说明：

• C是逻辑回归的正则化参数。概念样本量较小时，C可以设置小一点，避免过拟合；
• clf.coef_[0]的形状是(hidden_dim,)，它就是我们要的 CAV 方向；
• 正样本和负样本数量不一定完全相等，但建议相差不要太悬殊。

6.4 步骤四：计算 TCAV 分数

严格意义的 TCAV 需要计算梯度。简化版可以用激活值对 CAV 方向的平均投影方向来替代，步骤是：

1. 取一批验证样本的激活值；
2. 计算每个样本的敏感度：sensitivity = (activation - baseline) · cav；
3. 统计正敏感度的比例。

更严谨的做法是对“模型输出”求关于“中间层激活”的梯度，再和 CAV 做点积。下面的代码实现了这个更接近原始 TCAV 的版本。

# 文件路径：cav_analysis/tcav_score.py import torch import numpy as np def compute_tcav_score(model, inputs, cav_tensor, layer_name="encoder"): """ 计算 TCAV 分数。 inputs: torch.Tensor, 形状 (batch_size, feature_dim) cav_tensor: torch.Tensor, 形状 (hidden_dim,)，需要可求梯度 layer_name: 选择中间层名称 返回：tcav_score 和 方向敏感度列表 """ model.eval() inputs.requires_grad_(True) def forward_hook_fn(module, input, output): # 把中间层输出保存到全局变量 global saved_activation saved_activation = output # 简化：这里用 get_activation 来获取中间层 # 真实项目中可以使用 register_forward_hook # 这里直接调用 get_activation，避免破坏计算图。 # 不过严格的方向导数计算需要保留计算图，因此这里用自动微分方式。 activation = model.get_activation(inputs, layer_name=layer_name) score = model.score_head(activation).squeeze() # 求 score 对 activation 的梯度 grad = torch.autograd.grad(outputs=score.sum(), inputs=activation)[0] # grads shape: (batch_size, hidden_dim) # 和 CAV 方向做点积 sensitivity = torch.sum(grad * cav_tensor, dim=1) positive_ratio = (torch.mean((sensitivity > 0).float())).item() return positive_ratio, sensitivity.cpu().numpy()

这段代码需要解释清楚：activation是通过get_activation得到的中间层输出，它参与了后续score_head的计算，因此它保留在计算图中，torch.autograd.grad才能对它求梯度。

如果模型结构比较复杂，强烈建议使用 PyTorch 的register_forward_hook来捕获中间层输出，同时用torch.autograd.grad对捕获的输出求梯度。上面的示例是为了让读者更容易理解逻辑，实际项目中还需要做工程化处理。

6.5 步骤五：显著性检验与结果汇总

单个 TCAV 分数容易受样本和 CAV 训练随机性影响。建议做多次重复运行：

• 使用不同随机种子训练多个 CAV；
• 计算 TCAV 分数的均值和标准差；
• 用 t 检验判断分数是否显著大于 0.5。

# 文件路径：cav_analysis/run_analysis.py import numpy as np from scipy import stats from cav_analysis.model_wrapper import ScoringModel from cav_analysis.build_activation import load_feature_vectors, collect_activations from cav_analysis.train_cav import train_cav from cav_analysis.tcav_score import compute_tcav_score import torch def run_bias_analysis(concept_df, random_df, feature_root, layer_name="encoder"): model = ScoringModel() model.eval() concept_features, concept_labels = load_feature_vectors(concept_df, feature_root) random_features, random_labels = load_feature_vectors(random_df, feature_root) concept_acts = collect_activations(model, concept_features, layer_name=layer_name) random_acts = collect_activations(model, random_features, layer_name=layer_name) tcav_scores = [] for seed in [0, 1, 2]: np.random.seed(seed) cav = train_cav(concept_acts, random_acts) cav_tensor = torch.from_numpy(cav).float() val_input = torch.from_numpy(concept_features[:64]).float() score, _ = compute_tcav_score(model, val_input, cav_tensor, layer_name=layer_name) tcav_scores.append(score) tcav_arr = np.array(tcav_scores) mean_score = tcav_arr.mean() std_score = tcav_arr.std(ddof=1) # 单样本 t 检验，原假设：TCAV 分数 = 0.5，即没有依赖 t_stat, p_value = stats.ttest_1samp(tcav_arr, 0.5) result = { "concept": concept_df["concept"].iloc[0], "layer": layer_name, "tcav_mean": mean_score, "tcav_std": std_score, "t_stat": t_stat, "p_value": p_value, "significant": p_value < 0.05, } return result

这里做了 3 次重复，实际项目中建议至少 10 次。p_value < 0.05表示该概念的 TCAV 分数显著偏离 0.5。偏离方向决定是正面依赖还是负面依赖。

6.6 运行入口示例

# 文件路径：cav_analysis/main.py import pandas as pd from cav_analysis.run_analysis import run_bias_analysis if __name__ == "__main__": concept_df = pd.DataFrame({ "sample_id": ["c001", "c002", "c003"], "concept": ["accent", "accent", "accent"], "label": [1, 1, 1], "feature_path": ["c001.npy", "c002.npy", "c003.npy"], }) random_df = pd.DataFrame({ "sample_id": ["r001", "r002", "r003"], "concept": ["random", "random", "random"], "label": [0, 0, 0], "feature_path": ["r001.npy", "r002.npy", "r003.npy"], }) result = run_bias_analysis( concept_df=concept_df, random_df=random_df, feature_root="./features", layer_name="encoder", ) print(result)

实际运行时，样本量远不止 3 条，这里只是展示调用关系。

7. 运行结果与效果验证

如果你按上面的脚本执行成功，预期会看到类似这样的输出：

{ "concept": "accent", "layer": "encoder", "tcav_mean": 0.83, "tcav_std": 0.04, "t_stat": 14.2, "p_value": 0.0049, "significant": True, }

7.1 如何解读结果

首先看significant：

• 为True，说明 TCAV 分数显著偏离 0.5，模型对该概念存在明显的内部依赖；
• 为False，说明在统计意义上，还不能断定模型依赖该概念。

再看tcav_mean的数值：

• 接近 1：模型在绝大多数验证样本上正面使用该概念。如果这是“带口音”概念，说明口音特征在模型评分中占了不小的正向权重。
• 接近 0：模型在绝大多数样本上回避该概念。这同样可能有问题，说明模型可能对口音过于不敏感，导致某些真实发音差异被忽略。
• 接近 0.5：模型对该概念没有一致的依赖，属于较健康的状态。

需要提醒的是：tcav_mean = 0.83不等于“模型对考生有偏见”。它只说明“模型内部对这个概念比较敏感”。到底算不算偏见，还要结合业务判断和人工评分结果。比如，如果系统任务本身就是评估发音，那口音特征的敏感可能不一定是坏事。但如果评分目标是“内容逻辑”，而模型对口音过度敏感，那就是明显的潜在偏见。

7.2 验证流程闭环

为了让结果可信，建议再做三件事：

1. 更换不同批次的随机负样本，看 TCAV 分数是否稳定；
2. 对比不同中间层的结果，判断偏见发生在声学编码层还是融合层；
3. 对每个概念收集 3 到 5 组样本集，确保不是某一组样本的偶然偏差。

如果 TCAV 分数在不同层之间差异很大，可以进一步用 SHAP 或输入归因方法，定位到具体输入特征区间。

8. 常见问题与排查思路

下面是实际跑 CAV 偏见分析时最容易遇到的 7 个问题，按照从启动到结果的顺序排列。

如果遇到“概念样本 AUC 很高，但 TCAV 分数不高”的情况，说明概念确实存在于激活空间里，但模型最终评分没有依赖它。这是一种健康的状态，说明模型能区分概念，但没有把它当作评分依据。

9. 最佳实践与工程建议

9.1 概念样本是偏见分析的命门

CAV 分析最容易被质疑的点就是概念定义。

一个真实案例是：分析“带口音”概念时，如果正样本全是“语音质量差 + 口音重”的录音，负样本全是“标准发音 + 表达流畅”的录音，CAV 实际上学习到的是“整体质量”的方向，而不是口音方向。最后 TCAV 分数高，根本没办法说是口音导致的偏见。

建议做法：正样本和负样本在内容难度、流利度、语法正确性上尽量匹配，只在口音属性上做区分。可以请 2 到 3 个标注者独立标注，保留一致性较高的样本。

9.2 固定模型权重，只做离线分析

偏见分析不应该改变线上模型的权重。整个过程只在已训练模型上做前向、求梯度和结果统计。如果发现偏见，正确的处理方式是调整训练数据、修改损失函数或做后处理校准，而不是在分析脚本里改模型参数。

9.3 分层汇报 TCAV 分数

不要只汇报一个“总偏见分数”。建议按概念、按模型层、按考生群体分别交叉汇报。比如：

• 口音概念：声学编码层 TCAV 0.79，融合层 TCAV 0.62；
• 噪声概念：声学编码层 TCAV 0.88，融合层 TCAV 0.55；
• 性别相关声学特征：声学编码层 TCAV 0.57，融合层 TCAV 0.51。

这样能让产品团队知道，偏见主要发生在哪个环节，是声学特征抽取阶段，还是文本与声学融合阶段。

9.4 将偏见分析纳入 CI 流程

如果团队评分模型更新频繁，建议把偏见分析固化成自动化任务。模型每次训练完，自动对一组固定的“公平性概念样本集”跑 CAV，生成一份 Markdown 报告。

在 CI 中设定规则时要注意：不要只看单个 TCAV 分数是否低于 0.7，而要关注它和上一个版本的差异。如果新版模型在某个概念上的 TCAV 分数从 0.6 跳到 0.85，即使 0.85 还在“可接受”范围内，也值得人工介入。

9.5 注意隐私和数据授权

口语评估数据通常包含真实用户的语音，涉及个人信息。在做偏见分析时，需要确保：

• 语音样本经过脱敏处理；
• 特征提取在受控环境中完成；
• 分析过程中不公开可识别个人的录音；
• 如果使用第三方特征提取服务，要符合数据合规要求。

对一个工程团队来说，偏见分析不仅是算法问题，更是数据合规问题。不要为了论文效果而放松隐私边界。

9.6 和其他公平性工具配合使用

CAV 不是万能的。它擅长回答“模型内部是否依赖这个概念”，但不太擅长回答“这种依赖是否对特定群体不公平”。建议配合以下方法一起使用：

• 校准分析：对不同考生群体的分数做校准曲线，看是否存在系统性高估或低估；
• 匹配样本对比：在语法、内容、词汇等维度相近的样本中，比较不同口音群体的分数差异；
• 消融实验：把输入特征中与口音相关的部分遮蔽掉，观察分数变化。

把这些结果放在一起，偏见报告才有更强的说服力。

10. 总结与后续学习方向

这篇文章从 L2 口语评估系统的实际痛点入手，介绍了如何用 Concept Activation Vectors 分析模型内部对非语言能力概念的依赖。核心内容可以归纳为四点：

• 口语评分模型的偏见不能只看最终分数差异，还需要定位模型内部概念依赖；
• CAV 通过中间层激活训练一个概念方向，TCAV 分数量化模型对这个方向的使用程度；
• 概念样本质量比算法细节更重要，正负样本必须在目标能力上匹配；
• 偏见分析应该工程化，离线分析、分层汇报、自动生成报告，才能持续发挥作用。

如果你接下来想深入研究，可以从这几个方向继续：

1. 读原版 TCAV 论文，理解它在图像模型上的原始假设，再思考迁移到语音模型需要做哪些调整；
2. 尝试在 Transformer 结构的口语评分模型中，对不同注意力头分别做 CAV 分析；
3. 把 CAV 和语音归因方法结合，看模型是依赖哪段时间片段的音频触发概念敏感；
4. 研究如何根据 TCAV 分析结果改进训练损失，比如做概念去偏正则化。

最后给一个实用建议：不要一上来就做复杂的多概念偏见分析。先挑一个最影响业务的概念，比如“背景噪声”，准备一组干净样本和噪声样本，跑通整个 CAV 流程，把这个最小闭环沉淀成团队的自动化工具。之后再加口音、性别、语速等新概念，每次迭代只加一个维度，这样即使分析出了问题，也容易定位。

L2 口语评估系统走向高利害考试场景时，公平性问题会成为技术验收的硬指标。CAV 这类可解释性方法，正好能帮开发者从“黑盒评分”走向“可论证的公平性”。希望这篇文章的流程示例，能给你提供一个可以直接落地的起点。