SIGMA：无元数据场景下基于LLM与SHAP的自动特征工程方法

1. 先搞清楚 SIGMA 到底要解决 AutoFE 里的什么核心问题

如果你正在处理表格数据，尤其是那些列多、关系杂、特征含义不明确的数据集，手动做特征工程（Feature Engineering）是个既费时又考验经验的活儿。AutoFE（自动特征工程）的目标就是把这个过程自动化，但很多现有方案有个绕不开的坎：它们严重依赖数据表的元数据（Metadata），比如列名、数据类型、数据字典描述等。一旦这些元数据缺失、不准或者过于简单，自动化流程就很容易卡壳，生成一堆无效甚至误导性的特征。

SIGMA 这篇论文提出的方法，瞄准的就是这个“元数据缺失”的场景。它的全称是“SHAP-Guided Implicit-Trajectory Generation for Metadata-Free LLM-Based AutoFE”，名字很长，但核心思路可以拆开看：不用元数据，靠大语言模型（LLM）来“猜”特征该怎么构造，再用 SHAP 值来引导和修正 LLM 的“思考”轨迹。

这和我们平时看到的、直接给LLM一堆列名和规则让它生成代码的AutoFE不太一样。SIGMA 假设我们面对的是一个“黑盒”表格：只有一堆数字和类别值，列名可能是无意义的“f1”、“f2”，没有任何业务说明。在这种情况下，LLM 如何能生成有意义的特征变换（比如log(x+1),x/y, 或者基于时间窗口的统计量）？SIGMA 的答案是：让 LLM 不是一次性输出答案，而是通过多轮“内心独白”（Implicit Trajectory）来逐步推理，并用下游预测模型的 SHAP 值作为反馈信号，去评估和调整这些推理路径，最终找到提升模型效果的特征组合。

所以，这篇文章最值得关注的点不是又一个 AutoFE 工具，而是一种“在缺乏先验知识时，如何让 LLM 进行目标导向的特征探索”的方法论。它适合两类人：一是真正在做数据科学、苦于特征工程的数据工程师和算法研究员；二是对如何将 LLM 与传统机器学习（如 XGBoost）更深度、更可控地结合感兴趣的技术开发者。

2. 理解 SIGMA 的工作流程：从黑盒表格到有效特征

要复现或理解 SIGMA，不能只看它用了 LLM 和 SHAP，关键是弄懂它设计的这个闭环工作流。我把它拆解成几个可操作的阶段，这样即使不读论文原文，也能把握住核心。

2.1 输入与起点：一个“干净”的黑盒

首先，你的输入是一个干净的表格数据集D，包含特征X和目标变量y。所谓“干净”，是指数据已经完成了基础的清洗（处理缺失值、异常值），但列名没有业务含义（例如都是col_0,col_1），也没有任何额外的元数据文档。这就是 SIGMA 设计的起点——模拟最糟糕但也很常见的场景。

2.2 第一阶段：LLM 的“自由联想”与轨迹生成

这是 SIGMA 最核心的部分。系统会提示 LLM（例如 GPT-4）去观察这个数据集。提示词（Prompt）不会说“请根据列名‘年龄’和‘收入’构造特征”，而是更泛化，比如：“给定一个数据集，其列是col_0,col_1...，目标变量是y。请思考可能有助于预测y的特征变换思路。”

关键来了：SIGMA 不让 LLM 直接输出最终的特征转换代码，而是要求它生成一个“隐式轨迹”。你可以把这个轨迹理解为 LLM 的思考链（Chain-of-Thought），但更结构化。它可能包含多轮步骤，例如：

1. 观察：“col_0是数值型，分布右偏；col_1是类别型，取值较少。”
2. 假设：“y可能与col_0的规模有关，尝试对数变换；col_1的不同类别可能与col_0存在交互效应。”
3. 操作构思：“生成新特征：log_col_0 = log(col_0 + 1)，以及col_0_mean_by_col_1（按col_1分组后col_0的均值）。”

这个轨迹是文本形式的，是 LLM 的“推理草案”。系统会从这些轨迹中，解析出具体的特征转换操作（如log,groupby-mean,ratio等），并应用到原始数据X上，生成一批候选的新特征集合F_candidate。

注意：这里 LLM 并不直接接触真实数据值（避免数据泄露），它只基于对列名、数据类型和可能的数据分布的“推测”来生成思路。这模拟了人类专家在只有列名时进行脑力激荡的过程。

2.3 第二阶段：用 SHAP 值进行引导与筛选

生成了大量候选特征后，不能全部扔进模型，因为很多可能是噪音。SIGMA 在这里引入了 SHAP（SHapley Additive exPlanations）值作为“引导信号”。

1. 训练初始模型：首先，用一个基础模型（如 LightGBM 或 XGBoost）在原始特征X上训练，得到模型M_base。
2. 计算 SHAP 值：计算M_base对验证集预测的 SHAP 值。这得到了每个原始特征x_i对于预测结果的重要性贡献。
3. 评估候选特征：将候选特征集合F_candidate逐个（或成组）加入到X中，重新训练模型，并观察模型性能（如 AUC、RMSE）的变化以及新特征自身的 SHAP 值。
4. 引导逻辑：
   • 正向引导：如果一个新特征被加入后，获得了较高的正 SHAP 值，并且提升了模型性能，说明这个特征构造思路（来自 LLM 的某段轨迹）是有效的。系统会反馈这个信号，可能用于强化生成类似轨迹的提示词。
   • 负向筛选：如果一个新特征的 SHAP 值很低或为负，且对性能无益甚至有害，说明对应的 LLM 推理路径可能是无效的。这个信息可以被用来在后续的迭代中，抑制 LLM 产生类似的错误推理。

这个过程可以迭代进行。LLM 根据上一轮 SHAP 反馈的“有效”和“无效”特征模式，调整其“思考”方式，生成新的、可能更好的推理轨迹和候选特征。

2.4 输出：最终的特征集与可解释性报告

经过多轮迭代后，SIGMA 会输出一个精选后的新特征集合F_selected，这些特征被验证能够提升下游预测模型的性能。同时，由于整个过程记录了 LLM 的轨迹和 SHAP 的评估，你还能得到一份“可解释性报告”：为什么特征log(col_0+1)会被创造出来（LLM 的初始假设），以及它到底有多重要（SHAP 值的定量证明）。

3. 动手实践：如何模拟 SIGMA 的核心思想

论文可能提供了完整代码，但在我们自己动手尝试时，可以抓住核心思想进行简化实现，重点验证其可行性。下面是一个基于 Python 环境的概念性实现步骤。

3.1 环境准备与工具选择

你需要一个能运行 Python 的环境，并安装以下核心库：

• 机器学习基础：pandas,numpy,scikit-learn
• 梯度提升树模型：lightgbm或xgboost（用于训练基础模型和计算 SHAP）
• SHAP 值计算：shap库
• 大语言模型调用：openai库（如需调用 GPT API）或本地部署的 LLM 服务接口。对于实验，可以使用transformers库加载一个较小的开源模型（如 Llama 3.2 的 Instruct 版本），但需要注意其推理和指令跟随能力。

# 示例安装命令 pip install pandas numpy scikit-learn lightgbm shap openai # 或者使用开源LLM # pip install transformers torch accelerate

3.2 数据准备与“去元数据”化

找一个你熟悉的数据集，比如波士顿房价、泰坦尼克号幸存者预测。然后，故意“破坏”它的元数据：

import pandas as pd from sklearn.datasets import load_breast_cancer # 加载一个标准数据集 data = load_breast_cancer() X = pd.DataFrame(data.data, columns=data.feature_names) # 原始有意义的列名 y = data.target # 模拟“元数据缺失”：将列名替换为无意义的代号 X.columns = [f'f_{i}' for i in range(X.shape[1])] print(X.columns) # 输出：Index(['f_0', 'f_1', ..., 'f_29'], dtype='object') # 现在，我们不知道 f_0 代表‘平均半径’，f_1 代表‘平均纹理’了。

3.3 构建简化的 SIGMA 循环（单轮）

我们实现一个单轮流程，体验从 LLM 生成思路到 SHAP 评估的过程。

步骤1：提示 LLM 生成特征变换思路这里我们模拟 LLM 的响应。在实际中，你需要调用 API 或本地模型。

# 这是一个模拟函数，实际中需替换为真实的 LLM 调用 def query_llm_for_feature_ideas(X_sample_head, y_name): """ 模拟 LLM 基于数据预览生成特征变换思路。 X_sample_head: DataFrame 的前几行，用于展示数据结构。 y_name: 目标变量名称。 返回一个包含特征变换描述字符串的列表。 """ # 在实际应用中，这里会构造一个详细的 Prompt，包含数据样例、列类型等信息。 # 例如：f"Given a dataset with columns {list(X.columns)} and target '{y_name}', here are the first few rows:\n{X_sample_head.to_string()}\nPlease suggest 3 potential feature transformations that might help predict '{y_name}'. Output each as a clear Python expression using the column names (e.g., 'np.log(f_0 + 1)')." # 模拟 LLM 返回的答案 simulated_ideas = [ "np.log(f_0 + 1)", # 对 f_0 做对数变换，假设它可能是指数相关的正数 "f_1 * f_2", # 交互特征 "f_3 / (f_4 + 1e-5)", # 比例特征 "(f_5 - f_5.mean()) / f_5.std()", # 标准化 ] return simulated_ideas # 获取数据预览 X_head = X.head(3) feature_ideas = query_llm_for_feature_ideas(X_head, 'target') print("LLM 生成的特征变换思路：", feature_ideas)

步骤2：解析并应用特征变换将文本思路转化为实际的 DataFrame 列。

import numpy as np def apply_feature_ideas(X, ideas): """将文本描述的特征变换应用到数据框 X 上。""" X_new = X.copy() new_feature_names = [] for idea in ideas: try: # 安全地评估表达式。注意：在生产环境中，需要对表达式进行严格的安全检查和限制！ # 这里仅为演示，假设 ideas 是安全的 numpy/pandas 表达式。 # 更安全的做法是使用 ast.literal_eval 或一个预定义的转换函数库。 new_col = eval(idea, {"np": np, "pd": pd, "f_0": X['f_0'], "f_1": X['f_1'], "f_2": X['f_2'], "f_3": X['f_3'], "f_4": X['f_4'], "f_5": X['f_5']}) # 仅示例部分列 col_name = f"trans_{len(new_feature_names)}" X_new[col_name] = new_col new_feature_names.append((col_name, idea)) except Exception as e: print(f"无法应用变换 '{idea}': {e}") continue return X_new, new_feature_names X_with_candidates, candidate_info = apply_feature_ideas(X, feature_ideas) print(f"生成了 {len(candidate_info)} 个候选特征。")

步骤3：训练基础模型并计算 SHAP 基准在原始特征上训练模型，建立重要性基线。

import lightgbm as lgb import shap from sklearn.model_selection import train_test_split # 划分训练验证集 X_train_base, X_val_base, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42) # 训练基础模型 model_base = lgb.LGBMClassifier(random_state=42) model_base.fit(X_train_base, y_train) # 计算基础模型的 SHAP 值（在验证集上） explainer_base = shap.Explainer(model_base, X_val_base) shap_values_base = explainer_base(X_val_base) # 计算基础模型性能 from sklearn.metrics import accuracy_score y_pred_base = model_base.predict(X_val_base) base_accuracy = accuracy_score(y_val, y_pred_base) print(f"基础模型准确率：{base_accuracy:.4f}")

步骤4：评估候选特征将每个候选特征单独加入，评估其影响。

results = [] for col_name, idea in candidate_info: # 创建只加入一个候选特征的数据集 X_train_candidate = X_train_base.copy() X_val_candidate = X_val_base.copy() X_train_candidate[col_name] = X_with_candidates.loc[X_train_base.index, col_name] X_val_candidate[col_name] = X_with_candidates.loc[X_val_base.index, col_name] # 训练新模型 model_candidate = lgb.LGBMClassifier(random_state=42) model_candidate.fit(X_train_candidate, y_train) # 评估性能 y_pred_cand = model_candidate.predict(X_val_candidate) cand_accuracy = accuracy_score(y_val, y_pred_cand) # 计算新特征的 SHAP 值 explainer_cand = shap.Explainer(model_candidate, X_val_candidate) shap_values_cand = explainer_cand(X_val_candidate) # 获取该候选特征的平均 |SHAP| 值作为重要性度量 cand_shap_importance = np.abs(shap_values_cand.values[:, -1]).mean() # 假设新特征在最后一列 results.append({ 'feature_name': col_name, 'idea': idea, 'base_accuracy': base_accuracy, 'candidate_accuracy': cand_accuracy, 'accuracy_delta': cand_accuracy - base_accuracy, 'candidate_shap_mean_abs': cand_shap_importance }) # 分析结果 results_df = pd.DataFrame(results) print(results_df.sort_values('accuracy_delta', ascending=False))

通过这个简化的单轮流程，你就能看到哪些由 LLM “猜想”出来的特征变换，真正带来了性能提升和较高的 SHAP 重要性。这验证了 SIGMA 核心反馈循环的有效性。

4. 关键细节与实战避坑指南

在实际操作中，无论是复现论文还是借鉴其思想，有几个细节和坑点需要特别注意。

4.1 LLM 提示工程：平衡自由度与可控性

让 LLM 在元数据缺失的情况下自由发挥，是一把双刃剑。提示词（Prompt）的设计至关重要。

• 不要给太多空白指令：像“请生成一些特征”这样的指令太模糊，LLM 可能输出不相关或无法解析的内容。应该提供约束，例如：“生成基于数值列数学变换（如 log, sqrt, 平方， 比值）的特征表达式”或“生成反映类别列与数值列交互作用的聚合特征（如组内均值、标准差）”。
• 提供数据样例和格式要求：在 Prompt 中包含几行实际数据（确保已脱敏），让 LLM 了解数据尺度。严格要求输出格式，例如：“请以 Python 的 NumPy 或 Pandas 表达式列表形式输出，例如：['np.log(f_0 + 1)', 'f_1 / (f_2 + 1e-5)']”。
• 迭代优化 Prompt：根据 SHAP 反馈的结果，动态调整 Prompt。例如，如果发现交互特征普遍有效，下一轮 Prompt 可以加强：“上一轮中，类似f_a * f_b的交互特征表现良好，请优先考虑此类变换。”

4.2 SHAP 值的计算与解读陷阱

SHAP 值是 SIGMA 的导航仪，但用不好也会误导。

• 计算成本：每次评估候选特征都要重新训练模型并计算 SHAP，计算量巨大。对于大规模特征搜索，需要采样（数据采样、特征子集采样）或使用增量学习/特征重要性近似方法。
• SHAP 的稳定性：SHAP 值，特别是基于树模型的计算，在不同数据子集上可能有波动。不要仅凭单次计算的 SHAP 值就判定一个特征的好坏。应该考虑多次交叉验证下的平均 SHAP 贡献或性能提升。
• 区分全局与局部重要性：一个特征可能全局 SHAP 值不高，但对某些特定样本子集预测至关重要。SIGMA 主要关注全局重要性，但在某些场景下，也需要关注局部解释的一致性。

4.3 工程化落地的挑战

将 SIGMA 从论文原型搬到生产环境，需要解决几个工程问题：

1. 执行效率：LLM 调用（尤其是商用 API）有延迟和成本。需要缓存、批量处理提示，并可能用更小的、专门微调过的模型来替代通用大模型。
2. 表达式安全：eval()函数极其危险，绝不能直接执行来自 LLM 的未经清洗的字符串。必须建立一个安全的特征变换函数白名单。将 LLM 输出的文本描述映射到预定义的安全函数调用上。例如，LLM 输出“对 f_0 取对数”，程序应解析并调用np.log(df['f_0'] + epsilon)。
3. 特征爆炸与过拟合：自动生成大量特征极易导致过拟合。必须引入严格的验证流程（例如时序数据中的时间序列交叉验证）和特征选择（如基于 SHAP 值的筛选、L1 正则化）。
4. 与现有流水线集成：生成的最终特征集需要能无缝集成到现有的 ML 流水线（Feature Store, Pipeline）中，这意味着要有版本管理和可复现性。

4.4 替代方案与边界思考

SIGMA 不是 AutoFE 的唯一解，理解它的边界能更好地应用它。

• 何时效果可能不好？
  • 数据量极小：LLM 的“常识”可能不适用于小样本的特定分布。
  • 特征间关系高度非线性且复杂：简单的数学变换和交互项可能不足以捕捉。
  • 领域知识至关重要：在医疗、金融等领域，一些特征构造有严格的业务逻辑，LLM 的“自由发挥”可能产生不符合常识甚至不合规的特征。
• 与传统 AutoFE 对比：
  • 基于元数据/规则的方法（如 FeatureTools, Tsfresh）：在元数据齐全时效率高、可解释性强，但元数据缺失时失效。
  • 端到端深度学习：用神经网络（如 TabNet, Transformer）自动学习特征表示。优点是完全不需要特征工程，缺点是模型可解释性差，且在小数据上容易过拟合。
  • SIGMA 的定位：介于两者之间。它利用 LLM 的泛化推理能力弥补元数据缺失，又利用 SHAP 和传统树模型保持可解释性和在表格数据上的高效性。它更适合元数据匮乏，但又有中等规模数据，且对特征可解释性有一定要求的场景。

5. 总结：把 SIGMA 思想融入你的工作流

SIGMA 论文提供了一种新颖的框架，但其最大的价值在于启发了我们处理特征工程问题的新思路。你未必需要完全照搬其架构，但可以汲取其核心思想来优化现有流程：

1. 引入“零样本”特征构思：当面对一个新数据集，特别是列名晦涩难懂时，可以手动扮演一次“LLM”。不要被列名束缚，尝试基于数据分布（直方图、散点图）去猜测列的含义和可能的关系，并据此设计特征。这就是“隐式轨迹”的人工版。
2. 建立“反馈驱动”的迭代机制：不要一次性生成上百个特征然后全部扔进模型。采用迭代方式：生成一小批候选特征 -> 用简单模型（如线性模型或单棵决策树）快速评估 -> 分析有效特征的模式（是交互项好？还是非线性变换好？）-> 基于这个模式指导下一批特征生成。这个反馈循环的核心就是 SIGMA 中 SHAP 扮演的角色。
3. 重视特征的可解释性评估：在评估新特征时，除了看验证集指标（AUC, RMSE）的提升，一定要看它的 SHAP 值或类似的重要性指标。一个能大幅提升模型性能但完全无法解释的特征，在生产环境中可能存在巨大风险。
4. 安全第一：任何自动化生成的内容，尤其是代码或配置，都必须经过安全沙箱或白名单机制的过滤。这是将 LLM 应用于生产系统的铁律。

最终，SIGMA 更像是一个强大的“特征共创伙伴”。它用 LLM 的广度来弥补人类在陌生数据领域想象力的不足，再用 SHAP 的量化分析将天马行空的想象拉回提升模型性能的务实轨道。在实际项目中，你可以先从一个小模块开始尝试——比如用 LLM 为数据集中最神秘的几个列生成特征变换假设，然后手动验证——逐步体会这种协作模式的威力。