拉伊达法则（3σ准则）在Python数据清洗中的原理、实现与避坑指南-Seo优化-塔城地区网站建设公司

1. 项目概述：从数据清洗的“脏活”说起

做数据分析或者机器学习的朋友，肯定都经历过这个阶段：拿到一份数据，兴冲冲地准备建模，结果一跑出来，模型效果差得离谱，或者某个指标的统计结果怎么看怎么不对劲。这时候，十有八九是你的数据里混进了“捣蛋鬼”——异常值。这些偏离主流群体太远的“异类”，就像汤里的一颗老鼠屎，能轻易地毁掉你精心熬制的“数据高汤”。今天要聊的“拉伊达法则”，就是数据清洗工具箱里一把经典、好用的“漏勺”，专门用来把这些“老鼠屎”给捞出来。别看它原理简单，用对了场景，效果立竿见影，是每个数据从业者都应该掌握的基本功。

拉伊达法则，也叫3σ准则，其核心思想基于一个基本假设：在正态分布的数据中，绝大多数（约99.73%）的观测值会落在平均值加减三个标准差的范围内。那些落在这个范围之外的数据点，就被认为是小概率事件，可以当作异常值来处理。这个法则在工程、质量控制、金融数据分析等领域应用非常广泛。当然，它也不是万能的，前提假设“数据服从或近似服从正态分布”是关键。如果你的数据是偏态分布或者存在多个峰值，盲目套用3σ准则可能会误伤“良民”或者漏掉“真凶”。所以，理解原理、明确适用场景，比单纯调用一个函数更重要。

这篇文章，我会以一个从业超过十年的“数据清洁工”视角，带你彻底搞懂拉伊达法则。我们不只讲Python代码怎么敲，更要拆解背后的统计逻辑，探讨不同场景下的应用技巧和避坑指南。无论你是刚入门的数据分析师，还是需要快速处理实验数据的科研人员，这篇内容都能给你一套可直接上手、且知其所以然的解决方案。

2. 核心原理与适用性深度拆解

2.1 拉伊达法则的统计学根基

要玩转一个工具，首先得理解它的设计图纸。拉伊达法则的根基，深植于正态分布和切比雪夫定理之中。

正态分布，也叫高斯分布，是自然界和社会科学中最常见的一种连续概率分布。它的概率密度函数呈经典的“钟形曲线”，关于其均值μ对称。在正态分布中，数据分布的离散程度由标准差σ来描述。一个非常重要的特性是：约有68.27%的数据落在(μ-σ, μ+σ)区间内，约有95.45%的数据落在(μ-2σ, μ+2σ)区间内，而约有99.73%的数据会落在(μ-3σ, μ+3σ)区间内。这最后一个数字99.73%就是拉伊达法则（3σ准则）的直接来源。它意味着，如果一个数据点距离均值超过了3个标准差，那么它属于这个正态分布总体的概率只有不到0.27%，是一个典型的小概率事件。在统计学上，我们通常有理由将这种小概率事件视为异常。

注意：这里有一个常见的误解。很多人认为拉伊达法则“要求”数据必须严格服从正态分布。实际上，对于近似正态分布的数据，该法则依然有很好的参考价值。更广义的理论支持来自切比雪夫定理，该定理对任何分布形态的数据都成立，它指出：对于任意数据集，至少有(1 - 1/k²)比例的数据落在均值加减k个标准差的范围内。当k=3时，至少有88.89%的数据在(μ-3σ, μ+3σ)内。这说明，即使分布未知，超过3σ的数据也确实是分布非常边缘的部分。正态分布下的99.73%是这个定理在特定分布下的最优情况。

2.2 适用场景与前置检查

明白了原理，我们就能更理智地判断什么时候该请出拉伊达法则这把“刀”。

最适合的应用场景：

近似单峰正态分布的数据：这是它的“主场”。例如，同一生产线上产品的某个尺寸测量值、大量人群的身高体重数据、重复实验的测量误差等。这些数据通常围绕一个中心值波动，且偏度和峰度接近0。
大样本数据：中心极限定理告诉我们，当样本量足够大时，样本均值的分布会趋近于正态分布。因此，对于大样本量的数据集，即使原始分布不完全正态，使用拉伊达法则识别出的异常值也常具有参考意义。
初步的异常值筛查：在探索性数据分析阶段，拉伊达法则可以作为一个快速、自动化的工具，帮助我们定位那些明显偏离的“极端值”，为进一步分析提供线索。

需要谨慎或避免使用的场景：

严重偏态分布：例如收入数据、城市人口数据，通常呈右偏分布（少数极高值拉高了均值）。此时，均值本身已不能代表数据“中心”，用基于均值和标准差的3σ法则会严重误判，可能将大量正常的高值数据误标为异常。
多峰分布数据：数据存在多个聚集中心。一个全局的均值和标准差无法描述这种复杂结构，会漏掉某个子群内部的异常值，或者将另一个子群的正常值判为异常。
小样本数据：样本量太小（如少于30）时，计算出的均值和标准差本身就不稳定，受个别数据点影响极大，此时应用3σ准则可靠性很差。
数据中包含大量异常值：如果异常值本身占比就很高（比如超过5%），它们会严重扭曲均值和标准差的计算，导致“掩蔽效应”和“淹没效应”。即一个强异常值会把均值拉向自己，同时夸大标准差，使得其他异常值变得“看起来正常”；或者大量异常值共同作用，使标准差膨胀，导致无法识别出任何异常值。

实操前的必要检查：因此，在动手写代码剔除异常值之前，务必先做两件事：

可视化检查：绘制数据的直方图、核密度估计图或箱线图。用肉眼直观判断数据分布是否大致对称、呈单峰。
定量计算：计算数据的偏度和峰度。对于标准正态分布，偏度和峰度均为0。通常，如果偏度的绝对值小于1，峰度的绝对值小于3，可以认为数据近似正态，可以尝试使用拉伊达法则。

from scipy import stats skewness = stats.skew(your_data) kurtosis = stats.kurtosis(your_data) # 注意，scipy的kurtosis计算的是超额峰度，正态分布下为0 print(f"偏度: {skewness:.4f}, 峰度: {kurtosis:.4f}")

3. Python实现：从基础到工业级稳健方案

3.1 基础实现与逐行解析

我们先从最直观、最基础的实现开始。假设我们有一个一维的数值型数据数组data。

import numpy as np def remove_outliers_3sigma_basic(data): """ 使用3σ拉伊达法则识别并移除异常值（基础版） 参数: data: 一维numpy数组或列表 返回: filtered_data: 移除异常值后的数据数组 outlier_indices: 被判定为异常值的原始索引列表 """ # 将输入转换为numpy数组，便于计算 data_array = np.array(data) # 计算数据的均值 (μ) 和标准差 (σ) # 这里使用的是样本标准差 (ddof=1)，在样本数据时更常用 mean = np.mean(data_array) std = np.std(data_array, ddof=1) # 设定上下限阈值 lower_bound = mean - 3 * std upper_bound = mean + 3 * std # 找出正常值的布尔掩码 (True表示正常值) # 使用逻辑与(&)确保数据同时大于下限且小于上限 mask = (data_array > lower_bound) & (data_array < upper_bound) # 获取异常值的索引位置 outlier_indices = np.where(~mask)[0].tolist() # ~mask取反，得到异常值掩码 # 使用掩码过滤数据，得到清洗后的数据 filtered_data = data_array[mask] return filtered_data, outlier_indices

逐行解析与关键点：

np.std(data_array, ddof=1)：这是关键参数。ddof代表“Delta Degrees of Freedom”。在统计学中，计算样本标准差时，分母通常是n - 1而非n，这是为了对总体标准差进行无偏估计。ddof=1对应分母n-1，ddof=0对应分母n。对于样本数据，通常使用ddof=1。如果你确信你的数据就是总体本身，可以用ddof=0。
阈值计算：lower_bound = mean - 3 * std。注意，我们同时设定了上下限。有些场景下（如只有单侧异常），可以只设定上限或下限。
布尔掩码索引：data_array[mask]是NumPy的高效过滤方式。mask是一个与data_array形状相同的布尔数组，为True的位置被保留。这种方式比用循环遍历快得多。
返回值：我们不仅返回清洗后的数据，还返回异常值的索引。保留索引非常重要，因为它允许你回溯这些异常值，进行后续分析（比如，这些异常值是否来自某个特定批次？是否对应某个特殊事件？）。

3.2 处理多维数据与DataFrame

实际工作中，我们面对的多是表格型数据（如Pandas DataFrame），需要按列（特征）分别处理异常值。

import pandas as pd import numpy as np def remove_outliers_df_3sigma(df, columns=None, inplace=False): """ 对Pandas DataFrame的指定列应用3σ法则去除异常值。 参数: df: 输入的Pandas DataFrame columns: 需要处理的列名列表。如果为None，则处理所有数值型列。 inplace: 是否在原DataFrame上修改。False则返回新的DataFrame。 返回: 清洗后的DataFrame，以及一个记录各列异常值索引的字典。 """ if not inplace: df = df.copy() # 如果未指定列，则选择所有数值类型的列 if columns is None: columns = df.select_dtypes(include=[np.number]).columns.tolist() outliers_report = {} # 用于记录每列异常值的索引 for col in columns: # 检查列中是否有非数值或全为NaN的情况 if not pd.api.types.is_numeric_dtype(df[col]) or df[col].isnull().all(): print(f"警告: 列 '{col}' 非数值型或全为空，已跳过。") continue # 计算该列的均值和标准差，忽略NaN col_data = df[col].dropna() if len(col_data) < 2: # 数据太少无法计算有意义的std print(f"警告: 列 '{col}' 有效数据少于2个，已跳过。") continue mean = col_data.mean() std = col_data.std(ddof=1) # 样本标准差 # 计算阈值 lower_bound = mean - 3 * std upper_bound = mean + 3 * std # 找出异常值的布尔掩码 (True表示异常值) # 注意：这里要处理原df[col]中的NaN，它们不应被标记为异常值 outlier_mask = df[col].notna() & ((df[col] < lower_bound) | (df[col] > upper_bound)) # 记录异常值索引 outlier_indices = df.index[outlier_mask].tolist() outliers_report[col] = outlier_indices # 将异常值替换为NaN（一种常见的处理方式） df.loc[outlier_mask, col] = np.nan # 可选：打印简要信息 if outlier_indices: print(f"列 '{col}': 发现 {len(outlier_indices)} 个异常值。阈值范围: [{lower_bound:.4f}, {upper_bound:.4f}]") if inplace: return None, outliers_report else: return df, outliers_report

关键技巧与注意事项：

列类型检查：使用pd.api.types.is_numeric_dtype确保只处理数值列，避免对字符串或日期列进行无意义的均值计算。
处理NaN值：现实数据常有缺失。.dropna()用于计算统计量，而.notna()用于在标记异常值时排除已有的NaN。我们将异常值替换为NaN，这是一种保守且常见的做法，保留了数据点的“位置”，后续可以选择填充、插值或直接删除整行。
inplace参数：提供这个选项是良好的编程实践。默认inplace=False可以避免意外修改原始数据，更安全。
报告输出：函数返回一个异常值报告字典，这对于后续的根因分析至关重要。你可以知道是哪些行、在哪些特征上出了问题。

3.3 工业级稳健方案：应对非正态与异常值污染

基础版3σ法则的致命弱点是：均值和标准差本身极易受异常值影响。这就像一个“先有鸡还是先有蛋”的问题——我们需要用稳健的统计量来识别异常值，但这些统计量却被异常值污染了。解决方案是使用稳健统计量，如中位数和四分位距。

方案一：基于中位数和MAD的稳健3σ法则中位数对异常值不敏感。我们可以用中位数代替均值，用中位数绝对偏差代替标准差。

def remove_outliers_robust_mad(data, threshold=3.5): """ 使用中位数和MAD的稳健方法识别异常值。 参数: data: 一维数据 threshold: 调整阈值，通常3.5对应正态分布下的3σ 返回: filtered_data, outlier_indices """ data_array = np.array(data) median = np.median(data_array) # 计算MAD: 所有数据点与中位数偏差的绝对值的中位数 mad = np.median(np.abs(data_array - median)) # 为了将MAD作为标准差的一致估计量，需要一个缩放常数（对于正态分布，约1.4826） # 使得：MAD_norm ≈ σ mad_norm = 1.4826 * mad if mad != 0 else 0 lower_bound = median - threshold * mad_norm upper_bound = median + threshold * mad_norm mask = (data_array > lower_bound) & (data_array < upper_bound) outlier_indices = np.where(~mask)[0].tolist() filtered_data = data_array[mask] return filtered_data, outlier_indices

为什么是1.4826？在标准正态分布下，数据与中位数偏差的绝对值的中位数（MAD）约等于0.6745σ。因此，σ ≈ MAD / 0.6745 ≈ 1.4826 * MAD。这个缩放使得mad_norm在正态数据下近似等于标准差。

方案二：IQR法（箱线图原理）这可能是目前最流行、最稳健的异常值检测方法之一，完全不依赖于均值和标准差，也不假设正态分布。

def remove_outliers_iqr(data, k=1.5): """ 使用IQR（四分位距）法识别异常值。这是箱线图的标准方法。 参数: data: 一维数据 k: 范围乘数，通常1.5（温和异常值）或3（极端异常值） 返回: filtered_data, outlier_indices """ data_array = np.array(data) q1 = np.percentile(data_array, 25) q3 = np.percentile(data_array, 75) iqr = q3 - q1 lower_bound = q1 - k * iqr upper_bound = q3 + k * iqr mask = (data_array > lower_bound) & (data_array < upper_bound) outlier_indices = np.where(~mask)[0].tolist() filtered_data = data_array[mask] return filtered_data, outlier_indices

IQR法的优势：它只依赖于数据的25%和75%分位数，这两个分位数对异常值非常不敏感。k=1.5这个经验值，在正态分布下大致对应着上下限约在μ±2.7σ的位置，能识别出约0.7%的温和异常值。

实操建议：

首选可视化：先画箱线图，直观看到IQR法识别的异常点。
组合使用：对于一份新数据，可以同时运行经典3σ、稳健MAD 3σ和IQR法，对比它们找出的异常值集合。如果三者找出的集合高度重合，说明这些点很可能是“真异常”；如果差异很大，就需要深入分析数据分布了。
领域知识最重要：任何统计方法给出的都是“疑似异常”列表。最终是否剔除、如何处置（删除、修正、保留），必须结合业务逻辑和领域知识来判断。例如，在金融欺诈检测中，一个极高的交易额可能是异常，也可能是关键的案件线索，绝不能简单删除。

4. 实战案例：电商平台用户交易金额分析

让我们通过一个模拟的实战案例，把上面的方法串起来。假设我们是一家电商平台的数据分析师，需要分析某一天用户的交易金额数据，用于后续的用户分层或风险识别。

4.1 数据模拟与探索

import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 设置随机种子保证可复现 np.random.seed(42) # 模拟核心正常用户交易金额（对数正态分布，更符合实际情况） n_normal = 980 # 对数正态分布：先生成正态分布的变量，再取指数 log_normal_data = np.random.normal(loc=5.0, scale=0.8, size=n_normal) core_amounts = np.exp(log_normal_data) # 金额大致在几十到几百之间 # 模拟少量高价值用户（也是正常的） n_high_value = 15 high_value_amounts = np.random.uniform(800, 1500, n_high_value) # 模拟异常值：可能是数据录入错误（如多输了小数点）或欺诈试探 n_errors = 5 error_amounts_low = np.array([0.01, 0.05, 0.1]) # 极低金额，可能是测试订单 error_amounts_high = np.array([99999.0, 150000.0]) # 极高金额，可能是输入错误 # 合并所有数据 all_amounts = np.concatenate([core_amounts, high_value_amounts, error_amounts_low, error_amounts_high]) np.random.shuffle(all_amounts) # 打乱顺序 # 创建DataFrame df_trans = pd.DataFrame({'user_id': range(len(all_amounts)), 'transaction_amount': all_amounts}) print(f"数据总行数: {len(df_trans)}") print(df_trans['transaction_amount'].describe())

首先，我们通过描述性统计和可视化来感知数据。

# 1. 描述性统计 print("交易金额描述性统计:") print(df_trans['transaction_amount'].describe()) print(f"\n偏度: {df_trans['transaction_amount'].skew():.4f}") print(f"峰度: {df_trans['transaction_amount'].kurtosis():.4f}") # 2. 可视化 fig, axes = plt.subplots(1, 3, figsize=(15, 4)) # 直方图 + 密度曲线 axes[0].hist(df_trans['transaction_amount'], bins=50, edgecolor='black', alpha=0.7, density=True) sns.kdeplot(df_trans['transaction_amount'], ax=axes[0], color='red', linewidth=2) axes[0].axvline(df_trans['transaction_amount'].mean(), color='green', linestyle='--', label=f'均值: {df_trans["transaction_amount"].mean():.2f}') axes[0].axvline(df_trans['transaction_amount'].median(), color='orange', linestyle='--', label=f'中位数: {df_trans["transaction_amount"].median():.2f}') axes[0].set_title('交易金额分布直方图') axes[0].set_xlabel('交易金额') axes[0].set_ylabel('密度') axes[0].legend() axes[0].grid(True, alpha=0.3) # 箱线图 axes[1].boxplot(df_trans['transaction_amount'], vert=True, patch_artist=True) axes[1].set_title('交易金额箱线图') axes[1].set_ylabel('交易金额') axes[1].grid(True, alpha=0.3) # Q-Q图 (检验正态性) from scipy import stats stats.probplot(df_trans['transaction_amount'], dist="norm", plot=axes[2]) axes[2].set_title('Q-Q图 (vs 正态分布)') axes[2].grid(True, alpha=0.3) plt.tight_layout() plt.show()

通过观察，你会发现数据严重右偏（偏度远大于0），直方图有一个长长的尾巴，均值远大于中位数。箱线图的上方会出现一些独立的点（异常值）。Q-Q图上的点严重偏离对角线，证实了数据不服从正态分布。这是一个典型的不适合直接用经典3σ法则的场景！

4.2 多方法对比与结果分析

现在，我们分别用经典3σ、稳健MAD 3σ和IQR法来检测异常值，并对比结果。

# 定义对比函数 def compare_outlier_methods(series, method_names, method_funcs): """ 对比不同异常值检测方法的结果。 """ results = {} for name, func in zip(method_names, method_funcs): filtered_data, outlier_idx = func(series.values) outlier_values = series.iloc[outlier_idx].tolist() if outlier_idx else [] results[name] = { 'indices': outlier_idx, 'values': outlier_values, 'count': len(outlier_idx), 'filtered_data': filtered_data } print(f"{name}: 检出 {len(outlier_idx)} 个异常值。") if outlier_values: print(f" 异常值示例: {outlier_values[:5]}") # 打印前5个 return results # 准备方法 from functools import partial methods = [ ('3σ Classic', partial(remove_outliers_3sigma_basic)), ('3σ Robust (MAD)', partial(remove_outliers_robust_mad, threshold=3.5)), ('IQR (k=1.5)', partial(remove_outliers_iqr, k=1.5)), ('IQR (k=3)', partial(remove_outliers_iqr, k=3)), # 更宽松的IQR ] method_names = [m[0] for m in methods] method_funcs = [m[1] for m in methods] # 执行对比 comparison_results = compare_outlier_methods(df_trans['transaction_amount'], method_names, method_funcs)

预期结果与分析：

3σ Classic：可能会检出最多的异常值，甚至包括一部分真实的高价值用户。因为极高的异常值（如99999）把均值和标准差都拉得非常大，导致上限极高，但极低异常值（0.01）仍能被检出。同时，右偏分布导致均值右侧数据本就稀疏，经典3σ的对称区间会误伤右侧正常高值。
3σ Robust (MAD)：表现会好很多。中位数不受极端值影响，MAD也对异常值稳健。它能稳定地检出我们模拟的极低和极高异常值，同时大概率能保留真实的高价值用户。
IQR (k=1.5)：这是箱线图的默认标准。它会将高于Q3 + 1.5*IQR和低于Q1 - 1.5*IQR的点视为异常。在我们的右偏数据中，它能有效检出极高的异常值，但对于极低异常值（如果Q1本身很小）可能不够敏感。检出数量可能介于前两者之间。
IQR (k=3)：更宽松的标准，用于识别“极端异常值”。它可能只检出那个最离谱的99999和150000。

通过这个对比，你可以清晰地看到：对于非正态的右偏数据，经典3σ法则基本失效，而稳健方法（MAD或IQR）才是更可靠的选择。

4.3 决策与处理流程

基于检测结果，我们如何做决策？

确认异常值：将几种稳健方法（如MAD 3σ和IQR k=1.5）都检出的点，列为高置信度异常值。
业务复核：
- 极低金额（0.01, 0.05, 0.1）：查询这些订单。可能是测试订单、刷单行为或支付系统测试。需要与运营或风控部门确认处理方式（如标记为测试订单，不参与业务分析）。
- 极高金额（99999, 150000）：这很可能是数据录入错误（多输了小数点，实际应为999.99和1500.00）。需要联系数据来源部门或通过规则进行修正（如，金额超过某个阈值的订单，自动触发复核流程）。
- 被IQR法检出但未被MAD法检出的高值（如1200）：这可能是真实的高价值用户。绝不能直接删除！需要结合用户历史行为、用户等级等信息进行判断。如果该用户历史上就有大额消费记录，这很可能是正常交易。
执行处理：根据复核结果，在数据中做相应标记、修正或删除。通常建议先创建一个新的“数据清洗标记”列，而不是直接删除原始数据。

# 假设我们最终决定，基于MAD 3σ的结果进行标记 _, outlier_idx_mad = remove_outliers_robust_mad(df_trans['transaction_amount'].values, threshold=3.5) df_trans['is_outlier_mad'] = False df_trans.loc[outlier_idx_mad, 'is_outlier_mad'] = True df_trans['amount_cleaned'] = df_trans['transaction_amount'].where(~df_trans['is_outlier_mad'], other=np.nan) print(f"标记为异常的交易数量: {df_trans['is_outlier_mad'].sum()}") print("原始数据与清洗后数据统计对比:") print(df_trans[['transaction_amount', 'amount_cleaned']].describe())

5. 高级话题与避坑指南

5.1 多变量情境下的异常值检测

现实中的数据往往是多维的。一个用户在“交易金额”上正常，但在“购买频率”和“客单价”的组合上可能就显得异常。单变量检测会忽略这种多维关系。

马氏距离法是一种经典的多变量异常值检测方法。它考虑了特征之间的相关性。对于一个p维的数据点x，其到数据分布中心的马氏距离D²为：D² = (x - μ)^T * Σ^(-1) * (x - μ)其中μ是均值向量，Σ是协方差矩阵。这个距离服从卡方分布。我们可以将马氏距离大于某个卡方分布阈值（如，对应p=2，97.5%分位数）的点视为异常值。

from scipy.stats import chi2 def detect_outliers_mahalanobis(df, features, alpha=0.975): """ 使用马氏距离检测多变量异常值。 参数: df: DataFrame features: 特征列名列表 alpha: 卡方分布的置信度阈值 返回: outlier_mask: 布尔序列，True表示异常值 mahalanobis_d2: 马氏距离的平方 """ X = df[features].values # 计算均值向量和协方差矩阵的逆（使用伪逆提高数值稳定性） mean_vec = np.mean(X, axis=0) cov_mat = np.cov(X, rowvar=False) try: inv_cov_mat = np.linalg.inv(cov_mat) except np.linalg.LinAlgError: # 如果矩阵奇异，使用伪逆 inv_cov_mat = np.linalg.pinv(cov_mat) # 计算每个样本到中心的马氏距离平方 diff = X - mean_vec mahalanobis_d2 = np.sum(diff @ inv_cov_mat * diff, axis=1) # 计算卡方分布的阈值 threshold = chi2.ppf(alpha, df=len(features)) outlier_mask = mahalanobis_d2 > threshold return outlier_mask, mahalanobis_d2

注意：马氏距离法对异常值污染同样敏感，因为均值向量和协方差矩阵的计算会被异常值影响。可以使用最小协方差行列式等稳健方法先估计出“干净”数据的均值和协方差。

5.2 自动化流程与参数调优

在自动化数据流水线中，异常值处理需要谨慎设置参数，并记录所有决策。

参数网格：不要固定使用k=3或k=1.5。可以基于历史数据或业务理解，为不同字段设置不同的阈值。例如，对于“用户年龄”，范围可能设定为[10, 100]，直接用硬编码规则比统计方法更可靠。
流水线集成：将异常值检测模块化，集成到scikit-learn的Transformer中，方便嵌入到机器学习流水线。

from sklearn.base import BaseEstimator, TransformerMixin import pandas as pd class RobustSigmaOutlierRemover(BaseEstimator, TransformerMixin): def __init__(self, threshold=3.5, method='mad'): self.threshold = threshold self.method = method # 'mad' or 'iqr' self.lower_bounds_ = {} self.upper_bounds_ = {} def fit(self, X, y=None): # X 是DataFrame for col in X.columns: if pd.api.types.is_numeric_dtype(X[col]): data = X[col].dropna() if self.method == 'mad': median = np.median(data) mad = np.median(np.abs(data - median)) scale = 1.4826 if mad != 0 else 1 mad_norm = mad * scale self.lower_bounds_[col] = median - self.threshold * mad_norm self.upper_bounds_[col] = median + self.threshold * mad_norm elif self.method == 'iqr': q1 = np.percentile(data, 25) q3 = np.percentile(data, 75) iqr = q3 - q1 self.lower_bounds_[col] = q1 - self.threshold * iqr self.upper_bounds_[col] = q3 + self.threshold * iqr else: self.lower_bounds_[col] = -np.inf self.upper_bounds_[col] = np.inf return self def transform(self, X): X_transformed = X.copy() for col in X.columns: lb = self.lower_bounds_.get(col, -np.inf) ub = self.upper_bounds_.get(col, np.inf) # 将异常值替换为NaN outlier_mask = X[col].notna() & ((X[col] < lb) | (X[col] > ub)) X_transformed.loc[outlier_mask, col] = np.nan return X_transformed

5.3 常见陷阱与避坑指南

陷阱一：在循环中重复计算统计量。如果你需要按组（如按城市、按日期）处理异常值，不要在循环中对每个子集单独调用np.mean和np.std。使用Pandas GroupBy的transform方法进行向量化操作，效率天差地别。

# 错误做法 (慢) # for city in df['city'].unique(): # city_data = df[df['city'] == city] # mean = city_data['amount'].mean() ... # 正确做法 (快) def sigma_filter_series(s, n=3): mean = s.mean() std = s.std(ddof=1) return s.between(mean - n*std, mean + n*std) df['is_normal'] = df.groupby('city')['amount'].transform(sigma_filter_series)

陷阱二：忽视时间序列的局部特性。对于时间序列数据（如股票日收益率、每日销售额），全局的均值和标准差没有意义。异常应该相对于近期趋势来判断。需要使用滚动窗口计算局部统计量（如过去30天的均值和标准差），再应用3σ法则。
陷阱三：处理后的数据分布失真。剔除异常值后，数据的方差会变小，可能会让你后续的模型过于“乐观”。一种做法是不要直接删除，而是用缩尾处理：将超过99%分位数的值用99%分位数替代，低于1%分位数的值用1%分位数替代。这保留了数据的分布形态和极值信息，同时减弱了极端值的影响。

def winsorize_series(s, limits=(0.01, 0.99)): lower_bound = s.quantile(limits[0]) upper_bound = s.quantile(limits[1]) return s.clip(lower=lower_bound, upper=upper_bound)