AI 辅助 AB 实验分析：自动检测辛普森悖论和季节效应

AI 辅助 AB 实验分析：自动检测辛普森悖论和季节效应

一、你被 AB 实验结果骗过吗

先说一个真实案例。去年我们做了一次首页改版 AB 实验，整体指标涨了 2.3%，P 值 0.01 显著。产品经理兴高采烈地全量发布了，结果上线三天后数据跌回原点。

复盘发现两个致命问题：

1. 辛普森悖论：虽然整体涨了，但按用户分层看，新用户跌了 6%，老用户涨了 3%，总体被老用户的基数拉高了。全量发布后新用户首日体验变差，伤到了增长基本盘。
2. 季节效应：实验期间正好赶上双十一预热，自然流量本来就高，结果把季节红利当成策略收益了。

这两个问题在手工 AB 分析里特别容易漏掉——因为分析师通常只看总体的核心指标和 P 值，很少有人会逐层 drill-down 或者做时间序列拆解。

flowchart TD A[AB实验数据] --> B[AI 自动分析引擎] B --> C[辛普森悖论检测] C --> C1[按用户分层拆解指标] C1 --> C2{各分层方向一致?} C2 -->|不一致| C3["标记辛普森悖论<br/>输出各层详细对比"] C2 -->|一致| C4["交叉验证通过"] B --> D[季节效应检测] D --> D1[对比同期历史基线] D1 --> D2[分解趋势/周期/残差] D2 --> D3{季节成分显著?} D3 -->|是| D4["剔除季节效应<br/>重新评估真实效果"] D3 -->|否| D5["确认非季节驱动"] B --> E[多指标联合检验] E --> E1[核心指标 + 护栏指标 + 反指标] E1 --> E2[自动多重检验校正] C4 --> F[AI 生成综合分析报告] D5 --> F D4 --> F E2 --> F style C3 fill:#E74C3C,color:#fff style D4 fill:#F39C12,color:#000 style F fill:#27AE60,color:#fff

二、辛普森悖论的自动检测

辛普森悖论的数学本质是总体趋势和分组趋势方向不一致。举个例子更直观：

你看，新用户其实是跌的。但因为活跃用户基数大，把整体数据带偏了。手工分析如果不做分层拆解，很容易得出"改版有效，全量上线"的错误结论。

AI 怎么做自动检测？

# simpson_detector.py — 辛普森悖论自动检测 import pandas as pd import numpy as np from scipy import stats from typing import List, Dict, Tuple class SimpsonParadoxDetector: """自动检测 AB 实验中的辛普森悖论""" def __init__(self, significance_level: float = 0.05): self.alpha = significance_level def detect(self, df: pd.DataFrame, group_col: str = 'experiment_group', metric_col: str = 'ctr', segment_cols: List[str] = None) -> Dict: """ 检测辛普森悖论 参数: - df: 实验数据，每行一个用户 - group_col: 实验分组列（'control' / 'treatment'） - metric_col: 核心指标列 - segment_cols: 用于分层的列，如 ['user_type', 'region'] 返回: 检测报告，包含悖论标记和各层详情 """ if segment_cols is None: segment_cols = ['user_type', 'region', 'device_type'] # 默认三个常用分层 # 1. 计算总体效果 control = df[df[group_col] == 'control'][metric_col] treatment = df[df[group_col] == 'treatment'][metric_col] overall_lift = (treatment.mean() - control.mean()) / control.mean() # 2. 按各维度逐层计算效果 segment_results = {} paradox_flags = [] for seg_col in segment_cols: for seg_value in df[seg_col].unique(): seg_control = df[ (df[group_col] == 'control') & (df[seg_col] == seg_value) ][metric_col] seg_treatment = df[ (df[group_col] == 'treatment') & (df[seg_col] == seg_value) ][metric_col] # 样本量太小跳过，避免统计不可靠 if len(seg_control) < 30 or len(seg_treatment) < 30: continue seg_lift = (seg_treatment.mean() - seg_control.mean()) / seg_control.mean() # T 检验判断该层是否显著 t_stat, p_value = stats.ttest_ind(seg_treatment, seg_control) segment_results[f"{seg_col}={seg_value}"] = { "control_mean": seg_control.mean(), "treatment_mean": seg_treatment.mean(), "lift": seg_lift, "p_value": p_value, "significant": p_value < self.alpha, "sample_size": len(seg_control) + len(seg_treatment), } # 3. 辛普森悖论检测核心逻辑： # 如果总体提升方向是正，但某个显著的分层的提升方向是负 # 或者反过来，那就是辛普森悖论 if p_value < self.alpha and overall_lift * seg_lift < 0: # overall_lift * seg_lift < 0 说明两者方向相反 paradox_flags.append({ "segment": f"{seg_col}={seg_value}", "overall_lift": round(overall_lift * 100, 2), "segment_lift": round(seg_lift * 100, 2), "description": ( f"警告：总体提升 {overall_lift*100:.1f}%，" f"但 {seg_col}={seg_value} 层提升 {seg_lift*100:.1f}%" f"（方向相反，P值={p_value:.4f}）" ) }) return { "overall_lift": round(overall_lift * 100, 2), "has_paradox": len(paradox_flags) > 0, "paradox_details": paradox_flags, "segment_breakdown": segment_results, "recommendation": ( "建议分层全量发布" if not paradox_flags else f"发现{len(paradox_flags)}个辛普森悖论，" "建议按分层差异化发布或调整策略后重新实验" ) }

这个检测器的核心思想是：逐层拆解 + 方向检查。只要某一分层的显著效果方向和总体不一致，就标记为潜在悖论。实际使用时建议至少检查三个维度（用户类型、设备、地区），单维度检测容易漏掉交叉分层的矛盾信号。

三、季节效应的自动剥离

季节效应是最容易被忽略的 confounding factor。你做了一个优化，实验期间正好是月初（发工资后消费高峰），你把自然波动当成了策略收益。

传统检测方法是画时间序列图肉眼判断。AI 可以做得更科学——时间序列分解（STL Decomposition）：

# seasonality_detector.py — 季节效应检测与剥离 import pandas as pd import numpy as np from statsmodels.tsa.seasonal import STL from typing import Dict class SeasonalityDetector: """自动检测并剥离季节效应""" def detect_and_adjust(self, experiment_data: pd.DataFrame, baseline_data: pd.DataFrame, date_col: str = 'date', metric_col: str = 'ctr') -> Dict: """ 检测季节效应并调整实验效果评估 参数: - experiment_data: 实验期间的数据（按天汇总） - baseline_data: 历史基线数据（过去6-12个月） - date_col: 日期列 - metric_col: 指标列 """ # 1. 用历史基线数据做 STL 分解 baseline_series = baseline_data.set_index(date_col)[metric_col] # STL 分解：把时间序列拆成 趋势(Trend) + 季节(Seasonal) + 残差(Residual) # period=7 表示以周为周期（工作日/周末模式） # 为什么选 period=7 而不是 30？因为周周期比月周期更稳定 stl = STL(baseline_series, period=7) result = stl.fit() # 提取季节成分 seasonal_component = result.seasonal # 周一到周日的固有波动模式 # 2. 检查实验期间的季节强度 # 用实验数据的方差 / 去季节后数据的方差，看季节成分贡献了多少波动 total_var = np.var(experiment_data[metric_col]) detrended = experiment_data[metric_col] - result.trend[-len(experiment_data):] seasonal_var = np.var(detrended) seasonality_strength = seasonal_var / total_var if total_var > 0 else 0 # 3. 对实验数据去季节化 # 从实验数据中减去对应日期的季节成分 experiment_data['date_dow'] = pd.to_datetime( experiment_data[date_col] ).dt.dayofweek # 为每个工作日构建季节调整因子 # 基准：过去一年的每周同一天的平均偏差 adjustment_factors = {} for dow in range(7): # 取所有同一星期几的历史数据中位数作为季节因子 dow_data = baseline_data[ pd.to_datetime(baseline_data[date_col]).dt.dayofweek == dow ] adjustment_factors[dow] = dow_data[metric_col].median() # 用整体中位数归一化调整因子 overall_median = baseline_data[metric_col].median() for dow in adjustment_factors: # 季节因子 > 1 表示该星期几天然偏高 # 季节因子 < 1 表示该星期几天然偏低 adjustment_factors[dow] /= overall_median # 4. 调整实验数据 experiment_data['adjusted_metric'] = experiment_data.apply( lambda row: row[metric_col] / adjustment_factors.get( pd.to_datetime(row[date_col]).dayofweek, 1 ), axis=1 ) # 5. 重新评估实验效果 raw_effect = experiment_data[metric_col].mean() adjusted_effect = experiment_data['adjusted_metric'].mean() # 如果调整前后差异 > 10%，说明季节效应显著 adjustment_impact = abs(raw_effect - adjusted_effect) / raw_effect return { "seasonality_strength": round(seasonality_strength * 100, 1), "raw_effect": round(raw_effect, 4), "adjusted_effect": round(adjusted_effect, 4), "adjustment_impact": round(adjustment_impact * 100, 1), "adjustment_factors": { str(dow): round(factor, 3) for dow, factor in adjustment_factors.items() }, "warning": ( f"季节效应显著（贡献{seasonality_strength*100:.1f}%波动，" f"调整后效果变化{adjustment_impact*100:.1f}%），" "建议延长实验周期覆盖完整季节波动" ) if seasonality_strength > 0.3 else "季节效应不显著" }

四、多指标联合检验：别只看一个指标

做 AB 实验只盯着一个核心指标就像体检只量身高——你漏掉了太多重要信息。

AI 的分层检测加上这些辅助维度，能帮你看出"指标 A 涨了，但指标 B 跌了"或者"大屏看涨了，小屏看跌了"这些隐藏信息，避免只看一个指标被误导。

我们的 AI 分析引擎会同时对这三类指标做检验：

# multi_metric.py — 多指标联合检验 & 多重检验校正 def multi_metric_check(self, df: pd.DataFrame, metrics: Dict[str, List[str]]) -> Dict: """多指标联合检验，自动 Bonferroni 校正""" results = {} # 收集所有指标的 p 值，用于多重检验校正 all_pvalues = [] metric_pvalue_map = {} for category, metric_list in metrics.items(): for metric in metric_list: control_vals = df[df['group'] == 'control'][metric] treatment_vals = df[df['group'] == 'treatment'][metric] t_stat, p_value = stats.ttest_ind(treatment_vals, control_vals) all_pvalues.append(p_value) metric_pvalue_map[metric] = p_value lift = ((treatment_vals.mean() - control_vals.mean()) / control_vals.mean()) results[metric] = { "category": category, "control_mean": round(control_vals.mean(), 4), "treatment_mean": round(treatment_vals.mean(), 4), "lift": round(lift * 100, 2), "raw_p_value": round(p_value, 6), } # Bonferroni 校正：当同时检验多个指标时，显著性阈值要收紧 # 为什么？如果检验20个指标，每个用p<0.05，纯随机有64%概率至少一个"显著" n_tests = len(all_pvalues) adjusted_alpha = self.alpha / n_tests # 0.05 / 20 = 0.0025 for metric, result in results.items(): raw_p = metric_pvalue_map[metric] result["adjusted_significant"] = raw_p < adjusted_alpha result["bonferroni_threshold"] = round(adjusted_alpha, 6) return results

五、总结

AI 辅助 AB 实验分析不是在替代分析师，而是在给分析师配了一个不会累的检查员——自动逐层拆解数据、自动检测矛盾信号、自动剥离外部干扰。

三个自动检测的优先级：

1. 辛普森悖论— 优先搞，因为方向性错误最致命
2. 季节效应— 如果实验超过一周，必须查
3. 多指标联合检验— 每次都跑，相当于常规血检

用上这套工具后，我们组再也没有出现过"实验结果好看但一上线就崩"的惨案了。因为 AI 会在你拍板全量之前，把隐藏的坑都挖出来摆在桌面上。

我是朱大喜，一个被 AB 实验结果骗过三次才学乖的数据分析师。你遇到过最离谱的 AB 实验翻车是什么？评论区我来帮你诊断~

最后提醒一点：这个方案在上生产之前建议先用灰度流量验证一周，确认资源消耗在预期范围内再全量推送。我们在实际项目中因为跳过了这步，有一次把缓存集群打挂了，教训深刻。