DBSCAN 聚类实战：信用卡欺诈检测中识别 5 个异常用户（附 Python 代码）

DBSCAN 聚类实战：信用卡欺诈检测中识别 5 个异常用户（附 Python 代码）

在金融风控领域，信用卡欺诈检测一直是数据科学家面临的重要挑战。传统的规则引擎和简单阈值方法往往难以应对日益复杂的欺诈手段，而基于密度的DBSCAN算法因其出色的噪声识别能力，成为处理这类问题的利器。本文将带您从零开始，通过一个真实的信用卡交易数据集，完整实现基于DBSCAN的异常检测流程。

1. 环境准备与数据探索

首先确保您的Python环境已安装以下核心库：

pip install pandas scikit-learn matplotlib seaborn

我们使用一个模拟的信用卡交易数据集，包含105位用户的消费行为特征。每个用户记录了两个关键维度：单笔交易平均金额和交易频率。数据中已知存在5个异常用户。

import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 加载数据集 data = pd.read_csv('credit_card_behavior.csv') print(f"数据集维度: {data.shape}") print(data.head()) # 可视化数据分布 plt.figure(figsize=(10,6)) sns.scatterplot(x='avg_amount', y='frequency', data=data) plt.title('信用卡用户行为分布') plt.xlabel('单笔交易平均金额') plt.ylabel('交易频率') plt.grid(True) plt.show()

执行上述代码后，您将看到类似下图的分布情况：

注意：在实际项目中，建议先进行数据标准化（如Z-score标准化），因为DBSCAN对特征的量纲敏感。本文为简化流程，直接使用原始数据。

2. DBSCAN核心参数解析

DBSCAN有两个关键参数需要特别关注：

1. eps (ε)：定义邻域半径

   • 值过小：会将正常点误判为噪声
   • 值过大：会合并本应分开的簇

2. min_samples：核心点所需的最小邻域点数

   • 值过小：会产生过多小簇
   • 值过大：会将稀疏区域误判为噪声

通过K-距离图（K-Distance Graph）可以辅助确定eps值：

from sklearn.neighbors import NearestNeighbors neigh = NearestNeighbors(n_neighbors=5) nbrs = neigh.fit(data[['avg_amount', 'frequency']]) distances, indices = nbrs.kneighbors(data[['avg_amount', 'frequency']]) # 绘制K-距离图 distances = np.sort(distances[:,4], axis=0) plt.figure(figsize=(10,6)) plt.plot(distances) plt.xlabel('Points sorted by distance') plt.ylabel('5th nearest neighbor distance') plt.title('K-Distance Graph for eps estimation') plt.grid(True) plt.show()

观察图中"拐点"位置，通常选择距离开始快速上升的点作为eps值。在本案例中，我们初步设定eps=3.5，min_samples=5。

3. 实施DBSCAN聚类

使用scikit-learn实现DBSCAN聚类：

from sklearn.cluster import DBSCAN # 初始化并训练模型 dbscan = DBSCAN(eps=3.5, min_samples=5) clusters = dbscan.fit_predict(data[['avg_amount', 'frequency']]) # 将聚类结果添加到原始数据 data['cluster'] = clusters print("各簇统计信息:") print(data['cluster'].value_counts()) # 可视化聚类结果 plt.figure(figsize=(12,7)) sns.scatterplot(x='avg_amount', y='frequency', hue='cluster', palette='viridis', data=data) plt.title('DBSCAN聚类结果') plt.xlabel('单笔交易平均金额') plt.ylabel('交易频率') plt.grid(True) plt.show()

典型输出可能显示：

• 簇0：95个用户（主要群体）
• 簇1：3个用户（高频低额）
• 簇2：2个用户（低频高额）
• 噪声点（-1）：5个用户

4. 异常检测与结果验证

在DBSCAN中，被标记为-1的点即为噪声点，也就是我们的潜在异常用户：

# 提取异常用户 anomalies = data[data['cluster'] == -1] print("检测到的异常用户:") print(anomalies) # 验证异常用户特征 normal_mean = data[data['cluster'] != -1][['avg_amount', 'frequency']].mean() anomaly_mean = anomalies[['avg_amount', 'frequency']].mean() comparison = pd.DataFrame({ '正常用户均值': normal_mean, '异常用户均值': anomaly_mean, '差异倍数': anomaly_mean/normal_mean }) print("\n特征对比:") print(comparison)

对比结果可能显示：

这种"高金额低频次"的行为模式正是信用卡欺诈的典型特征。欺诈者往往会在短时间内进行大额消费，然后立即停止使用该卡。

5. 参数优化与模型对比

5.1 DBSCAN参数网格搜索

通过系统化的参数组合测试，寻找最优参数：

from sklearn.metrics import silhouette_score eps_range = np.linspace(2.0, 5.0, 10) min_samples_range = range(3, 10) results = [] for eps in eps_range: for min_samples in min_samples_range: dbscan = DBSCAN(eps=eps, min_samples=min_samples) labels = dbscan.fit_predict(data[['avg_amount', 'frequency']]) # 仅在有多个簇时计算轮廓系数 if len(set(labels)) > 1: score = silhouette_score(data[['avg_amount', 'frequency']], labels) n_clusters = len(set(labels)) - (1 if -1 in labels else 0) n_noise = list(labels).count(-1) else: score = -1 n_clusters = 0 n_noise = len(labels) results.append({ 'eps': eps, 'min_samples': min_samples, 'silhouette': score, 'n_clusters': n_clusters, 'n_noise': n_noise }) results_df = pd.DataFrame(results) best_params = results_df.loc[results_df['silhouette'].idxmax()] print("\n最优参数组合:") print(best_params)

5.2 与K-Means的性能对比

from sklearn.cluster import KMeans # K-Means聚类 kmeans = KMeans(n_clusters=3, random_state=42) data['kmeans_cluster'] = kmeans.fit_predict(data[['avg_amount', 'frequency']]) # 对比可视化 fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(18,6)) sns.scatterplot(x='avg_amount', y='frequency', hue='cluster', palette='viridis', data=data, ax=ax1) ax1.set_title('DBSCAN聚类结果') sns.scatterplot(x='avg_amount', y='frequency', hue='kmeans_cluster', palette='viridis', data=data, ax=ax2) ax2.set_title('K-Means聚类结果') plt.show() # 异常检测效果对比 kmeans_anomalies = data.groupby('kmeans_cluster').size().sort_values().head(1) print("\nK-Means检测到的潜在异常簇:", kmeans_anomalies.index[0], "包含", kmeans_anomalies.values[0], "个用户")

DBSCAN的优势在于：

• 自动识别异常点（无需预先指定簇数量）
• 能发现非球形簇
• 对噪声鲁棒性强

6. 生产环境部署建议

在实际金融系统中，DBSCAN模型部署需要考虑以下关键点：

1. 实时性处理：

   # 增量式DBSCAN实现示例 from sklearn.base import BaseEstimator, ClusterMixin class IncrementalDBSCAN(BaseEstimator, ClusterMixin): def __init__(self, eps=0.5, min_samples=5): self.eps = eps self.min_samples = min_samples self.core_samples = [] self.labels_ = [] def partial_fit(self, X): # 实现增量聚类逻辑 pass

2. 特征工程扩展：

   • 添加时间维度特征（如夜间交易比例）
   • 引入地理位置特征（如跨国交易标记）
   • 计算行为偏离度指标

3. 系统集成架构：

   用户交易 → 特征计算引擎 → 实时风险评分 ↘ 批处理DBSCAN模型 → 风险预警系统

提示：在生产环境中，建议将DBSCAN与其他检测方法（如Isolation Forest、One-Class SVM）结合使用，构建多层次的防御体系。