1. 电商推荐系统概述
电商推荐系统是现代电商平台的核心竞争力之一。每天面对海量的用户行为数据和商品信息，如何从中提取有效特征并构建精准的推荐模型，直接关系到平台的转化率和用户留存。我在多个电商平台的实际项目中发现，数据清洗和特征工程环节往往决定了推荐系统80%的效果上限。
一个典型的电商推荐系统数据处理流程包括：原始日志收集→数据清洗→特征提取→特征工程→模型训练→线上推荐。其中前四个环节都属于数据预处理阶段，这部分工作看似基础，实则暗藏玄机。很多团队把大部分精力放在模型调优上，却忽视了数据质量这个更根本的问题。
2. 数据清洗实战要点
2.1 原始数据问题诊断
电商数据常见的问题包括：
- 用户行为日志中的异常时间戳（未来时间或过早历史时间）
- 商品类目信息缺失或错误
- 用户设备信息混乱（如频繁变化的设备ID）
- 爬虫或机器流量产生的虚假点击
- 促销活动导致的异常行为模式
我曾处理过一个案例：某平台凌晨3点的点击量异常高，经排查发现是爬虫程序定时抓取导致。这类数据如果不加处理直接用于训练，会导致模型学习到错误模式。
2.2 关键清洗策略
针对不同问题需要采用不同的清洗方法：
- 时间窗口过滤：
# 保留最近30天的有效行为数据 df = df[(df['timestamp'] > start_date) & (df['timestamp'] < end_date)]- 异常用户识别：
-- 识别异常活跃用户（日均行为>100次） SELECT user_id FROM user_behavior GROUP BY user_id HAVING COUNT(*)/DATEDIFF(MAX(date),MIN(date)) > 100- 商品信息补全：
# 使用商品ID关联补全类目信息 df = pd.merge( behavior_df, item_df[['item_id', 'category', 'price_tier']], on='item_id', how='left' )重要提示：清洗规则需要根据业务特点动态调整，建议保留原始数据备份，所有清洗操作都应该记录元数据以便追溯。
3. 特征工程深度解析
3.1 基础特征构建
电商推荐系统的特征通常分为三大类：
用户特征：
- 人口统计学属性（年龄、性别等）
- 行为统计特征（点击率、加购率等）
- 兴趣标签（基于历史行为的类目偏好）
商品特征：
- 基础属性（类目、品牌、价格段）
- 动态指标（近期销量、转化率）
- 内容特征（图像嵌入向量）
上下文特征：
- 时间特征（小时、星期、是否节假日）
- 设备特征（终端类型、网络环境）
- 场景特征（搜索场景/详情页/购物车推荐）
3.2 高阶特征工程技巧
- 时间序列特征提取：
# 计算用户最近7天各行为类型的次数 for action in ['click', 'cart', 'buy']: df[f'7d_{action}_cnt'] = df.groupby('user_id')[action].transform( lambda x: x.rolling('7D').sum() )- 交叉特征构建：
# 用户-类目交叉统计 user_cat_stats = df.groupby(['user_id','category'])['buy'].agg(['sum','count']) user_cat_stats['cat_buy_rate'] = user_cat_stats['sum']/user_cat_stats['count']- Embedding特征应用：
# 使用Word2Vec生成商品序列嵌入 from gensim.models import Word2Vec item_seqs = df.groupby('user_id')['item_id'].apply(list) model = Word2Vec(item_seqs, vector_size=32, window=5, min_count=5)4. 实战案例：用户购买倾向预测
4.1 特征设计方案
以预测用户7天内购买概率为例，我们需要构建以下特征组：
| 特征类型 | 具体特征 | 计算逻辑 |
|---|---|---|
| 用户统计 | 历史购买率 | 总购买次数/总行为次数 |
| 加购转化率 | 购买次数/加购次数 | |
| 时间特征 | 最近活跃度 | 最近3天行为次数 |
| 商品特征 | 价格敏感度 | 历史购买商品价格中位数 |
| 交叉特征 | 类目偏好度 | 对当前类目的历史点击占比 |
4.2 特征重要性分析
通过树模型可以分析各特征的重要性排序：
- 用户历史购买率（权重0.32）
- 当前类目历史点击占比（权重0.25）
- 最近3天活跃度（权重0.18）
- 商品价格与用户偏好匹配度（权重0.15）
- 时段特征（权重0.10）
这个分析结果可以帮助我们优化特征工程的方向。
5. 常见问题与解决方案
5.1 特征稀疏性问题
电商场景下常见的长尾分布会导致很多特征非常稀疏。解决方法包括：
- 对低频类别进行归并（如将购买次数<10的商品类目合并为"其他"）
- 采用哈希技巧降低特征维度
- 使用深度学习模型自动学习稀疏特征表示
5.2 特征时效性问题
用户兴趣会随时间变化，解决方案：
- 设置特征衰减权重（最近行为权重更高）
- 采用时间滑窗统计（如只统计最近30天行为）
- 实时更新用户特征（通过流式计算框架）
5.3 线上线下一致性
特征工程在训练和线上服务时可能出现不一致：
- 训练时：使用全量历史数据计算统计特征
- 线上时：只能使用当前时刻之前的数据
解决方法：
- 构建特征流水线，确保计算逻辑一致
- 使用特征存储服务（如Redis）缓存中间结果
- 记录特征版本便于问题排查
6. 工程化实践建议
特征监控体系：
- 统计特征分布变化（如每周计算各特征的均值/方差）
- 监控特征缺失率
- 记录特征覆盖度（有多少样本能获得该特征）
特征复用策略：
- 构建特征集市（Feature Store）
- 标准化特征命名规范
- 建立特征血缘关系图
性能优化技巧：
- 对高频访问特征进行预计算
- 使用列式存储格式（如Parquet）
- 对类别特征进行编码缓存
在实际项目中，我发现建立完善的特征文档特别重要。应该记录每个特征的含义、计算逻辑、数据来源、更新频率等信息，这对团队协作和后续迭代都非常关键。
