面向运营、财务、人事及中小企业日常办公场景，轻松应对客户名单、订单数据、业务台账和统计报表中的“脏数据”问题。所有数据均在本地处理，无需上传，安全可控。
第一章 概述
困扰：
- 重复记录：同一客户出现在名单里多次，导致统计结果虚高。
- 空值“陷阱”：关键字段（如手机号、金额）为空，分析时莫名其妙出错。
- 格式“万花筒”：日期有的写
2026/07/13，有的写13-Jul-26；手机号有的带+86，有的被 Excel 显示为科学计数法1.38E+10。 - 列结构不统一：从不同部门收集的台账，列名不同、顺序不同，合并时一团乱麻。
- 批量文件处理效率低：几十个 CSV 文件要逐一打开、清理、另存，耗时费力且容易遗漏。
这些“脏数据”轻则让报表失真，重则导致业务决策失误。而传统的做法——手工筛选、公式修复、逐列调整——不仅慢，而且难以复用和审计。
解决思路：用一套本地化的工具，将上述繁琐操作转化为“导入 → 配置规则 → 一键清洗 → 预览确认 → 导出”的标准流程，让数据整理变得透明、可追溯、可重复。
第二章 功能全景：
系统提供覆盖数据预处理全链路的八大能力，可以根据实际需求灵活组合使用。
功能详解：
| 功能模块 | 具体能力 | 典型场景 |
|---|---|---|
| 多文件导入 | 支持.xlsx、.xls、.csv，自动识别编码（解决中文乱码） | 合并各地区销售报表 |
| 工作表选择 | 一个 Excel 中多张 Sheet 可分别处理 | 年度台账按月份分 Sheet |
| 原始数据概览 | 显示前 5 行、总行数列数、每列数据类型和空值数量 | 快速了解数据全貌 |
| 重复数据清理 | 基于指定列或全部列去重，保留首次或最后一次出现 | 客户名单去重 |
| 空值填充 | 支持用固定值、均值、中位数、前向/后向填充 | 金额缺失时用平均值补全 |
| 文本格式整理 | 去除首尾空格、统一英文大小写、替换不可见字符 | 地址/姓名规范化 |
| 手机号规范化 | 自动恢复科学计数法显示（如1.38E+10→13800000000），统一去掉+86或保留 | 会员手机号清洗 |
| 日期统一 | 自动识别 20+ 种日期书写格式，统一为YYYY-MM-DD | 订单日期标准化 |
| 列筛选/重命名/排序 | 按需保留列、修改列名、按某列升序/降序 | 只保留必要字段 |
| 条件筛选 | 支持大于、小于、包含、正则表达式等条件过滤行 | 筛选出金额 > 1000 的订单 |
| 清洗报告 | 展示处理前后行数对比、各类异常明细（如无法解析的日期）、完整清洗日志 | 审计与问题追溯 |
| 多格式导出 | 导出为 Excel、CSV、TXT、JSON，或多个文件打包成 ZIP | 对接不同下游系统 |
| 恢复原始数据 | 一键回退到刚导入时的状态，重新配置规则 | 试错与调优 |
第三章 技术实现：
3.1 技术栈选型
选择了Python 3作为基础语言，搭配以下成熟库：
- Streamlit：快速构建交互式 Web 界面，无需前端知识，让运营、财务同事直接通过浏览器操作。
- pandas：数据清洗的核心引擎，提供高性能的 DataFrame 操作，轻松处理百万级行数据。
- openpyxl：对 Excel 文件的读写增强，支持
.xlsx格式的完整特性。 - pytest + Selenium/Playwright：用于单元测试和端到端流程验证，保证每次修改不引入新 bug。
所有依赖均打包在本地环境中，无需联网，数据全程留在本地电脑上。
3.2 模块化架构
将系统拆分为五个独立模块，每个模块职责单一，便于维护和扩展：
各模块核心职责：
- 文件读取模块：针对 CSV 自动探测
utf-8、gbk、gb2312等编码；对 Excel 中的手机号列，强制以文本方式读取，避免科学计数法；支持多 Sheet 列表展示。 - 数据清洗模块：所有清洗操作均基于 pandas 的向量化方法，性能高效。例如：
- 去重：
df.drop_duplicates(subset=[...], keep='first') - 日期统一：
pd.to_datetime(df['日期'], errors='coerce')，无法解析的标记为NaT并记录异常行。 - 手机号：先通过正则提取数字，若因科学计数法读入为浮点数，则用
astype(str).str.replace('.0', '')还原。
- 去重：
- 报告生成模块：记录每一步操作前后的行数、空值数量变化、异常行索引及原因，以表格和文本形式呈现。
- 导出模块：利用 pandas 的
to_excel、to_csv、to_json，以及zipfile打包多个文件。
3.3 关键容错机制
针对常见“脏数据”陷阱，内置了多重保护：
| 问题场景 | 处理策略 |
|---|---|
| CSV 中文乱码 | 读取时依次尝试常见编码，直至成功；若均失败，提示用户手动选择编码 |
| 手机号科学计数法 | 读取 Excel 时指定该列为文本格式；若已读为浮点数，则转换时保留完整数字（如1.38E+10→13800000000） |
异常日期（如2026-13-01） | pd.to_datetime返回NaT，不崩溃；在报告中列出这些行，方便人工核查 |
| 多文件字段不一致 | 提供“按列名对齐”或“按位置合并”两种策略，缺失列自动填充空值 |
| 内存溢出 | 对大文件（>50万行）采用分块读取（chunksize）并提示用户 |
第四章 完整操作流程：从导入到导出一气呵成
下图展示了用户的一次典型使用路径：
每一步
- 导入阶段：系统将文件读入内存中的
pandas DataFrame，同时保留一份原始副本用于恢复。界面会显示每列的数据类型、非空计数、唯一值数量，帮助您判断是否需要清洗。 - 配置阶段：您在界面上勾选或填写规则（如“按‘客户ID’去重”、“手机号列统一为纯数字”）。系统不会立即执行，而是将规则暂存为参数列表。
- 处理阶段：点击“开始清洗”后，系统按顺序执行规则。每一步都会更新
DataFrame并记录日志。所有操作都是可逆的——因为原始数据始终保留。 - 预览与报告：处理完成后，界面并排显示“清洗前/后”各 10 行数据，并生成一份清洗报告，包含：
- 原行数 vs 现行数
- 每列空值数量变化
- 异常行详情（如无法解析的日期所在行号及原值）
- 每个规则影响的记录数
- 导出与恢复：您可以选择导出格式，系统会根据选择生成文件。如果对结果不满意，点击“恢复原始数据”，所有清洗规则被清空，数据回到导入时的状态，您可以重新配置。
第五章 项目交付与质量保障
本项目不仅交付可运行的工具，还包含完整的配套产出：
- 需求拆解文档：将上述功能拆分，有明确的验收标准。
- 产品界面设计稿：基于 Streamlit 组件设计的线框图，确保交互流畅、按钮位置符合直觉。
- 核心功能源码：模块化 Python 代码，每个模块均有详细的 docstring 和类型注解。
- 测试验收报告：
- 单元测试（pytest）覆盖了所有清洗函数的边界条件（如全空列、全重复数据、混合日期格式）。
- 端到端测试（浏览器自动化）模拟了完整操作流程，确保界面与逻辑正确联动。
- 使用文档：包含图文并茂的快速上手指南、常见问题解答（FAQ）以及故障排查手册。
特别针对大数据量（10 万行以上）和多种异常混合的场景进行压力测试，确保系统稳定不崩溃，并在界面中给出进度提示。
第六章 总结：让数据整理回归轻松
通过这套工具，可以将数小时的手工整理压缩为5 分钟内的点击操作，同时获得可审计的清洗报告，让每一步变化都有迹可循。
无论是每月一度的财务报表合并，还是市场部的客户名单去重，亦或是人事部门的员工信息规范化，它都能成为您可靠的“数据小助手”。
核心理念：复杂的数据清洗逻辑封装在底层，简单的配置界面呈现在前端——您不需要懂编程，只需要告诉系统“想怎么做”，剩下的交给它。
