ARTICLE · 1354684

我用AI自动清洗了10个Excel表格的脏数据,3小时的活10分钟搞定

发布时间：2026-11-14 12:06:23 最近访问：2026-11-14 12:06:23

上周五下午，财务部的同事找我帮忙。

"这10个Excel表格的数据乱七八糟的，能帮我整理一下吗？明天早上开会要用。"

我打开一看，头都大了：

手机号有11位的、有13位的、还有带横杠的
日期格式五花八门：2024/01/01、2024-01-01、2024年1月1日、01/01/2024
姓名列里混进了"未知"、"暂无"、"N/A"
金额列有带"元"字的、有带逗号的、还有负数没负号的
同一个客户名有3种写法："张三"、"张三"、"Zhang San"

按照传统方法，这种活至少要3小时：手动筛选、替换、格式化、核对。

但我用了AI，10分钟就搞定了。

今天这篇文章，我会把整个流程完整拆解给你看。

💡 建议先收藏，下次遇到数据清洗需求直接翻出来用。

第一步：明确清洗需求（2分钟）

做数据清洗最怕的是"边做边想"，做到一半发现漏了什么，又要返工。

我的习惯是先把需求列清楚，然后一次性告诉AI。

我打开Claude，输入了这段需求：

我有10个Excel表格需要清洗，每个表格包含以下字段：
- 客户姓名
- 手机号
- 注册日期
- 消费金额
- 备注

目前数据存在以下问题：
1. 手机号格式不统一（有带横杠的、有空格的、有位数不对的）
2. 日期格式不统一（有斜杠的、有横杠的、有中文的、有英文的）
3. 姓名列有无效值（"未知"、"暂无"、"N/A"、空值）
4. 金额列有文字混入（带"元"字、带逗号、负数没负号）
5. 同一客户名有多种写法（有空格、有拼音、有繁体）

请帮我写一个Python脚本，自动完成以下清洗：
1. 手机号：只保留数字，校验11位，不符合的标记为"无效"
2. 日期：统一转换为"YYYY-MM-DD"格式
3. 姓名：去除空格，把"未知"、"暂无"、"N/A"统一替换为"待确认"
4. 金额：去除文字和符号，保留数字（包括负数）
5. 姓名去重：把"张三"、"张三"、"Zhang San"统一为"张三"

要求：
- 读取指定文件夹下所有Excel文件
- 清洗后生成新文件，原文件不覆盖
- 生成清洗报告：每个文件处理了多少行，修改了多少处

Claude在15秒内给了我一个完整的Python脚本。

💡 关键点： 需求描述越具体，AI生成的代码越准确。不要说"帮我清洗数据"，要说清楚"哪些字段有什么格式问题，期望转换成什么格式"。

第二步：运行脚本，批量处理（3分钟）

拿到代码后，我做了两件事：

1. 检查代码逻辑

快速扫了一遍代码，确认：

用正则表达式处理手机号（只保留数字）
用pandas的to_datetime处理日期格式转换
用replace处理无效值替换
用字符串处理去除金额中的文字

逻辑没问题，可以运行。

2. 准备测试数据

我先拿1个文件测试，确认效果后再批量处理10个文件。

这一步很重要。AI生成的代码偶尔会有小bug，先用小样本测试可以避免大规模返工。

测试通过后，我把10个文件放到同一个文件夹，运行脚本。

结果：

处理完成！
文件1.xlsx：处理了1523行，修改了287处
文件2.xlsx：处理了892行，修改了156处
...
文件10.xlsx：处理了2104行，修改了412处

总计：处理了15623行，修改了2847处
生成清洗报告：clean_report.txt

3分钟的活，AI帮我自动完成了15000多行数据的清洗。

第三步：人工抽查，确保准确（5分钟）

AI生成的代码虽然能自动处理，但不代表100%正确。

我的习惯是：抽查5%-10%的数据，确认清洗结果符合预期。

我打开清洗后的文件，随机检查了100行：

检查项	结果
手机号是否都是11位数字？	✅ 通过
日期是否都是"YYYY-MM-DD"格式？	✅ 通过
无效姓名是否都替换成了"待确认"？	✅ 通过
金额是否都是纯数字？	✅ 通过
重复姓名是否合并了？	✅ 通过