AI 项目数据清洗全流程

     很多人做企业知识库、模型微调项目，投入大量算力、调提示词，可最终模型输出依旧混乱、幻觉多、答案前后矛盾。反复排查后才发现，问题根源不是模型能力不足，而是原始数据杂乱。脏数据、重复文本、无效冗余内容、错误信息，会直接污染模型。本文是实战教学分析，拆解 AI 项目数据清洗完整流程，讲解判定标准、实操步骤、常见坑，做知识库、微调训练都可以直接套用。

先分清几类会严重影响模型效果的数据类型：

1. 重复数据：多篇文档内容高度重合，反复录入，模型会重复学习相同信息，答案冗余。

2. 噪声数据：网页乱码、页眉页脚广告、目录、页码、图片注释、换行空行。

3. 矛盾数据：同一份资料里，对同一个问题给出两种不一样的结论，模型极易产生幻觉。

4. 无效低质数据：碎片化短句、无意义闲聊、残缺不全的段落，缺少完整逻辑。

5. 涉密违规数据：包含手机号、身份证、企业内部未脱敏机密信息，存在合规风险。

1. ❌坑 1：跳过数据校验，直接入库分析：很多团队拿到文档直接向量化入库，文档里面的错误信息会被模型记忆，后续回答持续出错。数据质量，决定知识库的上限。

2. ❌坑 2：切片大小一刀切，所有文档统一固定字数分析：技术文档适合短切片；合同、长案例适合较长切片。全部使用同一长度，检索效果大打折扣。

3. ❌坑 3：只做字符去重，忽略语义重复分析：两篇文章用词不一样，但核心信息完全一致，向量检索会一次性召回多条相似内容，造成回答啰嗦混乱。

4. ❌坑 4：脱敏环节简化，直接上线分析：企业私有知识库，一旦包含客户敏感信息，会带来信息泄露的合规风险。