乐于分享
好东西不私藏

从Excel到数据库:一家中小制造企业的数字化改造实录

从Excel到数据库:一家中小制造企业的数字化改造实录

去年有一天,质检员老张扛着一个纸箱走进办公室。

纸箱里,是过去三年所有的纸质质检记录——手写的、带污渍的、边角卷起的,按月份捆成一沓一沓。

"还有六箱,在仓库。"他说。

这就是我们(漯河舒尔莱,2006年成立,做高分子吸水纸)做数字化改造时的真实起点。

不是什么高大上的"智能制造",而是一箱一箱的纸质记录、几十个打不开的老Excel文件、还有几个不同厂家设备自带的系统——各自存着自己的数据,谁也不理谁。

这篇说说我们这一路是怎么走过来的:真实的经历、踩过的坑、实用的经验。没有高大上的方案,只有中小制造企业自己的"笨办法"。

一、改造之前的"原始状态"

先说说我们之前的状况,可能很多同行会觉得眼熟。

纸质记录:三大类,占了整整一面档案柜

  • 生产记录
    :每班次一张纸,操作工手写——温度、压力、速度、SAP添加量。字迹各异,有人写得很潦草,有人漏填,有人填了模糊的一笔("35左右"——到底是35还是35.5?)。
  • 质检记录
    :每批次一张表——吸收倍率、保水率、厚度、外观判定。不同时期的检测标准换过几次,有些旧表上填的是老标准编号,和现在的对不上。
  • 设备维护记录
    :一本本子,修了什么、换了什么零件、谁修的、什么时候修的。有的故障没记,有的记了但没写原因,有的写着"异常——已处理"——处理了什么?不知道。

Excel数据:版本混乱,格式五花八门

后来用过几年Excel来记数据——每家工厂都经历过这个阶段。

  • 不同人建了不同的模板,字段名不统一(有人写"吸水倍率",有人写"倍率",有人写"吸收倍数")。
  • 日期格式不统一(有人写"2023-01-15",有人写"2023/1/15",有人写"1.15")。
  • 文件散落在不同电脑上,没有统一存储。
  • 换了几次人之后,有些文件不知道密码,打不开。

设备系统孤岛:各自为政

不同设备自带的监控系统,各有各的数据格式和导出方式。有的能导Excel,有的只能看不能导。生产线的数据(温度、压力、速度)和质检数据(性能指标),在两个完全不相干的世界里。

💡 这就是很多中小制造企业的现状:数据不是没有,而是"有数据,但没法用"。七零八落、格式混乱、没有关联。想查某个数据,得翻纸张、找Excel、回忆谁经手的。

二、第一步:把"死数据"变成"活数据"

我们决定动手的时候,定了两条原则:

  • 不追求一步到位
    ——先做数据整理,不做系统改造
  • 先解决有没有,再解决好不好
    ——先把数据收集起来,格式以后再统一

纸质记录数字化:OCR识别+人工校对

我们花了大约两个月,把能找到的所有纸质记录,逐一处理。

一开始想的是"人工录入"——找实习生一个字一个字敲。后来发现,量太大,而且容易出错。

我们改用了OCR识别 → AI校对 → 人工确认 → 录入Excel的方式:

  • 每张纸质记录先拍照(用手机或扫描仪,保证清晰度)
  • OCR工具(手机拍照识别、或者电脑端OCR软件)把图片中的文字识别出来
  • 识别结果交给AI校对——用AI先过一遍,把明显错误(比如乱码、数字异常、格式错误)标出来
  • 人工只对AI标记的可疑处做确认——不是逐字核对,只看AI认为有问题的部分
  • 确认无误后,录入到统一的Excel模板里

这个方式,比纯人工录入快了大约3倍,比纯OCR录入准确率高很多。OCR负责"把字读出来",AI负责"把明显错误挑出来",人工只做最后确认。

当然,手写体识别准确率有限——特别是有些老师傅的字迹,OCR识别出来是"天书"。这种情况,只能人工录入。

两个月下来,处理了大约3000多个批次的记录

✅ 关于OCR的实用建议:

  • 拍照要清晰——光线要好,纸张要平整,字要拍清楚
  • 表格类记录,OCR识别效果较好;自由文本,效果较差
  • AI校对后再人工确认——AI负责把明显错误标出来,人工只确认可疑处,效率比逐字核对高很多
  • 手写体识别是难点——如果记录都是手写的,OCR只能作为辅助,主要还得靠人工

Excel数据整理:统一格式,合并去重

把散落在各处的Excel文件:

  • 统一做到一个总表里
  • 字段名对齐("吸水倍率"→"absorption_rate")
  • 日期统一格式
  • 筛除完全重复的记录
  • 标记可疑数据(比如异常值加黄色标注,但不删除)

这一步花了三周。最难的不是技术,而是"统一标准"——每个人都觉得自己记的格式没问题,但合在一起就出问题。

设备系统数据导出

这个最简单——能导出的导出,不能导出的就截屏或者手工记录。我们选择了"先有数据,再考虑自动化采集"。

✅ 关键做法:我们做数据整理时,有一个基本原则——"宁可粗糙,不可缺失"。质量不高的数据,先收进来,打上标记,以后慢慢清洗。但缺失的数据,永远补不回来。

三、第二步:建立数据库,让数据"能查"

数据整理完,面临一个选择:继续用Excel,还是上数据库?

Excel的表到了几万行之后,打开卡、筛选慢、多人同时用不方便、版本容易混乱。

我们选择了上数据库——不是用昂贵的商业数据库,而是用了开源的MySQL,部署在一台普通的办公电脑上。数据库安装和基础配置,由我们自己学、自己搞(网上教程很多)。

数据库设计:能简则简

我们没有设计复杂的数据模型。只建了三个核心表

  • production_records
    (生产记录):批次号、日期、时间、产品型号、各工艺参数
  • quality_records
    (质检记录):批次号、各性能指标、判定结果
  • material_records
    (来料记录):SAP批次号、供应商、检测数据

核心关联字段就是"批次号"——通过批次号,可以查到这批产品用了什么原料、什么工艺参数、最终检测结果如何。

💡 懂数据库的人可能觉得这太简单了。但对我们来说,够用就行。好的数据库设计,不是最复杂的,而是最符合自己业务需要的。

数据录入方式:保留Excel,自动导入

我们没有重新开发前端录入界面——操作工们已经习惯用Excel写记录。

我们的做法是:

  • 操作工仍然用Excel填日报、记录生产数据
  • 每天下班前,把Excel文件放到一个指定文件夹
  • 用写好的自动导入脚本,把Excel数据读到数据库里

这样,前端保持操作工的习惯不变,后端数据自动集中到数据库。

四、第三步:让数据"能用"——搭一个简单的查询系统

数据进了数据库,但问题是:怎么看?

不是所有人都懂SQL(数据库查询语言)。

我们搭了一个最简单的Web查询界面

  • PHP+MySQL(或者Python Flask都可以),一个非常轻量级的组合
  • 界面上就几个输入框:批次号查询、日期范围查询、产品型号查询
  • 输入条件,表格显示结果
  • 可以导出Excel

整个开发,没有外包,没有买系统。因为功能简单,也不需要什么高性能。

这个查询系统上线后,最大的变化是:

  • 质检再也不用翻纸质记录了——输入批次号,数据全出来
  • 技术分析有了基础——可以对比不同参数下的质量表现
  • 应对客户审核时,快速调出记录,客户也满意

但说实话,刚开始用的人并不多——老员工更习惯"翻本子",不习惯打开网页查数据。这个事情急不来,慢慢培养习惯。

⚠️ 踩坑记录:我们犯过的一个错误——太早追求自动化。一开始想搞自动化数据采集(从设备直接读取数据到数据库),结果发现设备太老,接口不统一,折腾了一个月没搞定。后来回到"人工录入+自动导入"这条路,反而更快。对于传统制造企业,先解决有没有数据,再解决数据怎么来的,顺序很重要。

五、我们现在的状态和下一步

回顾一下我们这几步:

  1. 纸质记录数字化
    (2个月)——OCR识别+人工校对,最苦最累,但最有价值
  2. Excel数据统一
    (3周)——统一格式,集中存储
  3. 数据库搭建
    (1周部署+学习)——简单够用即可
  4. 查询系统
    (2周开发)——让数据能查
  5. 自动导入脚本
    (1周开发)——日常数据持续积累

——从开始到能用,大约4-5个月,投入就是一个人(实习生+我们自己学做数据库)和一台普通电脑。

现在,我们在这个基础上:

  • 数据已经持续积累了一年多
  • 生产工艺参数的记录从十几个字段增加到三十几个
  • 开始尝试做AI Skill模型——因为数据基础打好了,AI才能"读"懂

实际应用:移动端为主,PC用于AI工程建设

这里要特别说一点——我们一开始犯过一个错误:以为"数字化"就是让大家用电脑。

实际用下来发现:

  • 一线操作工、质检员
    ——他们的工作场景在车间,不方便用电脑。移动端(手机/平板)才是他们真正用的。查批次、填记录、看数据,用手机最方便。
  • 办公室人员
    ——做数据分析、写报告、管理数据,用PC更方便。
  • AI工程建设
    ——数据库搭建、模型训练、系统开发,这些"重活"必须在PC上做。

所以我们的思路是:移动端做应用,PC做工程

下一步的计划:

  • 移动端
    :操作工用手机扫码填数据、查批次;质检员用手机上传检测结果;管理者用手机看生产报表
  • PC端
    :数据库管理、AI模型训练、复杂数据分析——这些"后台工程",在PC上做
  • 设备数据自动采集(先把关键设备的传感器补上)
  • 数据分析和可视化(不用人工做图表,系统自动生成)

但这都是下一步的事。能把前面这几步走完,已经是很多中小制造企业可以借鉴的成果了。

🏭 漯河舒尔莱纸品有限公司

成立于2006年,位于河南漯河高新区民营工业园,专注高分子复合吸水材料19年。

我们不做卫生巾,我们做卫生巾的"芯"——高分子复合吸水材料、复合吸水纸、SAP原料供应。

SAP来源:日本住友精化(Sumitomo Seika),由伊藤忠商事(ITOCHU)供货,每批次附检测报告。

数字化实践:我们从纸质记录起步,用OCR识别+人工校对完成数字化,一步一步走到数据库和AI Skill模型。没有花大价钱买系统,靠的是耐心和"笨办法"。实际应用中,移动端是主力(操作工、质检员用手机),PC用于AI工程建设。如果你也在考虑数字化转型,欢迎交流——我们可以分享踩过的坑和实用的经验。

服务客户:卫生巾生产厂家、母婴护理品牌、新消费品牌

聊聊数字化改造的那些事?

给同行:5条实在的建议

最后,给同样在做制造业、也想做数字化的同行几条实在的建议:

  1. 别被"智能制造"吓住
    ——数字化的第一步,不是买系统,而是把数据整理好。一个实习生+一台电脑,就能开始。
  2. 先整理历史数据
    ——很多企业做了十几年,积累了大量的生产数据。这些数据是宝藏,但如果不整理,就永远是躺在纸箱里的废纸。
  3. 数据标准越早统一越好
    ——字段名、格式、单位、日期格式,这些东西一开始定好了,后面省很多事。越往后统一代价越大。
  4. 别追求完美
    ——数据质量不好的,先收进来,打上标记,以后清洗。缺失的数据永远补不回来。粗糙的数据好过没有数据。
  5. 小步快跑,别想一口吃成胖子
    ——先做查询,再做分析,再做AI。每一步都能看到阶段性成果,才能持续做下去。

📌 写在最后:

数字化改造这件事,说难也不难。

不难在技术门槛不高——开源数据库、OCR工具、简单的查询界面,自己学几个月就会。

难在坚持和耐心——把一箱箱纸质记录拍照、OCR识别、人工校对,这种枯燥的活,需要的是定力。

但回头看看:那些曾经认为"没什么用"的数据,现在成了我们最宝贵的资产之一。

——因为它们,让后续的AI Skill模型成为可能。

📚 参考资料

  1. 工信部·《中小企业数字化转型指南》——中小企业数字化转型应遵循"由点到面、由浅入深"原则
  2. 中国信息通信研究院·《中小企业数字化转型分析报告》——超过60%的中小企业仍处于"单点应用"阶段