一台旧电脑,我让AI真正干起了活

本文由AI整理

前两天有个朋友问我：“那些搞AI的，到底能帮公司干啥？”

我想了想，回答他说：“我要的AI，是能帮我干活儿的。”

这话不是随便说的。过去一段时间，我用一台连入门级7B模型都跑不动的旧电脑，硬是折腾出了一套能让AI真正参与办公流程的工具。过程谈不上光鲜，但结果让人踏实——今天想跟你聊聊这段经历，也许对正在观望AI落地的你有些启发。

不是不想用，是AI“没手没脚”

这两年，大模型热得发烫。打开手机，满屏都是“AI颠覆一切”的论调。但你要是真去企业里走一圈，会发现一个尴尬的现实：大部分公司买了显卡、部署了模型，最后只干了一件事——陪人聊天。

不是大家不想用好AI，是它真的“没手没脚”。它能写诗、能编故事、能陪你唠嗑，真要让它干点具体的活儿——比如校对一份公文、排个版、套个红头——它就傻眼了。而这些问题，恰恰是办公室里最磨人的活儿。

我所在的公司也不例外。人工校对费时费力，不同人标准还不一样；排版更是噩梦，来稿格式千奇百怪，套红头后总变形，每次都要手动调整十几分钟。效率低不说，还特别消耗人的耐心。

更要命的是，公司数据敏感，不能上云，必须本地化部署。这意味着市面上的SaaS方案基本用不了，一切得自己来。

说实话，刚开始我心里也没底。我手头只有一台家用电脑，显卡是AMD 9070XT，16G显存。这配置在游戏圈算是不错，但在AI圈就是个弟弟——连当时主流的7B模型都跑不流畅，我只能退而求其次，用更小的4B模型，或者经过量化压缩后的9B版本凑合着跑。

更惨的是，AMD平台的兼容性是个大坑。我想装个WSL跑Dify框架，结果发现兼容性一塌糊涂，折腾了好几天最终还是放弃了。

我自己呢，不是科班程序员出身，写代码全靠边学边干。读代码、调接口、修Bug，样样都得求助于云端大模型。前后端状态同步的Bug改到崩溃，UI美化反反复复磨了好几轮。最难受的是，连个商量的人都没有——一个人闷头干了好几个月，很多时间都浪费在重复试错上。

那段时间我经常想：如果有个队友在旁边，哪怕只是帮我看看代码、一起骂骂模型，效率至少能翻一倍。

但路还是要走的。我琢磨出一套“三层校对”的土办法。

第一层，用小模型逐句过一遍，主要抓错别字和明显的语法毛病。这一层速度快、成本低，能把八成以上的低级错误先筛掉。

第二层，是个专门针对公文规范的规则引擎。比如抬头格式对不对、落款位置准不准、序号有没有乱、用词是不是符合红头文件的套路——这些都交给规则去管。模型可能搞不清“公文用词”的讲究，但规则不会含糊。

第三层，才是用千问的9B模型做语义层面的审核。看看句子通不通顺，逻辑有没有问题，有没有表达不当的地方。到了这一层，算是从“对错”上升到“好坏”了。

三层各干各的活儿，算力需求降下来了，效果反而比单靠一个大模型硬上要稳得多。

可模型也有自己的脾气。这9B的千问模型在校对的时候特别爱“发挥”——经常把原文里好好的句子给改了，重新生成一段。一篇公文让它校对完，内容变了样，这哪行？我反复调提示词、调温度参数，试了无数种组合，才基本把它“驯服”。但直到现在，偶尔它还会在专业术语上犯嘀咕，需要人工瞄一眼。

排版工具也是类似的思路。我搞了个半自动化的方案，套红头、调格式这些琐碎活儿，现在只要人工微调几分钟就能搞定。

经过这几个月折腾，我最大的收获不是做出了一个工具，而是验证了一个结论：在资源有限的情况下，这条路真的走得通。

你看，这就像是拼积木。我不追求一步到位搞个完美的系统，而是先把基础功能拼出来，跑起来，用起来，再慢慢优化。

算下来，校对效率提升了七成，排版时间从个把小时缩到了几分钟。更重要的是，我给自己留了一个后手——每个工具都预留了标准化API接口。将来如果公司决定上更强的模型，它能直接调用这些工具，等于给AI装上了“手和脚”。

这不就是我们想要的吗？AI不再是只会说话的“书生”，而是能真正干活儿的“员工”。

最近我发现，不只是我在走这条路。江西移动在好几个地市完成了DeepSeek政务大模型本地化部署，构建了涵盖材料检索、文本生成、合规审查的AI办公链。清华大学的团队更厉害，在新疆阿克苏地区搞了一套“政务助手大模型本地化系统”，前后端轻量化、离线运行、本地知识库，20个人同时用，响应时间不到一秒。

这说明什么？说明本地化部署这条道，正被越来越多的人验证是可行的。

接下来我打算分四步走。

第一步，花三万块买台能跑27B模型的验证机。这台机器不干别的，就是专心做技术验证和团队开发。咱们先在沙盒里把事儿跑通、跑顺。

第二步，组个三人小团队。我负责业务方向，再找个前端工程师打磨界面，找个算法工程师解决并发和部署问题。三个人，三个月，把核心工具做到能交付的状态。

第三步，找两三个部门先试用。收反馈、快迭代，让工具在实际使用中逐渐成熟。

第四步，迁移到正式服务器。公司六十来号人，二十个并发够用了，单卡就能扛住。之后再慢慢扩展场景，合同审查、知识问答、会议纪要……一个一个来。

说实话，这事儿能不能成，我心里也没完全的把握。但想想之前那台连入门级模型都跑不动的旧电脑，再想想现在手头这个已经能用的工具，我觉得值得赌一把。

国家在鼓励，央企在示范，国产生态也在成熟。这已经不是要不要做的问题，而是怎么做得更好的问题。

如果你也在观望AI落地，我的建议是：别等配置齐全了再动手。找一个最痛的场景，用最简陋的工具先跑起来，能用了再优化。AI落地这事儿，最大的敌人不是技术，是迟迟不动手。