前阵子有位销售接了个小学老旧小区改造的项目,客户要的是施工损耗小、噪音低、性价比还高的涂料方案。这种活儿放在以前,得翻手册、问技术、写方案、算报价、做标书,一个新人不折腾几周根本拿不准。我们当时想做的事看着简单,就是让 AI 跟着客户需求走,把场景解决方案PPT、报价、标书一次性吐出来,但是落地很复杂。
我们前后花了 2 年,其中一年多扑在数据治理上,一年多才把 Demo 推成真正上线的智能体,150 号人卷在里面,把一个企业 AI 项目从零推到全员在用。回过头看,最值钱的教训就一条,一个 AI 项目里 80% 是数据治理、行业 Know-how 挖取和需求梳理,20% 才是 AI 技术本身。那 80% 才是别人抄不走的护城河。
01 第一个坑,栽在标签上
项目刚启动那会儿,我们想得挺美。销售把客户需求一讲,系统打一串标签,再去库里捞对应的方案。听着干净利落,真落地就翻车。标签只要错一级,后面整条链路跟着全错,准确率只有 40%。我们接着上微调,也只爬到 50%,离能用的门槛还差一截。
后来换了一条道。不让 AI 去背标签,而是让它先把需求读明白,再到方案库里做语义搜索摘要(标签/方案内容/专家经验/性能指标都已经加工成 摘要 入库到向量库 ,可以看产品方案选型助手怎么搭?一套看懂自然语言需求的架构实践 | Harness 工程化落地),直接甩出最匹配的 TOP 方案。 像医院内墙旧改、要求不停诊、工期紧、还卡成本,这些弯弯绕 AI 自己能连起来。新路子准确率拉到了 94%,而且新方案进库不用重新训练。

AI 不是背标签的机器,是能读业务的助手。想通这一层,准确率才真正上得来。
02 微调的设想很美,现实很骨感
起初我们盘算微调 1.5 个月就能收工。套路也标准,标签化加思维链,拿 100 条样例泛化出 5000 组需求标签对,再抽少量样本复核、跑一两轮微调。
现实花了 3.5 个月。卡点出在大家对标签含义的理解拧不到一块。区域拉了 50 人复核,本部又过一轮,还有 2660 条对不上,一条按 2 分钟修,来回磨了6~7轮。最后我们干脆扔了思维链和标签泛化,改成场景切片、直接问问题。
微调路线采用「需求 → 标签」的直接映射,中间未引入思考链(CoT)环节。这导致模型缺乏对场景切片与产品体系的中间推理,在同义表述跨标签匹配上存在明显短板。 比如 场景切片或者产品体系、产品 标签 打的 是 旧改,但是 需求 说翻新,则匹配不上,如果是语义理解则能匹配上。
顺序得反过来,先让语义匹配端到端跑顺,再视情况去微调需求理解或方案排序。数据工程那笔账,当初严重算少了。
03 80% 的功夫,花在看不见的地方
为什么一耗 2 年、搭进去 150 人。因为真正的重头戏压根不是模型。
数据治理这块,我们拢了 92 种素材,150 人前后折腾了 2 年多,攒下大量行业 Know-how,也靠需求调研和一线专家反复打磨,其中 40 多场深度访谈、8 条产品线的标签库梳理、465 个标签(标签库从0~756~465)。光这 40 多场深度访谈,就铺到了一线销售 45%、应服解决方案专员 35%、管理层 20%,调研了一个多月。

这部分才是护城河。它长在人身上、长在业务里、长在组织里,攒得慢、抄不走、壁垒硬。模型别人追得上,这两年喂进去的行业经验,别人追不上。
剩下那 20%,是准确率工程、Agent 编排和权限合规。这些工程活儿也重要,但容易被追上。
04 一个能牵线的人,比一堆人重要
项目这么大,如何能统筹好,必须要有主心骨。人多不一定是好事,没主线才是。新领域的 AI 项目,真正的难点不在工作量,在思路。思路得靠一个主心骨捏住。
这个主心骨得懂业务、懂 AI、能当翻译、敢兜底、会取舍。需求、方案、数据、团队,四头都靠他串。标签陷阱、微调弯路、时间线打架,这种节骨眼上都是他拍板砍掉多余的和落地路径调优。
人越多,越要有一条清楚的主线,不然只会越搅越乱。主心骨,是那 80% 里最省不掉的一环。
写在最后
要是你也在搞企业 AI,先别急着上模型。把那 80% 的数据和 Know-how 做实,这才是别人抄不走的东西。评论区聊聊你踩过的坑。
谢谢你看我的文章,我们,下次再见。
夜雨聆风