ARTICLE · 1009511
AI 写的 5 份文档,没有一份全对
事情是这样的。
我断更了。
第一篇,我拍着胸脯说,从今天起,每天必须有输出,做得好晒,做得稀烂也晒。结果,我断了五天。一天都没晒,连「稀烂」都没晒。
说真的,断更这几天,我比谁都心虚。第一篇文章还在那挂着呢,白纸黑字,写着「明天见」。结果明天见、明天见,见了五天都没来。
可我不是偷懒。恰恰相反,我是掉进去出不来了。
第一天,我本来只想找一个 bug 的根因。结果一个 bug 抻出十一个,像拔萝卜带泥,越拔越多,越拔越深。
第二天,我让 AI 去跟 AI 聊,一个读代码、一个改代码,我在中间当传声筒,天黑了问题还没见底。
到第三天,我才承认,这个系统,比我想象的复杂得多。而我,一个看不懂代码的人,正站在一个自己亲手搭出来、却完全不了解的黑盒面前。
那几天我一直在躲一件事,我不知道该怎么向你们交代。后来我想明白了,交代个屁,我把这五天到底在干嘛,原原本本写出来,就是最好的交代。
开工二期之前,我总得先搞清楚,我自己这套系统,现在到底是什么样。于是我让 AI 给我写五份文档,五个问题,一个比一个往下钻。
它为谁解决什么问题,数据从哪来到哪去?内部有哪些数据、动作、规则?运行证据是什么,有哪些问题?每个问题的根因又是什么?最后,该改、该重构,还是该重做?
AI回得很快。五份文档,章节编号,带表格,带严重程度分级,跟咨询公司的交付物一样,漂亮、工整、一看就专业。
然后我做了一件当时觉得多此一举的事。
我让另一个 AI 会话,把这五份文档里的每一条论断,拿去和真实的代码、数据文件、日志,逐条对质。我一开始就立了规矩,每个结论必须带出处,文件路径、行号、日志原文。没有出处的论断,不算数。不抽检,逐条。
结果你猜怎么着。
五份文档,没有一份全对。
错法翻来覆去,我数了数,一共五种。每一种,都是个挺典型的坑,值得单独拎出来说。

第一种,文档抄文档。
有一份文档说,系统里有「9个改菜点」。这个数,是从八月一份立项书里抄来的。实际代码里,是8条补救路径,外加一个共用的换菜助手。它还引用了一个函数名,叫build_pantry_priority,也是从另一份内部文档抄的。代码里这个函数根本不叫这个名字,连带着那段分析,整个不成立。
你看,AI回答项目问题的时候,会优先去读项目里已有的文档。文档错了,答案就跟着错,而且错得层层相传,一份抄一份,错的永远是错的,越传越像真的。
第二种,搜到一半就下结论。
有一份文档说,系统里搜不到任何 USDA 营养数据库的痕迹。源代码目录里,确实搜不到。但数据文件 nutrition_db.json 里,躺着 55 条来源标记。它把一次范围有限的搜索,直接写成了「零命中」。
这错得特别隐蔽。因为它的结论本身没撒谎,只是搜的地方不对、搜到一半就停了。可读者拿到的是「零命中」三个字,一个干脆利落的、错的结论。
第三种,断言「不存在」之前,根本没去查。
有两份文档都说,排餐引擎里没有可行性预检。可它就在那,planner.py 第 562 行,886 行还在调用。它的毛病是只看每天、不看整周,所以总量上的缺口它永远看不见。可答案把「存在」说成了「不存在」,顺带把最该查的那个问题,也一起错过了。
第四种,症状是真的,病因是编的。
有一份说,用餐人数没有持久化。其实它持久化了,写在用餐路由里。真正的缺口在另一处,人数变了之后,份量缩放不会跟着重算。症状是真的,原因却是想出来的。
第五种,审计的人自己也会错。
最离谱的来了。
第一轮审计,把主食需求算成了21,漏了早餐按人头计的单位。正确答案是28。审计别人算术的人,自己先错一步。我当时就愣住了,这都行???
五种错法,根子是同一个。AI写答案,靠的是三样东西,对类似项目的记忆、项目里已有的文档、随手翻到的代码。三样里,只有最后一样是真的。
那五份文档,格式无可挑剔,语气笃定得像写了十年的老手。可它错在一种很新的地方,它不撒谎,也不懂装懂。它只是把记忆里最像的、文档里现成的、随手翻到的,拼成了一副对的样子。
我是真的觉得,这才是最该警惕的地方。
以前的假专家,你得装,装得辛苦,总会有破绽。现在不用装了。AI让「看起来专业」这件事,第一次变得人人穿得起。于是「看起来对」和「真的对」之间,裂开了一条缝,比任何时候都宽。
我填这条缝的工具,不是什么高深学问,就一句话,让它拿出证据来。每一句,落到一行代码、一条日志、一个数字,落不到,就当它没说。
你别以为我是在跟AI较劲。这五份文档错得值不值钱,要看错在哪。我立了「逐条对质」的规矩之后,审计到最后,问题清单记了16条。有一半,指向的是真实的系统缺陷。
最重的一条,是一道算术题。
我的规则写着,每顿午餐和晚餐至少一份主食。菜谱100道,主食14道,能排进午晚餐的7道,滤掉家人忌口后全家能吃的6道。规则还要求,同一道菜一周最多出现2次。6乘2得12,需求是14。12小于14,这条规则,在数学上无解。
系统没有报错。它有8条补救路径和一条紧急兜底,前半周排满,后半周悄悄缺主食,记一条WARNING就放行了。这条,我留到下一篇细讲,一个看不懂代码的人,是怎么用小学算术,把一个系统级的bug给揪出来的。
写到这,我才反应过来,我干的这件事,其实能提炼成一句谁都能带走的话。
判断 AI 答案靠不靠谱,别信格式。格式越漂亮、语气越笃定,越要警惕。可信度,只看证据。
而且这条规矩,不挑人。你不用懂代码,也不用懂技术,你只需要在它说得信誓旦旦的时候,多问一句,出处呢?就这一句,就能把「看起来对」和「真的对」分开。
我后来想,这大概就是独立思考在 AI 时代的重新定义。
过去,独立思考是会怀疑、会查证,现在,它变成了,你敢不敢,让一个听起来无比自信的答案,当场把证据掏出来。
我一个看不懂代码的人,第一次看懂自己的系统,靠的不是学代码,是这条规矩。这么一看,我没被 AI 取代。我摸到了驾驭它的门道。
你有没有也被 AI 一本正经地骗过?评论区聊聊。
以上,就是今天的全部絮叨。
既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~
谢谢你的时间,明天见。这次是真的。