ARTICLE · 1315740
用好AI工具也需要技术:同一个问题,AI为什么给了两个相反答案?
你好,我是 Arit 老邓。
今天聊一个我最近被"打脸"的经历。
免责声明:本文仅记录个人使用 AI 工具的真实体验与思考,不构成对 Windchill、SinoCPC 或任何产品的选型建议与优劣评价。文中 AI 给出的 0:5、3:2 结论均为特定测试条件下的偶然输出,受语料分布、提问方式、上下文内容等多重因素影响,不具备普适性。产品选型请以官方资料、实际试用和专业评估为准。文中观点仅代表个人,与所任职单位无关。
一、先说结论:0:5 和 3:2
前段时间我在写《从 Windchill 到 SinoCPC:一位 PLM 实施者眼中的创新产品研发系统对比》,为了不写"空对空"的评测,我把 5 个真实具体的需求——打样、项目过程、批量承认、SAP集成、变更追溯——直接丢给 AI,让它判断这些需求该选 Windchill 还是 SinoCPC。
结论是 0:5,SinoCPC 全胜。
说实话,这个结果我自己也有点意外。出于好奇,我新开了一个不带任何上下文的会话,问同一个问题、同一批需求、同一个 AI。
结果是 3:2,Windchill 反超。
同一个问题,同一批需求,同一个 AI。唯一的变量是——有没有上下文。结论就从一边倒,翻成了另一边的险胜。
二、这个反转,其实有个更朴素的原因
我后来复盘,发现这事没那么玄。
Windchill 是国际大品牌,网上资料铺天盖地;SinoCPC 是国内品牌,公开资料相对少。
空白会话里,AI 靠的是它训练语料里的"存量知识"。Windchill 语料多、案例多、评测多,它自然更容易替 Windchill 说话——这不是它判断更准,是它知道得更多。
而带上下文的那个会话,我把 SinoCPC 的资料、需求背景、真实约束都投喂进去了。AI 手里有了和 Windchill 对等的信息量,甚至更贴近真实场景的信息,结论才翻了过来。
所以 0:5 到 3:2 的本质,不是 AI 变聪明了,是信息天平被重新摆平了。上下文投喂,投的其实就是"AI 原本不知道、但对判断至关重要"的那部分信息。
这也提醒我一件事:AI 的"偏见",很多时候是语料分布的不均。谁资料多,谁在无上下文时更容易赢。这恰恰是上下文最该补的缺口。
三、AI 是个"巨婴",你不说,它就瞎猜
我常把 AI 比作一个巨婴。
它知识储备惊人,反应极快,但它是"失忆"的。每次新开会话,它对你、对项目、对你们公司的情况一无所知。你不喂给它,它就靠"常识"猜——而"常识",恰恰是专业判断最不可靠的东西。
那 5 个需求放在带上下文的会话里,AI 知道我在做 PLM 选型、知道打样和批量承认的流程差异、知道变更追溯和 SAP 集成的真实约束、知道我关心的是落地而不是参数表,还拿到了 SinoCPC 的一手资料。它是在我的问题域里做判断。
换到空白会话,它只是在通用语料里做判断。听起来问题一样,其实根本不是同一个问题。
这就是巨婴逻辑:你给它多少"前情提要",它才能还你多少"靠谱答案"。你什么都不给,它就只能给你一个"看起来很像答案"的答案。
四、把一个巨婴"培训"起来,靠的是什么?
既然把 AI 比作巨婴,那问题就来了:怎么把这个巨婴培训起来?
我这一年多的体会是,靠的不是"会提问",而是四样东西:
第一,靠"喂"——持续、准确地供给上下文。 巨婴不会自己查你家的情况。背景、约束、规则、样例,你得主动喂,而且喂对。0:5 和 3:2 的差别,就是喂与不喂的差别。
第二,靠"立规矩"——把隐性经验变成显性规则。 我们的命名习惯、文档模板、技术栈边界、历史 BUG 的修复套路,这些原本在我脑子里的东西,得写成 AI 能稳定接住的规则。规矩立住了,它才不会每次自由发挥。
第三,靠"纠错"——用反馈把它拉回正轨。 我从 0 开头搭过系统,也反编译别人的系统逆向学习,用 AI 快速定位修 BUG、接需求、写需求文档/方案/设计/测试/操作手册。这些过程里,AI 出的错远比对的值得看。每一次纠正,都是在给它"校准"。
第四,靠"陪跑"——在真实任务里长期磨合。 巨婴不是一节课教会的,是在一个个真实项目里带出来的。你得让它在你的问题域里反复练,练到它懂你的语境、你的优先级、你的底线。
一句话:培训巨婴,靠的是上下文、规则、反馈和长期陪跑,而不是一句漂亮的提示词。
五、真正的技术,是"上下文工程"
所以回到标题:用好 AI 工具,确实需要技术。但这个技术,不是背提示词模板,而是上下文工程——你得有能力判断:哪些信息是决定结论的变量,哪些是噪音;怎么把一个模糊的诉求,拆成 AI 能稳定接住的背景、约束和样例;以及最重要的,当结论反转时,你要能意识到是上下文变了,而不是 AI 疯了。
0:5 和 3:2 之间,差的不是 AI 的智商,是我有没有给它一个"值得被认真对待的问题现场",以及有没有把语料天平摆平的那份资料。
下次 AI 给你一个让你怀疑人生的答案,先别急着换工具。问自己两句:我到底给了它多少上下文?我是不是让它在一个信息不全的天平上做判断?
大概率,问题不在它,在你。















































































