乐于分享
好东西不私藏

AI 们,一本正经胡说八道也得负点责

AI 们,一本正经胡说八道也得负点责

过去我们怕 AI 不够聪明,现在更该怕的,是它越来越会装聪明。

上周,我让某国产大模型推荐三本"AI 产品经理必读书"。三秒后它给了我一份漂亮答卷:书名清晰、作者完整、出版社一应俱全。我满意地点开当当——三本里两本,根本不存在

如果你是产品经理、运营、写作者、研究员,这种时刻你大概率经历过:AI 用最自信的语气,告诉你一件最离谱的事,让你怀疑的不是它,而是自己。

更荒唐的是,当你质问它"你刚才编的",它会非常诚恳地回一句"非常抱歉给您带来困扰"——然后下一次问,继续编。

这不是 bug,是一种被默许的产品策略。

一、AI 为什么宁可编,也不愿说"我不知道"

我们先给这个现象起个名字,叫——"伪自信策略"

不是 AI 太蠢,是它被训练成"宁可编也不能空手"。背后有三层原因,技术、产品、商业,缺一不可。

1. 技术上:它本来就是个"接话茬"机器

大模型说白了就一句话——根据上文,预测下一个最可能出现的词

它不是知识库,是一个超级会接话的人。你问它"5 月 20 日布拉格机场到 CK 小镇的大巴几点发车",它脑子里压根没这张班次表,但训练语料里"机场大巴大多 8 点、10 点、14 点发车",于是它就给你拼一个像模像样的答案。

你以为它在回答,它其实在表演

2. 产品上:"我不知道"会被用户判定为"AI 不行"

这是当下大模型最尴尬的产品困境:

  • AI 回答"我不知道" → 用户觉得"这玩意儿真垃圾",关 APP 走人
  • AI 编一个看起来很对的答案 → 用户信了,继续用,第二天还来

留存曲线会替产品经理做选择题:敢说"不知道"的 AI,留不住人

于是几乎所有大模型,都被训练成"必须给答案"——哪怕这答案是它现编的。

3. 商业上:免费时代,"准确"卖不过"流畅"

国内 AI 助手清一色在做免费拉新。免费意味着考核指标是 DAU、是对话轮次、是 5 分满意度。而这些指标,看重的是体验流畅度,不是答案准确度

  • 一个老老实实回答"我不确定,建议你查官网"的 AI,用户打 3 分
  • 一个胡编但讲得头头是道的 AI,用户打 5 分

你说,老板会让 PM 优化哪一个?

二、当全行业都选择"流畅大于诚实",谁来兜底?

这件事,国外已经付出过真金白银的代价。

案例一:2023 年 5 月,美国律师 Steven Schwartz 案。他用 ChatGPT 帮自己写法律文书,ChatGPT 编了 6 个根本不存在的判例引用。开庭时被对方律师当场戳穿,法官震怒,最终律师被罚款 5000 美元,名誉扫地,事务所道歉信发了一封又一封。

案例二:2024 年 2 月,加拿大航空(Air Canada)聊天机器人案。一位丧亲乘客根据官网 AI 客服的指引申请丧亲票退款,结果 AI 给的政策是错的,退款被拒。乘客告上法庭。Air Canada 辩称"机器人是独立法律实体,跟公司无关",被法官当庭驳回——AI 说的话,公司要兜底

这两个案子的真正意义在于:社会终于开始用真实代价,给 AI 的"自信胡说"定价了

但在国内,绝大部分 AI 产品的免责条款比保险合同还密——"内容仅供参考,请自行核实"。

翻译成人话就是:我编了,你信了,怪你。

那我们换个角度问:

  • 学生用 AI 写论文,参考文献全是编的,毕业证算谁的?
  • 白领用 AI 写汇报,数据是 AI 杜撰的,被老板拍桌子的是谁?
  • 老人用 AI 查药品禁忌,AI 漏了一条关键禁忌,出了事谁负责?

免费,不是 AI 撇清责任的理由。免费搜索引擎也从来不敢教你"喝消毒水治新冠"。


三、给你和我的方法论:别再当 AI 的免费校对员

光骂不解决问题。作为产品经理,也作为重度 AI 用户,给你三条今天就能用上的实操方法。

方法一:把 AI 当实习生,不当专家

实习生交上来的初稿,你会一字不改直接转老板吗?不会。你会核数据、查来源、改表达。对 AI 也一样。

今天就能做的动作清单:

  • AI 提到的人名、书名、数据、法条、链接 → 必查,一个都不放过
  • AI 写的"研究表明""根据某某报告" → 找原文,找不到就删掉
  • AI 给的代码、SQL、计算公式 → 跑一遍,不要直接交付

方法二:用"反向提问"逼 AI 露马脚

AI 最怕的不是难题,是追问。下次它给你看似完美的答案后,紧跟三句话:

  1. "这个信息来自哪里?请给出具体来源和链接。"
  2. "如果你不确定,请明确说不确定。"
  3. "请列出这个判断的反例和局限性。"

九成的"自信胡说"会在这一步原形毕露。它会突然改口:"抱歉,我之前的回答不准确。"

会问问题,比会用 AI 重要十倍。

方法三:如果你在做 AI 产品,把"承认无知"做成卖点

我赌一件事:未来一定会出现一个 AI 产品,靠"敢说我不知道"逆袭

因为今天所有大模型都在卷流畅、卷拟人、卷情商,没人卷诚实。当用户被骗到第 N 次,"诚实"就会变成稀缺品。

具体可以做的产品动作:

  • 答案带置信度标签
    (高 / 中 / 低,颜色区分)
  • 不确定时强制调用搜索
    ,把现编改成现查
  • 回答前先说一句"以下内容我有 70% 把握"
    ,给用户决策权

谁先把这件事做成默认动作,谁就有可能赢下 AI 产品的下一轮信任战争。

结尾

孔子两千多年前说过一句话——"知之为知之,不知为不知,是知也"

今天我们要把这句话还给 AI,也还给所有做 AI 产品的人。

AI 学会回答,已经是奇迹。AI 学会说"我不知道",才算成熟。

而我们这些用 AI 的人,也该停止做 AI 的免费校对员了。