乐于分享
好东西不私藏

当AI开始引用数据,你更要小心它在骗你

当AI开始引用数据,你更要小心它在骗你
很多人把问题抛给AI,然后看着它一本正经地、非常结构化地列出3点、5点、7点分析,最后得出一个像模像样的判断。
语气很笃定,结构很清楚,甚至还会夹带几个数字和专业词汇,让人天然觉得这玩意儿应该很靠谱。
但我越用越觉得,AI最大的风险还不只是一本正经地胡说八道,而是它特别擅长把带有统计偏差的内容,包装成一份看上去很理性的答案。
简单点说,它不一定是在骗你,它更像是在把原本就有问题的数据、样本和叙事,再加工成一份更容易让你相信的东西。
为什么说统计学陷阱在AI生成内容中随处可见
我觉得至少有4个层面。
1、样本偏差:AI 总结的,常常只是“被看见的人”
AI最擅长做归纳。但归纳的质量,除了总结能力之外,关键还得看你的样本质量。
互联网本身就不是一个均匀的世界。
能被大量传播的,通常是极端的成功的冲突感强的容易被包装的内容。
于是AI在训练和生成时,天然更容易学到幸存者的故事,而不是大多数普通人的真实分布。
比如你问它,为什么有人靠副业翻身,为什么有人做自媒体成功,它往往会告诉你要长期主义、要打造个人品牌、要坚持复利。
听上去都对,但它总结的,往往是已经被看见的人,而不是那些同样努力、却没被看见的人。
这也是为什么,最近围绕大模型排行榜和benchmark的争议会越来越多。
很多高分,看上去像能力,背后却可能只是样本选择更有利,甚至只是测试环境更漂亮。
你以为自己在看全貌,实际上看到的,只是一个被精心修过的切片。
2、AI特别擅长把“同时发生”说成“因为发生”
这是我觉得最容易把人带偏的一点。
AI很喜欢用一套顺滑语言,把两个相关现象讲成因果链。
比如它会说,优秀员工升得快,是因为更自律、更愿意加班、更会表达;爆款内容传播广,是因为标题更刺激、情绪更强烈。
这些说法的问题在于,它们也许有相关性,但未必真是决定性原因。中间可能还有第三变量,比如组织文化、流量分发机制、上级偏好、资源倾斜,甚至是时点运气。
你会发现,AI很少主动告诉你:这个结论只是相关,不一定是因果。因为一旦它这样说,答案就不够“完美”了。
可现实世界最怕的,就是把伴随现象错当成根本原因。
你按这个错误的因果去行动,最后不是效率更高,而是南辕北辙,越努力偏得越离谱。
3、平均数最迷人,也最会骗人
统计学里最常见的误区,就是脱离分布去谈平均值。
AI又特别喜欢给你中间值答案。比如每天学英语30分钟到1小时最合适,普通人一周运动3-4次最好,一个团队7人左右协作效率更高。
这类回答的共同特点是:稳妥、圆滑、看上去像个科学的结论。
但平均数最大的问题就在于,它看上去对所有人都友好,实际上往往对谁都不够精准。
最近4月,韩国KBS在直播NASA阿尔忒弥斯二号任务时,AI实时字幕把专业术语误译成粗口,引发争议。
这个案例挺值得警惕的,不是它出了一次低级错误,而是它提醒我们:你不能因为系统在大多数普通语境里“平均表现还可以”,就默认它在高语境、高专业度场景中同样可靠。
同样的道理也出现在高风险行业。3月,新加坡有两名律师因为向法庭提交了AI生成的虚构判例,被法院判令各自承担5000新币的个人费用。
你看,这就是典型的平均数幻觉。一个工具就算99次都像模像样,也不能保证在第100次的关键场景中不出错。
简单点说,平均准确,不等于关键时刻可靠。
4、错误的指标,会把你带到错误的结论
我发现,很多人不是说他不看数据,而是太容易被看上去能量化的指标给骗了。
4月,Thomson Reuters在讨论企业如何衡量AI价值的时候,提到一个很有意思的现象:真正开始测AI ROI 的法律部门本来就不多,而已经在测的部门里,大多数仍然主要盯着成本节省。
这件事的荒谬之处在于,AI最重要的价值,很多时候未必是替你省了几分钟,而是让一个原本做不了某件事的人,开始能做了;让一个普通分析员,突然可以搭一个简易数据看板;让一个年轻员工,第一次产出接近资深人士水平的初稿。
如果你只看“省了多少时间”,你就会把AI误判成一个效率工具;如果你看它改变了什么能力边界,你才开始接近真相。
统计学里有一句很经典的话:错误的测量,比不测量更危险。
因为不测量,只是无知;错误测量,会让你在错误方向上越来越自信。

所以,统计学陷阱为什么会在AI生成内容中随处可见?
因为AI不是一个严谨的统计学家,它更像一个极强的语言整合器。
它会继承互联网上已有的样本偏差、因果误判、平均数迷信和指标幻觉,然后再用一种更流畅、更专业、更笃定的方式,把这些东西重新讲给你听。
这也是为什么,我越来越不把AI当答案机器,而是把它当初稿机器。
它可以帮我快速整理材料、生成框架、提供思路,但只要涉及判断,我都会多问 4 句:
  • 1、它基于什么样本在说话?
  • 2、它说的是相关,还是因果?
  • 3、它给的是平均值,还是分布差异?
  • 4、它衡量的指标,真的是我在乎的东西吗?
在一个人人都能轻易得到顺滑答案的时代,真正稀缺的,反而是你对数据保持怀疑的能力。
很多时候,AI不是把你带向真相,而是把你带向一个更舒服、更完整、也更危险的错觉。
👇免费|老易精读系列👇