乐于分享
好东西不私藏

AI 最危险的地方,是它说得太像真的

AI 最危险的地方,是它说得太像真的

AI 不是大脑,而是一台预测机器

这几年,很多人第一次有了一个奇怪的感觉:机器好像真的开口了。
它不再像过去的搜索引擎那样,只给你一堆链接;也不再像传统软件那样,只给你一个冰冷的结果。你问它问题,它会整理、分析、举例,还会用一种近乎人类的语气说:“我理解你的意思。”
这正是 AI 最迷人的地方。
也是它最危险的地方。
过去的计算机错了,通常错得很机械。网页打不开,就是打不开;算式算错了,就是结果不对。可今天的 AI 错了,常常错得很优雅。它会给出一段结构完整、语气笃定、逻辑顺滑的错误答案。
这种看似完整、实则无根据的生成,通常被称为 AI 幻觉。
它不像机器,所以我们容易信它。
但问题恰恰在这里:AI 看起来像在思考,不等于它真的在核验事实。
AI 的秘密,不是“0 和 1 变聪明了”,而是人类把记录世界留下的痕迹——文字、图像、代码、网页、论文、日志——整理成训练数据,再通过训练把其中的模式压进参数里。模型根据上下文生成答案,看起来像理解,其实很多时候是在做一件事:接住上文,猜出下文。
AI 不是拿着证据再开口,而是拿着上下文先续写。它生成的不是“真相本身”,而是“最像答案的语言”。
理解这一点,就理解了 AI 的能力,也理解了 AI 的风险。
计算机的底层并不神秘。往深处看,是一排排微小开关:开,是 1;关,是 0。逻辑门把这些开关组合成判断,程序把判断组织成可执行的规则,而神经网络则通过大量样本调整参数、学习统计规律。
大语言模型,就是基于神经网络架构、特别擅长处理语言的一类模型。
过去的软件更像一本规则手册:遇到 A,就做 B;遇到 C,就做 D。银行转账、表格计算、网页跳转,都适合这种边界清楚、规则明确的任务。
但现实里很多问题不是这样。
一段话有没有说服力?
一张图里那团东西像不像猫?
一个用户真正想表达什么?
一个方案哪里可能失败?
这些东西很难写成死板的规则。不是没有规则,而是规则太多、太细、太依赖语境。
于是 AI 换了一种办法:不让人把所有规则都写死,而是让训练算法根据海量样本不断更新模型参数。
训练模型,有点像教一个人反复做填空题。
它不断预测、比较误差、调整参数。做过足够多轮之后,它未必记住了每一道题,却形成了某种“题感”。对 AI 来说,这种题感就沉在参数里。

人把经验写进书里,AI 把经验压进参数里。
许多生成式大语言模型在预训练阶段最基础的任务,就是预测下一个 token,也就是文本中的下一个基本片段。听起来像文字接龙。
但当数据足够多、模型足够大,接龙就不再只是接龙。为了更好地预测下一个片段,模型会在参数中形成某些语言和知识的统计模式:语法、文体、常识性搭配、类比方式、因果叙述模式,以及问题和答案的常见结构。
这就是它为什么看起来像会思考。
它不是先理解世界再说话,而是在模仿人类说话的过程中,捕捉到人类文本中常见的论证结构、推理样式和知识表达方式。
问题也出在这里。
语言里经常出现的东西,不一定在现实中存在。句子顺,不等于事实真。话说得像推理,不等于证据真的在场。
所以 AI 最容易让人误判的地方,不是它说得太差,而是它说得太好。
你可以想象一个图书馆里的超级实习生。
这位实习生读过很多书、网页、论文、论坛、代码和新闻。你问他问题,他反应很快,表达也很流畅。但他有三个限制:
他没有真正去过现场。
他回答时不一定先查档案。
他特别擅长把话说完整、说专业。
你问他:“这个产品有没有 CE 标志?有没有对应检测报告?”
他脑子里浮现出跨境电商页面、产品介绍、CE 标志、RoHS 合规要求、检测报告和欧盟符合性声明等信息。于是他很可能生成一句非常像真的话:
“该产品带有 CE 标志,并宣称符合 RoHS 要求,相关检测报告齐全。”
这句话顺滑、谨慎、专业,正因此危险。
如果他没有看到欧盟符合性声明、适用法规清单、技术文件、检测报告,或在需要第三方介入的产品类别中没有看到公告机构资料,这就不是事实核验,只是模式补全。
这就是 AI 幻觉。
它像一个读过很多资料、表达能力很强、但不保证翻到原文的实习生。让它写草稿,很强;让它盖章,很危险。

AI 幻觉就是 AI 在撒谎。这个说法不准确。
撒谎需要知道真相,然后故意说假话。多数 AI 幻觉更像无意识编造:它生成了语言上合理、事实上错误的内容。
所以更准确的说法是:
AI 幻觉不是机器在撒谎,而是一辆语言汽车在没有证据刹车时,仍然把油门踩了下去。
也有人以为,模型越大,就越不会幻觉。
不一定。
在数据、训练方法和推理资源相近的情况下,更大的模型通常更有能力。它更会写,更会总结,更会模仿人类表达,也更会做复杂推理。
但“更会做题”,不等于“永远诚实”。
能力增长,不自动等于真实性增长。
还有人以为,只要 AI 联网,或者接入检索资料,就能消灭幻觉。
也不对。
联网和检索当然能降低风险。它让模型在回答前接触外部资料,事实准确性和时效性通常会更好。但它解决的是“模型没看到资料”的问题,不自动解决“模型会不会读错资料”的问题。
它仍可能检索错、读错、概括错、引用错,甚至把资料之外的内容补出来。
检索增强生成,也就是 RAG,可以让模型先查资料再回答。它能把 AI 拴回资料堆里,但不能保证它不会看错路标。
在一些高风险领域,这种问题尤其明显。
写作、总结、改写是 AI 最适合发挥的地方。因为这些任务主要考验语言组织能力,而不是最终事实裁决。让 AI 润色语言,是借力;让 AI 独自裁决真伪,是冒险。
代码开发也类似。AI 能写模板、解释报错、重构函数、生成测试样例。但它也会编造不存在的库名,误用 API,甚至写出安全漏洞。所以成熟程序员不会让 AI 一锤定音,而是让编译器、测试和代码审查来判决。
格式越庄严,错误越容易穿过人的警戒线。
教育场景里,最危险的也不是 AI 给错答案,而是它让学生跳过困惑。
学习本来就需要卡住,需要怀疑,需要自己把概念咬开。可 AI 太顺了。它把复杂问题冲成一杯温水,入口很舒服,但你可能并没有真正消化。
AI 真正偷走的未必是作业答案,而是人和问题搏斗的那段时间。
所以我更愿意把 AI 看成一个极其勤奋、表达流畅、读过很多材料的副驾驶。
它能帮你看路,提醒盲区,模拟路线,甚至在你疲惫时提醒你保持清醒。
但方向盘不能交给它。
你只有一个角度,它能展开十个角度。
你只有一团粗糙想法,它能整理成结构。
你陷在单一路径里,它能模拟反方。
你不知道从哪里开始,它能给你第一版草稿。
但最后要不要相信,能不能落地,该不该承担风险,仍然是人的事。
AI 给你的,很多时候是一张语言地图。
它可以很漂亮、很清楚,比例尺也标得像模像样,但地图不是领土本身。桥有没有塌,路有没有封,店还开不开门,仍然要回到现实里确认。

如何做个好的AI使用者
最好的 AI 使用者,不是最会问“答案是什么”的人,而是最会追问:
这个判断哪里可能错?
反方会怎么反驳?
哪些事实必须核验?
如果结论错了,最可能错在哪里?
有没有证据支持它,而不只是有一段顺滑的话?
写论文时,让 AI 做挑刺的审稿人,不要做代写的枪手。
写方案时,让 AI 做冷脸的风控,不要做鼓掌的拉拉队。
查合规材料时,让 AI 列证据链,而不是直接盖章。
情绪低落时,让 AI 帮你拆分事实、解释和下一步行动,而不是替你给人生判刑。
AI 可以帮你整理情绪和想法,但不能替你活这一生。
说到底,AI 为什么看起来像会思考?
因为它把海量人类语言、知识痕迹、推理模式和写作结构压缩进参数里,再根据上下文生成最可能的输出。

AI 为什么会幻觉?
因为对许多纯文本生成模型来说,它的基本机制不是“先核验现实,再表达结论”,而是“根据上下文生成最合理的语言”。当语言合理性超过事实约束,幻觉就出现了。
所以,成熟的 AI 使用观应该是:
让 AI 提供可能性。
让证据决定真实性。
让反方保护判断力。
让人保留拍板权。
AI 可以给你地图,但不能替你踩路;可以照亮盲区,但不能替你承担后果。
让它坐在副驾驶,提醒、质疑、补充、预演。
方向盘,仍要握在人手里。
小诗收束:(AI作诗)

逻辑门中无灵魂,参数海里有回声。问它万种可能,别交出你的眼睛。

相关学习资料