W0003A01-AI破局_03_大语言模型怎么思考

大语言模型是怎么”思考”的？不用数学也能听懂的解释

AI破局 · 第三期

前两篇文章我们聊了AI是什么、又聊了普通人怎么在一堆AI里挑一个。后台有不少读者留言，问的其实是同一个问题：

“AI到底是怎么’想’出那些答案的？它是真的在思考，还是在糊弄我？”

这个问题特别好。因为你只有搞清楚AI到底在”干什么”，才能知道它什么时候靠谱、什么时候不靠谱；什么场合可以放心用、什么场合必须留个心眼。

今天这一篇，我不讲一个公式，不写一个数学符号，就用大白话把这件事讲明白。

读完这篇，下次AI再给你一个莫名其妙的答案，你心里就会”咯噔”一下知道：哦，原来是这里出问题了。

先说结论：AI不是在思考，是在”接话茬”

我知道这句话听起来有点扫兴。

但这确实是大语言模型干的事的核心：它在预测下一个字（或者下一个词）最可能是什么。

就这么简单。

你给它一句”今天天气真”，它脑子里飞快地算一下：接下来最可能的字是”好”，也可能是”差”，”热”、”冷”、”奇怪”也都有可能。它会从这些候选里挑一个最合适的，吐出来。然后把”今天天气真好”这句话作为新的输入，继续猜下一个字是什么——可能是”，”、可能是”啊”、可能是”适合”。

就这样一个字一个字往外蹦，蹦着蹦着，一篇文章就出来了。

你跟它聊天，它回你一大段话，看起来在”回答问题”，其实它全程都在干一件事：根据前面已经有的字，猜下一个字最该是什么。

听起来是不是有点像那种爱抢话的朋友？你刚说”我昨天去了……”，他立马接：”肯德基？”你说”不是”，他再猜：”麦当劳？”。他脑子里转的不是你去哪儿了，而是”这种开头的句子，后面通常接什么”。

大语言模型干的事，本质上就是这个。只不过它抢话抢得特别好，好到让你以为它真的听懂了。

它凭什么这么会”猜”？——回到上一篇的那个学徒

第一篇文章里我打过一个比方：AI像一个”看过十亿道菜的学徒”。

今天把这个比方再拆深一点。

这个学徒在出道之前，被关在一个超大的图书馆里，一关就是好几个月。期间它要做的唯一一件事，就是读。读到的东西有多少呢——整个英文维基百科、整个中文维基百科、几百万本电子书、几十亿条新闻文章、大量的网页、论坛帖子、代码仓库、甚至还包括你和我十几年前在某个论坛上随手发的帖子。

它读的时候，人类会玩一个游戏：把一句话遮掉一部分，让它猜。

“今天下雨了，所以我出门___了什么”——它猜”带”。对，带伞。下次换一句：”《红楼梦》的作者是___”——它猜”曹雪芹”。”1+1=___”——它猜”2″。

它每猜错一次，身上就挨一下（当然是打比方，其实是改它内部的”参数”）。挨得久了，它慢慢就摸到了一个东西：语言里的规律。

什么规律呢？比如——”下雨”后面经常跟”打伞”；”作者是”后面经常跟一个人名；数字加数字等于另一个数字；英文里 “How are” 后面十有八九是 “you”；写论文的语气和写朋友圈的语气不一样；医生说话和程序员说话用的词不一样。

你把这些规律叠加起来，叠加几百亿层，就得到了我们今天用的大语言模型。

所以它不是”懂”语言，它是”统计”了语言——统计了人类几十亿句话里，什么字后面最该跟什么字。它猜得准，不是因为它理解了你，而是因为它见过几千亿个和你类似的句子。

这个事实一旦你接受了，你对AI的很多”神奇”和”弱智”，就都能解释清楚了。

那它为什么看起来这么聪明？

但一个问题来了：就光猜下一个字，怎么猜着猜着就能写论文、写代码、分析股票了？

这是我第一次接触大模型的时候最惊讶的一件事。

答案是——当你能准确预测下一个字，你其实已经在做很多看起来很”智能”的事了。

举个例子。你给它一道题：”小明有5个苹果，给了小红2个，还剩___个。”要猜对这里的空，它必须先”算”5-2=3。它不是真的在算，但它见过几万道类似的题，已经建立了一种”5减2填3″的模式。

再举个例子。你让它翻译一句英文：”The weather is nice today.” 它要生成中文”今天天气真好”，就得理解原句的意思，还得知道中文里这种感慨通常怎么表达。它不是真的”理解”了，但它见过几千万句中英对照的句子，已经摸清了两种语言之间的对应规律。

再举个例子，也是最让人震撼的。你让它写一段代码：”写一个Python函数，把一个字符串反过来。”它得一行一行写出正确的代码——这不就是在”思考”吗？

但仔细想想，它其实还是在做同一件事：在看过几千万行Python代码之后，它知道”一个叫reverse的函数通常长什么样”、”字符串反过来通常用切片”、”函数结尾要写return”。它把这些规律拼起来，就给你一段能跑的代码。

所以它的”智能”，是无数语言规律叠加出来的一种”涌现”——就像你把几百万只蚂蚁摆在一起，它们自发就能找到最短路径、建出复杂的巢穴，但每只蚂蚁并不知道自己在做什么。

大模型就是这群蚂蚁。单看每一步，它只是在猜下一个字；但猜的次数多了，出来的东西就有了”像在思考”的样子。

那为什么它有时候一本正经地胡说八道？

这是很多人被AI坑过的地方。

你问它”《三体》的作者是谁”，它答”刘慈欣”——没毛病。你问它”刘慈欣哪一年出生的”，它可能答”1963年6月”，但其实是1963年7月。你问它”刘慈欣写过的最早一本书是哪本”，它可能直接给你编一本并不存在的书，而且编得有鼻子有眼的，连出版社和年份都给你配齐了。

这种现象有个专门的名字，叫“幻觉”（hallucination）。

为什么会这样？回到”猜字”的原理你就全明白了。

它见过大量提到”刘慈欣”的句子，知道后面经常接《三体》。它也见过大量”XX哪一年出生”的句子模板，知道后面应该接一个具体的年月日。但当你问的这个具体信息它并没有”见”得足够多、或者见过但被后来的别的信息盖过去了，它就会去按规律猜一个看起来最合理的答案——而不是告诉你”我不知道”。

你明白这个机制之后就会发现：

AI不是在说真话，它是在说”听起来最像真话的话”。

绝大多数时候这两者是一回事，但有时候不是。尤其是在：

• 你问它非常具体的数字、日期、人名

• 你问它某个很小众的领域

• 你问它法律条款、学术引用、医学建议

• 你问它某件很新发生的事（它的”训练数据”是有截止日期的，后面的事它不知道）

这几种情况，它胡编的概率蹭蹭往上涨。

这也是为什么我这个公众号反复强调：AI给的答案，尤其是涉及具体数字、引用、法律医学的，永远要自己再核查一遍。不是它故意骗你，是它的工作原理就决定了它会这样。

它还有一个致命弱点：记性不好

跟AI聊天经常碰到一种情况：聊到第二十轮，它把第一轮你说的名字给忘了。或者你让它”记住以上要求”，它记了一会儿又开始跑偏？

这不是它不认真，是它的结构决定的。

大语言模型有一个概念叫“上下文窗口”（context window）。你可以把它理解成AI的”短期记忆”——它每次只能同时看到一段有限长度的文字。这段文字里，既包括你刚才说的话，也包括它自己刚说过的话。超出这个长度的内容，它就”看不到”了。

这个”短期记忆”有多长？

• ChatGPT 和早期的大多数模型大概能同时看 8000 到 32000 个字（按中文算）。

• Claude 现在的记忆窗口已经到了 20 万字左右——差不多能一口气读完一本薄点儿的小说。

• 最新的 Gemini 2.5 号称能到 200 万字——几乎是《战争与和平》那个级别。

但不管窗口多大，它都是一个窗口。一旦你聊得太长、或者塞给它的文档太大，前面的东西就会被挤出去。

这就是为什么很多人用AI写长篇内容的时候会发现：开头定的设定、人物名字、语气要求，写到后面就开始”变形”。不是AI不听话，是它真的已经看不到前面你说的话了。

一个小技巧：如果你要让AI持续按某个要求做事，把关键的要求隔一阵子就重复提一次。或者更好的做法，开一个新的对话、把要求放在最开头。很多高手都是这么用AI的。

那现在那些”会思考”的新模型又是怎么回事？

过去一年你可能听过几个新词：OpenAI的o1、o3，Claude的Extended Thinking（”深度思考”模式），DeepSeek R1，Gemini的Thinking模式——它们有个统称叫“推理模型”（reasoning models）。

这些模型给人的感觉不一样。你问它一个问题，它回答之前会先”想”个几秒甚至几十秒，然后给出一个质量明显高一档的答案。

这是在搞什么新技术？

简单说，它还是”猜下一个字”，但它现在被训练成：在回答你之前，先给自己写一大段”内心独白”。

这段内心独白里，它会自言自语：

“用户问的是什么？他是想问A还是问B？如果是A，我该怎么算？嗯，先试试第一步。不对，这里算错了，我重来。换个思路……好，这样算出来是X。再验证一下……对，X是对的。那我回答他X。”

然后它才把最后那个”X”整理成一段回答给你看。中间那段啰啰嗦嗦的过程，要么藏在后台你看不到，要么像Claude那样给你一个按钮点开来看它在想什么。

这种”先想再说”的训练方式，让AI在数学题、编程题、复杂逻辑题上的表现突然上了一个台阶——以前那种”感觉差一点”的问题，现在很多都能解对了。

但你要记住：它”思考”的本质还是”猜下一个字”。只不过它现在猜的是一段很长的”思考过程”，然后再从这段过程里挑一个最合理的结论。

所以什么时候用”推理模型”、什么时候用普通模型？

• 日常聊天、写邮件、写文案：普通模型就够了，又快又便宜。

• 复杂的数学、编程、逻辑推理、数据分析：切到推理模型，愿意多花十几秒换一个靠谱答案。

• 需要反复核验的高风险决策：用推理模型，但还是要自己再核一遍，这条底线别松。

这些原理，对你用AI意味着什么？

讲了这么多原理，最后给你几条”用起来”的心得。这几条不是我编的，是很多重度用户踩过坑之后攒下来的经验。

第一，把AI当”博闻强识但偶尔胡说的聪明朋友”，别当它是百科全书。它什么都能聊，但关键信息要核实。

第二，你的提示越具体、上下文越清楚，它猜得越准。因为它本质上是在”匹配规律”，你给的规律越明确，它匹配出来的东西越接近你想要的。”写一篇文章”和”写一篇给30-45岁女性的，关于职场焦虑的，温和带点幽默的小红书笔记，800字左右”，出来的东西天差地远。

第三，聊长了就开新窗口，别指望它在一个对话里能永远记住你最开始说的要求。想让它记住，就隔一阵子重复一遍，或者让它”总结一下我们到目前为止说过的要求”。

第四，让它不会的，别逼它猜。你已经知道它会幻觉了，那你问它具体数字、法律条款、医学建议的时候，最好的方式是让它”给你几个可能的方向，由你自己去查”，而不是”直接给个答案”。

第五，复杂的事，让它”先想再说”。简单说就是在提示词里加一句”请一步一步地思考”，或者干脆切到推理模型。很多时候这一句话，就能让答案的质量提一档。

结尾：AI不是神，也不是玩具，它是一个新的”工种”

今天这篇文章我们把大语言模型的工作原理拆开了讲：它在猜下一个字，它靠海量数据建立了语言规律，它会幻觉，它记性不好，它现在也在学着”先想再说”。

你会发现，它既没有某些营销号吹的那么神（”真正的智能””马上要取代人类了”），也没有某些怀疑派说的那么蠢（”不就是统计嘛””没有任何思考能力”）。

它是一个全新的东西。它用一种人类之前从没见过的方式，做出了很多看起来像”思考”的事。它强在哪里、弱在哪里，都能从”猜下一个字”这个原理里推出来。

我写这个公众号的一个小小的目标，就是希望你读完之后，不再对AI有什么神秘感——不神化它，也不贬低它。它就是一个工具，一个需要你懂点原理才能用好的工具。

下期预告

下周二我们聊一个更实际的话题：AI能做什么、不能做什么——划清期望的边界。

很多人用AI用得挫败，不是因为AI太差，而是因为用错了地方——拿它干它根本不擅长的事。下一篇我会把”AI在哪些场景能帮你省一半时间”、”哪些场景它永远做不好”、”哪些场景它看起来能做其实在坑你”一个一个讲清楚。

如果你觉得这篇文章把你心里某个模糊的东西说清楚了，点个”在看”或者转发给身边那个”说AI要取代人类”或者”说AI就是个玩具”的朋友，让他也看看这件事没那么玄。

周六见。我们《本周AI速报》上聊。

《AI破局》公众号，每周二深度科普，每周六行业速报。从AI小白到实战高手，用普通人听得懂的话，讲清楚人工智能的本质、工具、机会与陷阱。