夜雨聆风前四章,我们全程围观了一个大模型的诞生:备料、苦读、调教。现在,它上岗了,正安静地待在你的聊天框背后。
从这一章起,我们换个视角——从"造模型的人",变回"用模型的你"。当你敲下一句话、按下回车,在答案蹦出来之前的那一两秒里,机器内部到底发生了什么？
这趟旅程分两段:这一章讲前半程——你的话,它是怎么"读"进去的。别小看这半程,它藏着几个能让你恍然大悟的冷知识,包括那个著名的世纪难题:为什么 AI 曾经数不清 strawberry 里有几个 r。
第一站:你的话,先被切成"积木"
先说一个颠覆认知的事实:在 AI 眼里,根本不存在"字"或"字母"这种东西。
你的话进入模型前,要先过一道"切菜"工序:一个叫分词器（tokenizer）的小程序,会把文字切成一小块一小块的碎片——术语叫 token。它切的既不是单个字母（太碎）,也不总是完整单词（太多）,而是介于两者之间的"常用块":
比如英文单词 unbelievable,会被切成三块:un / believ / able。常见的短词如 the、cat,自己就是一块;生僻的长词,则被拆成几段可复用的零件。每一块,再被换成一个编号——从这一刻起,模型看到的,就只是一串数字了。
你可以把 token 理解成 AI 的"乐高积木":它不认识笔画和字母,它的世界,是由几万种标准积木块拼出来的。你说的每句话,都先被拆成积木,才递进它手里。
世纪难题:strawberry 里有几个 r？
理解了积木,你就能秒懂那桩著名的公案。
2024 年,一个问题席卷了互联网:"strawberry 里有几个 r？"答案是 3。可当时最强的几个 AI——ChatGPT、Claude、Gemini——都言之凿凿地回答:2 个。截图疯传,全网笑翻:能写论文的 AI,数不清一个四岁小孩都会数的字母。
AI 是真傻吗？不是。谜底就在积木上:strawberry 进入模型时,被切成了两块积木——"straw" 和 "berry"。模型拿到的是这两块积木的编号,而每块积木内部有哪些字母,它根本"看不见"。
打个比方:这就像问你,"『赢』这个字里,有几个『口』？"——你得在脑子里把这个字重新描一遍才能数出来,因为你平时认的是整个字,不是零件。AI 也一样:它认的是整块积木,你却让它数积木内部的纹路。它不是蠢,它是压根看不到那个层面。
这一块积木,还能解释另外两个你八成遇到过的怪事:
怪事一:让它"写 1000 字",它交来 700 字,还坚称自己写够了。因为它是一块积木一块积木往外蹦的,肚子里没有字数计数器——它对"自己写了多少字"的感知,和数 r 一样不可靠。
怪事二:简单算术偶尔翻车。数字也要切积木,而"1847"可能被切成"18"+"47"两块——你以为它在算 1847,它拿到的却是两块被打散的碎片。让它算错的,常常不是数学,是切菜的刀法。
（好消息是:如今的新模型基本都能答对 strawberry 了——靠的是先在"草稿"里把单词一个字母一个字母拆开再数,也就是学会了绕开积木的限制。这个"打草稿"的新本事,下一章细讲。）
工作台:它一次能"看"多少
积木切好了,该递给模型了。但递多少,有讲究——因为模型的"眼前",是一张大小有限的工作台,术语叫上下文窗口（context window）。
这张台子的大小,用积木数(token 数)来量。早年的模型,台面只放得下几千块积木;如今的主流模型,能放几十万块——大约相当于一整本长篇小说。听着很大？但你要知道,占台面的,远不止你刚打的那句话:你们整段对话的历史、你贴进来的文档、还有一段你看不见的"开场白"（马上讲）——全都摊在这张台子上,一块积木都不能少。
台面终究有限。一旦聊得太久、贴得太多,积木堆不下了,会发生什么？最早的那些积木,会被挤下桌子。这就是你可能经历过的一幕:一场马拉松式的长对话,聊到后来,它把你开头交代的关键设定给忘了——不是它记性差,是工作台就那么大,你说的第一句话,已经被后来的积木挤掉了。
你没看见的"开场白":系统提示词
刚才说,台子上有一段你看不见的东西。这里揭晓——它叫系统提示词（system prompt）。
真相是:在你打的每一个字之前,App 的开发商早就偷偷往台子上放了一段话——大意类似:"你是 XX 助手,今天是 X 月 X 日;请友好、简洁;不要谈论 XX;遇到 XX 请拒绝……"这段"岗前须知",每次对话都排在最前面,你永远看不到,但模型句句照办。
这就解开了另一个谜:为什么同一个底层模型,在不同 App 里性格判若两人？——有的活泼有的严肃,有的话痨有的惜字如金。很多时候,底下是同一颗"大脑",差别只在那段开场白写了什么。换一段系统提示词,等于给同一个演员换了个剧本。你在网上看到的所谓"越狱咒语",本质上也多是在跟这段看不见的开场白斗智斗勇。
最后一个冷知识:它每次都"从头重读"
压轴的这个,可能最颠覆:模型没有"记忆"这个功能。它记得你们聊过什么,靠的是笨办法——每次都全部重读。
你以为的对话:它一直在线,边听边记,像个真人朋友。实际上的对话:你每发一条新消息,系统就把"开场白 + 你们从头到尾的全部聊天记录 + 你这句新话",整包打好,让模型从第一个字重新读一遍,然后生成回复。回完,它立刻"失忆"。下一条消息来了,再重读一遍。
换句话说,它不是一个陪你聊天的人,更像一个每次都拿到完整案卷、批完就走的审阅员——案卷越厚(对话越长),它每次重读的工作量就越大。这也是长对话会变慢、变贵的根本原因,还顺带解释了工作台为什么那么金贵:每一块积木,每一轮都要被重新处理一遍。
切积木这件事,还有一个少有人知的后果:不同语言,切出来的积木数量差别很大。
主流分词器大多以英文语料为主训练,对英文最"友好"——平均一个单词只要一块多积木。而中文、阿拉伯文、印地文等语言,同样的意思,往往要切出一点五倍到几倍的积木。这意味着:同一段话,中文占的工作台面积更大、按积木计费的 API 调用更贵、能塞进窗口的内容更少。有人管这叫"token 税"——一种藏在切菜刀法里的、不易察觉的语言不平等。好消息是,新一代分词器正在努力对多语言更公平,这笔"税"在逐步降低。
顺带一提切积木的原理:主流算法叫 BPE（字节对编码）,思路很朴素——从单个字符开始,反复把语料里最常一起出现的相邻碎片"粘"成一块,粘几万轮,就得到一套"常用积木表"。哪个词常见,哪个词就能独占一块积木;生僻词,就只好被拆成零件。所以积木表本身,就是一部"语言使用频率的化石记录"。
小结
原来,在 AI"读懂"你之前,你的话要先被切成积木、编上号,和一段你看不见的开场白、以及你们全部的过往,一起摊在一张大小有限的工作台上——而且每来一句新话,这一整桌,都要被从头重读一遍。它读的从来不是你的"字",而是积木的排列。明白了这一点,那些怪毛病——数不清 r、写不够字数、忘记你开头说的话、在不同 App 里性格分裂——就全都不再是玄学,而是一套朴素机制的自然后果。
话,读进去了。下一章,后半程——它是怎么把答案"想"出来的:为什么答案是一个字一个字蹦的？同一个问题,为什么两次回答不一样？"深度思考"模式按下去的那几十秒,它在干嘛？还有,幻觉这个老毛病,到底能不能治。
我们,下期见。
参考文献
Sennrich, R., et al. (2016). Neural Machine Translation of Rare Words with Subword Units. ACL.（BPE 分词） OpenAI. What are tokens and how to count them? help.openai.com.（token 与上下文窗口） Petrov, A., et al. (2023). Language Model Tokenizers Introduce Unfairness Between Languages. NeurIPS.（多语言 token 税） Guzdial, M. 相关访谈, TechCrunch (2024).（strawberry 问题的分词解释） 本号《Transformer 系列》第 2 章（积木如何进一步变成"语义向量"）。
注：本文为入口级科普;"工作台被挤掉"为直觉化简化,实际产品会用截断、摘要压缩等多种策略管理超限上下文,行为因产品而异;token 数字均为典型量级。
