AI 也有自己的“汉字”?解密大模型阅读世界的基本单位——词元

"

对于 AI 来说，一篇文章真正的组成单位不是汉字、也不是单词，而是Token——一套属于 AI 自己的“文字系统“。

当你在 ChatGPT 中输入一句“你好“，AI 真的是在“读“这两个汉字吗？欢迎来到AI 原理揭秘第一期：Token（词元）。

很多人第一次接触大语言模型时，都会有一个很自然的想法：既然 AI 能理解中文，那它是不是和人一样，也是先看到汉字，再理解词语，最后组成句子？

答案是：不是。

对于我们来说，一篇文章由“字“组成；而对于 AI 来说，一篇文章真正的组成单位叫 Token（词元）。它不是汉字，也不是单词，而是 AI 自己创造的一套“文字系统“。

理解了 Token，你就能理解很多看似神秘的问题：

为什么 GPT-5、DeepSeek、Claude 等模型都是按 Token 收费？为什么模型有 128K、200K、100 万 Token 的上下文？为什么一句看似很短的话，消耗的 Token 数却可能比想象中更多？AI 又是如何一步一步“写“出一篇文章的？

今天，我们就一起走进AI 的阅读世界。

📌 本文看点

假设我们给 AI 输入一句话：

在人类眼中，这是一句话，由汉字、标点和词语组成。而 AI 接收到的并不是这些文字本身。

在进入模型之前，这句话首先会经过一个非常重要的步骤——Tokenizer（分词器）。Tokenizer 的工作，就是把文本切分成一个个 Token。

例如，它可能切分成：

也可能切分成：

具体如何切，并没有统一标准，由模型训练时所使用的 Tokenizer 决定。Token 并不是固定对应一个汉字，也不是固定对应一个单词。它只是 AI 为了更高效处理语言，而建立的一套“最优拆分方案“。

很多文章会把 Token 翻译成“词元“。但如果第一次接触这个概念，这个名字其实并不容易理解。

我更喜欢一个形象的比喻：Token 就是 AI 世界里的“汉字“。

为什么这么说？想想我们小时候是怎么学语文的。我们先认识几千个汉字，然后把它们组合成词语，再组成句子，最后写出文章。AI 其实也是一样——只不过，它学习的不是汉字，而是几十万甚至上百万个 Token。

英文里的 Chat、GPT、ing、tion、computer，中文里的“今天““天气““模型““人工智能“，甚至 ://、https、.com、2026、()、{}——这些都可能成为一个 Token。

所以，Token 更像是一块块“语言积木“。AI 并不是认识整个句子，而是把句子拆成一块块积木，再重新组合。

很多人会问：既然中文已经有汉字了，为什么 AI 不直接处理汉字？答案很简单：因为计算机根本不认识汉字。对于计算机来说，“猫“和“￥“没有任何区别——它们本质上都只是字符编码。而神经网络能够处理的，只有数字。

因此，在进入模型之前，每个 Token 都会被转换成一个唯一编号。例如：“你好“→ Token 3451，“天气“→ Token 7218，“ChatGPT”→ Token 154382。

但事情还没有结束。数字本身也没有意义。于是，每个 Token 又会进一步转换成一个高维向量（Embedding）。

真正进入 AI 大脑里的，其实是这些向量，而不是文字。这也是为什么很多研究论文都会说：大模型真正处理的是向量，而不是语言。

这里就要提到 Embedding（词向量）。假设“苹果““香蕉““橘子“，它们会被映射到空间中彼此很近的位置。而“苹果公司““微软““Google“，又会位于另一个区域。

模型通过海量数据学习之后，会发现：水果之间经常一起出现，科技公司之间也经常一起出现。于是，它逐渐形成了一张巨大的“语义地图“。

所以，当你说“我今天买了苹果“，AI 更容易理解成水果。而如果你说“苹果刚刚发布了新的 iPhone“，模型就会知道，这里的“苹果“指的是公司。

这是很多初学者最容易误解的地方。一个汉字不等于一个 Token。举个例子，“人工智能“有时候就是一个 Token，有时候拆成“人工““智能“两个 Token，还有可能拆成“人““工““智能“三个 Token。

英文也是如此。例如 internationalization，很可能拆成 inter、national、ization。

所以：Token 的长度完全由 Tokenizer 决定，而不是由语言决定。不同模型，Token 数量可能完全不同。同一句话，在 GPT、Claude、Gemini、DeepSeek 上得到的 Token 数也可能不同。

如果你使用过 OpenAI API 或者 DeepSeek API，就会看到类似这样的计费方式：输入每百万 Token / 输出每百万 Token。为什么不用字数收费？原因很简单——模型真正计算的是 Token。

假设你发送 1,000 Token，模型生成 3,000 Token，那么它实际上完成了 4,000 Token 的推理。对于 GPU 来说，每生成一个新的 Token，都需要重新计算注意力（Attention）、前馈网络（Feed Forward）、采样（Sampling）等一系列过程。因此，Token 数几乎直接决定了推理成本。所以行业里几乎所有模型都采用 Token 作为统一计费单位。

很多模型宣传 128K Context、200K Context、1M Context，很多人误以为这是 128,000 个汉字。其实并不是——它真正表示的是：最多可以处理 128,000 个 Token。

例如，如果你上传一本几十万字的 PDF，模型首先会把它转换成几十万个 Token。超过上下文限制之后，就无法一次性全部处理。这也是为什么现在越来越多的大模型都在不断扩大上下文窗口，希望能够阅读更长的文档、代码仓库，甚至整本书。

很多人以为 AI 是一句一句写文章。其实不是——它真正的工作方式是：一次预测一个 Token。

整个过程，就是不断重复：根据已有 Token，预测下一个最可能出现的 Token。这也是 Transformer 最核心的能力。它并不是提前把整篇文章想好，而是在生成过程中，一步一步向前“续写“。

理解 Token 之后，你会发现，大模型里的很多概念都围绕它展开。例如：

每一次和 AI 对话，我们都习惯认为，它像人一样在“阅读“。事实上，它看到的并不是汉字、单词，也不是句子，而是一串经过 Tokenizer 切分后的 Token，再转换成数字和向量，在神经网络中完成一次又一次复杂的数学计算。

从某种意义上说，Token 就是 AI 世界里的“文字“，而 Transformer 就像它的大脑。当我们理解了 Token，也就迈出了理解大模型的第一步。

下一次，当你看到“128K 上下文““每百万 Token 收费““每秒生成 200 Token“等术语时，你会发现，它们其实都在讲同一件事——AI 处理信息的基本单位，不是汉字，不是单词，而是 Token。

未来，随着大模型不断演进，我们可能会看到更高效的分词方式、更长的上下文窗口，以及更低的 Token 成本。但无论技术如何变化，Token 都会继续作为连接人类语言与机器计算之间的重要桥梁，成为每一个 AI 从业者和爱好者都值得理解的基础概念。

下期预告：我们将来理解Tokenizer 是什么？它是如何发明 Token 的？

我是小林，热衷于分享 AI 观察与干货。

如果你觉得今天这篇有收获，欢迎点赞、在看、转发三连，我们下篇见。