乐于分享
好东西不私藏

AI不认识汉字也不认识单词,它眼里的世界长什么样?

AI不认识汉字也不认识单词,它眼里的世界长什么样?

本期摘要

AI把所有文字都切成Token碎片,用向量表示。它不知道"猫"长什么样,只知道"猫"这个Token和"动物""宠物"的向量距离近。这是AI理解语言的底层逻辑。

上篇回顾

大模型训练三步:预训练(学语言)、SFT(学对话格式)、RLHF(学说人话)。缺一不可,RLHF是ChatGPT成功的关键。

你正在读的这些字,每一个字AI都"见过"。但AI完全不认识这些字。

人类看到"猫",脑子里会浮现一只毛茸茸的小动物。AI看到"猫",只是一个编号和一个向量——一串几千维的数字。

这听起来很抽象,但理解这一点,是理解AI所有行为的基础。

一、人类和AI看到同一个字,看到的是完全不同的东西

▲ 人类vs AI对"猫"字的不同理解

让我们做一个对比实验。

人类看到"猫"字

你的大脑会调动大量信息:视觉(毛茸茸、尖耳朵)、听觉(喵喵叫)、触觉(柔软温暖)、情感(可爱、喜欢)、经验(养过猫、被猫抓过)、知识(哺乳动物、食肉目)。这些是你从小到大积累的真实世界经验。

AI看到"猫"字

AI拥有的只有:Token ID(一个编号),以及对应的Embedding向量——一个几千维的数组,比如[0.23,-0.45,0.67,...,0.12]。这串数字代表"猫"这个Token在向量空间中的位置(DeepSeek V3是7168维,GPT-3是12288维,GPT-4维度未公开)。没有图像、没有声音、没有情感、没有真实经验。

这就是AI和人类最根本的区别:人类的理解是基于真实世界的经验,AI的理解是基于文本中的统计关联。

AI不知道"猫"长什么样、摸起来是什么感觉、喵喵叫是什么声音。它只知道"猫"这个Token经常和"可爱""宠物""毛茸茸""喵喵叫"这些Token一起出现。

它不是"理解"了猫,而是"记住"了"猫"和其他词的共现模式。

二、Token:AI的最小处理单位

在变成向量之前,文字首先要被切成Token。Token是AI的最小处理单位——一个Token可能是一个完整的词,也可能是半个词,也可能是一个汉字。

▲ 不同语言的Token切分示例

不同语言被Tokenizer切分的方式不同:

英文

英文Tokenizer很高效。常见词(hello、the、world)都是一个Token。只有生僻词才会被切成多个Token(比如"antidisestablishmentarianism"可能被切成5-6个)。英文的Token效率很高。

中文

中文Tokenizer的效率取决于词表。常见双字词(你好、世界)可能被打包成一个Token。但单字和生僻词各是一个Token。整体来说,中文的Token数通常比英文多30-50%表达同样的内容。

代码

代码模型的Tokenizer针对编程语言优化。关键字(print、if、for)是单独的Token,变量名会被切成子词。这使得AI处理代码时Token效率和英文差不多。

Emoji

每个emoji通常是一个Token。这是因为emoji在Unicode中有独立的码位,Tokenizer可以直接识别。

理解Token有一个很实际的意义:API按Token收费,不是按字数收费。同样意思的内容,中文比英文贵,因为中文需要更多Token。

这也解释了为什么AI处理生僻人名、专业术语时成本高——这些低频内容会被切成多个Token,占用更多上下文空间。

三、向量空间:AI的"概念地图"

▲ 向量空间中的语义距离示意

Token ID只是编号,真正让AI"理解"语义的是Embedding向量——每个Token对应一个高维向量。

DeepSeek V3的向量是7168维,GPT-3是12288维(GPT-4之后OpenAI不再公开维度)。每一维代表某种抽象特征。这些特征不是人工定义的,是模型在预训练过程中自动学习到的。

向量空间的魔力在于:意义相近的词,向量在空间中的距离也近。

举几个示意性的例子(数值用于说明规律,非精确实测):

同类事物距离近:

猫 ↔ 狗:0.78(都很高,同为宠物)

猫 ↔ 宠物:0.71(语义相关)

猫 ↔ 老鼠:0.55(有关联但不是同类)

不同类事物距离远:

猫 ↔ 汽车:0.12(几乎无关)

猫 ↔ 量子力学:0.05(完全无关)

猫 ↔ 香蕉:0.08(无关)

神奇的向量运算:

vec(国王) - vec(男人) + vec(女人) ≈ vec(女王)(结果向量最接近"女王")

这个向量运算"国王-男人+女人≈女王"是Word2Vec论文(2013年)中的经典发现,揭示了向量空间能编码语义关系。现代大模型的Embedding维度更高、关系更复杂,但"相似概念在空间中相邻"这个核心规律一脉相承。

这不是人工设计的,是模型在预训练过程中自动涌现的。模型在学习预测下一个词的过程中,不知不觉学会了把相似概念放在向量空间中的相邻位置。

这个向量空间,就是AI的"世界观"。AI的所有"知识"、"理解"、"推理",都建立在这个向量空间之上。

四、AI不懂"意义",只懂"关联"

这是整篇文章最重要的一个概念,希望你认真读这一段:

AI不知道"猫"是什么,它只知道"猫"这个Token经常和"可爱""宠物""毛茸茸"一起出现。

这是统计关联,不是真正的理解。

类比一下:假设你是一个外国人,从来没见过猫。你读了一万本关于猫的书,记住了所有描述猫的文字——"毛茸茸""可爱""喵喵叫""抓老鼠"。你能写出关于猫的文章,但你不知道猫真正长什么样。

AI就是那个"外国人"。它"读"了几万亿Token的文本,但它从来没有"看过"一只真正的猫。

统计关联够用吗?

在大部分任务上,统计关联已经够用了。翻译、摘要、问答、代码生成——这些任务本质上就是文字模式匹配。统计关联足以完成。

什么时候不够用?

当任务需要真实世界经验时,统计关联就不够了。比如:判断一个物理实验的结果、理解一个笑话的双关、感知一段音乐的情感。这些需要超出文本之外的经验。

为什么AI会犯常识错误?

因为AI没有真实世界的经验。它知道"猫吃鱼"是因为训练文本中"猫"和"鱼"经常一起出现,不是因为它见过猫吃鱼。当遇到训练数据中没有的模式时,它就会犯错。

五、这对我们使用AI有什么启示

理解了AI的"世界观",你就能更好地理解AI为什么会这样回答,以及如何更好地使用它。

理解Token是理解AI的第一步

所有后续概念——上下文窗口、成本计算、Prompt优化——都建立在Token之上。选对模型(Tokenizer)直接影响成本和效果

向量空间是AI的"世界观"

AI的所有"知识"都编码在向量空间里。理解向量,才能理解AI为什么会这样回答,以及如何引导它给出更好的回答

统计关联不等于真正理解

AI很强大,但它的"理解"和人类的理解本质不同。知道这一点,才不会对它有不切实际的期待,也不会低估它的能力

AI不知道它在说什么

它不知道"猫"是什么,只知道"猫"这个Token的统计关联。但这不意味着它没用——在文字处理任务上,统计关联已经足够强大

小结

AI不认识汉字也不认识单词,它只认识Token和向量。它不知道"猫"长什么样,只知道"猫"这个Token的向量位置。

向量空间中,意义相近的词距离近。这是AI理解语义的数学基础——不是人工设计的,是训练过程中自动涌现的。

AI不懂意义,只懂关联。但在文字处理任务上,统计关联已经够强大了。

下期预告

Tokenizer分词器

一段话到底是怎么被切成碎片的?BPE算法、子词切分、为什么"strawberry"会被切成奇怪的几块——下一期拆开Tokenizer的内部机制。

看完有启发的话,点个"在看"再走

本文包含AI辅助创作内容,作者已审核并对全文负责

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料