AI学习笔记07|从文字到向量,AI是如何理解语言的?

一、从文字到向量

以“苹果”为例。

AI 先通过 Tokenization，把文字转换成 Token ID：

苹果 → 125

但125只是一个编号，并不代表“苹果”的含义。

接下来，通过 Embedding，模型把它映射成一个高维向量：

苹果 → [0.21, 0.83, 0.15, 0.67, …]

到这一步，文字才真正变成了可以参与数学计算的表示。

二、向量为什么重要？

如果只看编号，计算机无法判断“苹果”“香蕉”“汽车”之间有什么关系。

但经过训练后，模型可能让“苹果”和“香蕉”的向量更接近，而与“汽车”更远。

这背后就是 Representation Learning（表示学习）：模型通过训练，逐渐学会用更有用的向量来表达信息。

这些语义并不是简单藏在某一个维度里，而是分布在多个维度及其组合关系中。

三、向量还会随着上下文变化

再看两句话：

① 我吃了一个苹果。② 苹果发布了新手机。

两个“苹果”初始 Embedding 可以相同，但经过 Self-Attention和 FFN后，模型会结合不同上下文重新加工它的向量表示。

所以，同一个词在不同语境下，最终可以得到不同的内部表示。

向量维度可以不变，但它所表达的信息会变化。

四、向量化的真正意义

把整个过程连起来看：

文字 → Token ID → Embedding → Self-Attention → FFN → 更丰富的内部表示

这条链路背后，其实只有一个核心逻辑：

先把信息变成可计算的向量，再通过不断计算，让这些向量逐渐承载更丰富的关系和语义。

所以，向量的意义不只是“把文字变成数字”。

更重要的是，它让语言第一次可以进入数学世界，被比较、被组合、被更新，也让人工智能有机会从海量数据中学习复杂的关系。

从文字、图像到声音，向量表示都是现代人工智能处理复杂信息的重要基础。

有的时候笔者突发奇想：天体都在三维空间中运行，遵循基本的引力原理，有具体的空间位置，如果宇宙是坐标系，天体是向量，那宇宙运转在某种程度上是不是也像一个巨大的计算网络在运行？月球绕地球运转一次在整个宇宙尺度中又代表着什么呢？

奇奇怪怪的想法又增加了...