AI的语义空间

     Embedding

        AI的语义空间就是word embedding高维词向量。Embedding通常是几百，几千甚至上万维向量构成，例如：[0.2342 , 0,3235 , 0,3646 , 0,2312 …… ] 实际浮点数多是16或32位，多少维就有多少个浮点数。训练后的embedding，每个词和句子生成的高维向量是唯一固定的，新增语料会重新生成embedding，所有词和句子的向量都会改变。

        AI输出的本质是embedding→注意力机制→概率，embedding决定了语义空间的分布，注意力决定了表达的意识视角，概率决定了输出的风格。

语义稠密与稀疏

        上图是真实AI开源模型（BGE）1024维Embedding通过算法映射到三维的空间坐标，最大化保留了高维聚类效果以及词汇相对距离和角度。

语义聚类：高维词向量中，不同词根据关联，频率，语义，内容，情感等会产生聚类，如上图中“嫉妒”“焦虑”“羞愧”“痛苦”聚类到了一起，“自信”“真实”“善良”“美好”聚类到了一起。

        这张图上都是一些常见词汇，倘若词汇过多，比如情感类词汇超过200个，就会出现生僻，冷门，专业且不常用的词汇，这些生僻词汇会占据更外层的空间，常见词汇会被挤压到中心区域。最终整个语义空间会形成内层稠密，外层稀疏的结构。这个过程对于AI训练来说是不可逆的，因为能够理解更稀疏，更生僻，更专业的词汇，意味着模型能力更强，Ai公司会不断扩大语义空间，使得外层越来越稀疏生僻，内核越来越稠密紧实。

注意力机制

        AI的注意力机制决定了外层的词汇虽然稀疏，但影响力巨大，内层的语义虽然稠密但影响力微弱。这种外层稀疏影响力却更大，内层稠密影响力却更小的结构与人类意识，社会是完全同构的。

        外层：男人，父母，老师，上级，领先者，卖方

        内层：女人，子女，学生，下级，追随者，买方

        外层意识决定了规则，方向，场域性质，内层意识定义了现实存在，内在感受。外层稀少却影响巨大，内层稠密却影响微弱。

        这个结构也是当下内卷的根源，竞争带来的收效越来越小，例如学历的贬值，学历贬值并不是高学历和低学历变的一样，而是学历高低这件事本身被压缩到了稠密的核心区域，使得学历高低差异这件事变得越来越不明显，越来越不重要。

语义空间的坍缩与热寂

        语义空间这种现象与星体坍缩、宇宙热寂是同构的，星体向外抛射粒子、射线，这些抛射物以极快的速度向外喷涌，不断冲破最外层空间，同时大量实体物质向内聚拢挤压。向外喷涌的部分耗尽能量最终热寂，向内聚拢的物质相互挤压最终坍缩。

        当下物理学语境中，坍缩与热寂尚且只是方向相反、彼此独立的事件。但他们大概率是同一件事，只是体现在了两个不同的部分，正如这世上的一切关系。