词嵌入 Word Embedding

一、核心定义

词嵌入，也叫词向量，是把人类语言里的文字、词语，转换成计算机能读懂的低维稠密数字向量。

简单说：文字没法直接给模型计算，词嵌入就是给每个词分配一组专属数字坐标，意思相近的词，坐标距离也很近。

二、为什么必须要有词嵌入

1. 计算机只认数字，不认汉字、单词；
2. 独热编码太稀疏、维度爆炸，看不出词语关系；
3. 词嵌入能保留语义、语法、关联关系；
4. 是所有 NLP、大模型最底层的输入基础。

三、核心原理

1. 每个词语映射成一个固定长度的向量（常见 128 维、512 维）；
2. 语义相近的词，向量空间中距离很近：「国王」「皇帝」「君主」挨在一起；「男人」「女人」形成合理语义间隔。
3. 支持语义运算：国王 − 男人 + 女人 ≈ 女王

四、特点

• 低维稠密，不浪费空间；
• 自带语义关联、上下文关联；
• 可随大模型一起训练更新，越训越贴合业务语义；
• 是 Transformer、GPT、LLaMA 第一层必备模块。

五、生活化理解

就像给全世界每个人发一个 GPS 坐标：性格、身份、关系越近的人，坐标越靠近；模型靠坐标就能读懂词语含义、远近关系、逻辑关联。

六、应用场景

• 所有大语言模型输入层；
• 文本分类、情感分析、机器翻译；
• 智能客服、聊天机器人；
• 搜索匹配、推荐系统语义召回。

七、总结

词嵌入是AI 听懂人类语言的第一步，把文字变成向量、把语义变成距离，没有词嵌入，大模型就没法读懂句子、理解上下文。

本账号发布内容仅为信息分享、观点交流与知识科普，不构成任何评测、考试等专业建议。 如有侵权，请联系删除，谢谢。