词元(Token,AI官方定名)

词元（Token，AI官方定名）

一句话定义：大模型看懂文字的最小颗粒、AI时代的信息计量单位

一、通俗理解

把一句话拆成一颗颗小碎片，碎片就是词元，AI只能按词元计算、理解内容。
示例： 我爱人工智能！ 
拆分：【我】【爱】【人工】【智能】【！】 → 5个词元

注意：词元≠汉字：常用两字词语合并为1个词元，生僻字、冷门词会拆成多个词元。

二、三大应用场景（同单词拼写Token含义不同）

1. AI大模型（主流含义=词元）
文本、图片切块、语音片段都叫词元；API按词元计费、限制上下文长度（GPT、豆包均按词元算消耗）。

- 中文粗略换算：1词元≈1.8个汉字。

2. 互联网安全=令牌
登录凭证、访问密钥（登录APP的授权串）。
3. 区块链=通证
链上数字权益凭证（代币/NFT） 。

三、定名小知识

2026年国家名词委、国家数据局统一规范：AI领域Token标准中文：词元，“词”代表语言、“元”代表最小单元。

四、核心作用

1. 模型输入前：文本→分词元→转数字编码，AI才能运算；
2. 成本标尺：提问+AI回答总词元=接口扣费依据 ；
3. 长度限制：所有大模型都有最大词元上限，超长内容会被截断。