Token是什么意思?除了词元还能说明什么?
1词元:计算机行业多领域通用术语Token
Token,又名词元,是一个计算机行业多领域通用术语,在不同技术场景中具有不同含义和中文译名。 在身份验证和授权、语言模型、区块链以及计算机科学等领域中,Token都扮演着重要的角色。
在信息技术中,它作为随机字符串或加密数据块用于身份验证、安全访问控制,代表用户、设备或会话的授权信息。 在加密货币领域,指的是基于某个区块链平台发行的代币。在语言模型中,token是文本经过切分或字节级编码后得到的最小离散单元,它既可能是人类语言意义上的词串、单个词,也可能是词根、词缀、子词或单个字符,中文名译为“词元” 。
Token的概念起源于20世纪中叶的计算机词法分析,发展过程与信息技术、密码学进步深度绑定。区块链技术兴起后,Token被赋予数字资产属性,2008年比特币白皮书发布、2015年以太坊平台上线、2017年NFT兴起等关键节点,推动其成为数字经济的核心载体。在人工智能大模型领域,它又成了衡量算力与成本的单位 [61]。截至2026年2月,中国日均Token消耗量达到180万亿级别,较2024年初的1000亿显著增长,中国大模型Token调用量首次超过美国 。全球日均Token消耗量过去两年增长近300倍 。
2不同技术语境下Token翻译差异极大
Token 是一个高度跨领域的多义词,在不同国家、不同技术语境下翻译差异极大。以下按主流语言与核心应用场景(AI/大模型、区块链、网络安全、通用)整理全球主要译法:
一、中文(中国大陆):多场景并存,AI领域已官方定名
- AI/大模型(官方标准):词元(2026年3月国家数据局正式定名,指模型处理文本的最小语义/计算单元)
- 区块链/加密货币:代币 / 通证(强调数字资产、权益凭证属性)
- 网络安全/身份认证:令牌 / 凭证(如登录令牌、API Token)
- 通用/语言学:词例 / 形符 / 标记(语言学中与“类型(Type)”相对)
二、全球主要语言翻译(按场景)
1. AI/大模型场景(最小计算/语义单元)
- 英语:Token(全球通用,不译)
- 日语:トークン(音译)、語トークン(语Token)、単位トークン(单位Token)
- 韩语:토큰(音译)、단위 토큰(单位Token)
- 法语:Jeton(通用)、Unité de traitement(处理单元,技术文档)
- 德语:Token(通用)、Verarbeitungseinheit(处理单元)
- 西班牙语:Ficha(通用)、Unidad de tokenización(分词单元)
- 俄语:Токен(音译)、Единица обработки(处理单元)
2. 区块链/加密货币场景(数字资产/权益凭证)
- 英语:Token(全球通用)
- 日语:トークン(音译)、暗号資産トークン(加密资产Token)、代替コイン(替代币)
- 韩语:토큰(音译)、암호화폐 토큰(加密货币Token)
- 法语:Jeton、Jeton cryptographique(加密代币)
- 德语:Token、Kryptotoken(加密Token)
- 西班牙语:Ficha、Ficha criptográfica(加密代币)
- 俄语:Токен、Криптотокен(加密Token)
3. 网络安全/身份认证场景(临时凭证/访问令牌)
- 英语:Token
- 日语:トークン、認証トークン(认证Token)、アクセストークン(访问Token)
- 韩语:토큰、인증 토큰(认证Token)
- 法语:Jeton d’authentification(认证令牌)
- 德语:Authentifizierungstoken(认证令牌)
- 西班牙语:Ficha de autenticación(认证令牌)
- 俄语:Токен аутентификации(认证令牌)
4. 通用/日常场景(象征、代用币、标记)
- 英语:Token
- 日语:トークン、記号(记号)、代用貨幣(代用币)
- 韩语:토큰、상징(象征)、대용화폐(代用币)
- 法语:Jeton、Symbole(象征)
- 德语:Zeichen(标记)、Symbol(象征)
- 西班牙语:Símbolo(象征)、Ficha(筹码/代币)
- 俄语:Знак(标记)、Жетон(筹码/代币)
三、翻译规律与特点
- 音译优先:日语、韩语、俄语等多直接音译“Token”(トークン/토큰/Токен),再搭配场景限定词。
- 意译为主:中文、法语、德语、西班牙语等更倾向意译,且同一语言内按场景严格区分(如中文“词元/代币/令牌”)。
- 场景强绑定:翻译几乎完全由使用场景决定,跨场景不可混用(如AI领域不能用“代币”,区块链领域不用“词元”)。
- 中文特殊性:AI领域已完成官方定名“词元”,区块链/安全领域则沿用“代币/通证/令牌”等约定俗成译法。
3列举一些Token在不同国家的其他翻译
下面按不同语种+不同场景,补充更多国家/语言里 Token 的非主流、本地化、行业专用译法,避开常见音译,只列真正有差异的本土翻译:
1. 欧洲语言
法语(France)
- jeton:代币、筹码、令牌(最常用)
- signe:标记、符号(语言学)
- marque:标识、记号
- valeur symbolique:象征性价值(通用)
- unité lexicale:词汇单元(AI 分词)
德语(Deutschland)
- Marke:标记、令牌
- Zeichen:符号、记号
- Gutschein:凭证、代金券(通用 token)
- Token 也常用,但部分文献用 Verarbeitungseinheit(处理单元,AI)
西班牙语(España / México)
- ficha:筹码、代币、令牌
- señal:信号、标记
- vale:代金券、凭证
- símbolo:象征、符号
- unidad léxica:词汇单元(NLP)
意大利语(Italia)
- gettone:代币、筹码、令牌
- contrassegno:凭证、标识
- segno:符号、记号
- buono:代金券、票券
葡萄牙语(Brasil / Portugal)
- ficha:筹码、代币
- sinal:标记、信号
- vale:代金券
- símbolo:象征
俄语(Россия)
- жетон:代币、筹码(本土词,比 токен 更老)
- знак:符号、标记
- значок:小标记、凭证
- элемент:单元、元素(AI 语境)
荷兰语(Nederland)
- teken:符号、标记
- fiche:筹码、代币
- token 也通用
波兰语(Polska)
- żeton:代币、筹码
- znak:符号、标记
- symbol:象征
2. 亚洲语言
日语(日本)
除了 トークン,还有本土译法:
- 代貨(だいか):代币
- 札(ふだ):票券、凭证
- 標章(ひょうしょう):标识、标记
- 言語単位:语言单元(AI)
韩语(한국어)
除了 토큰:
- 대용화폐:代用货币、代币
- 표식:标记、标识
- 증표:凭证、票券
- 기호:符号
越南语(Tiếng Việt)
- đồng thay thế:代用币、代币
- biểu tượng:象征、符号
- dấu hiệu:标记、标识
- chứng từ:凭证
泰语(ภาษาไทย)
- เหรียญ:硬币、代币
- สัญลักษณ์:象征、符号
- บัตร:票券、凭证
- เครื่องหมาย:标记
印尼语 / 马来语
- mata wang ganti:代用货币
- simbol:象征、符号
- tanda:标记
- kad:卡、凭证
3. 中东 & 其他
阿拉伯语
- رمز:符号、标记
- عملة بديلة:替代货币、代币
- بوليصة:凭证、票券
波斯语(فارسی)
- نشان:标记
- سکه جایگزین:替代硬币、代币
希伯来语
- סימן:符号、标记
- טוקן 通用,也用 סמל(象征)
4. 按场景快速汇总(方便写作引用)
-
AI / NLP 分词单元 词元(中)、unité lexicale(法)、unidad léxica(西)、言語単位(日)、единица языка(俄)
-
区块链代币 代貨(日)、жетон(俄)、gettone(意)、ficha(西/葡)、jeton(法)
-
登录令牌/凭证 contrassegno(意)、знак(俄)、標章(日)、증표(韩)、contraseña(西,偏密码)
-
通用象征/标记 signe(法)、segno(意)、знак(俄)、símbolo(西)、機號(日)
4Token极简对照表格
这是为你整理的Token 多语言场景专用翻译对照表,只保留各国最地道、行业最常用的译法,方便直接引用。
Token 多语言专用翻译对照表
1. AI / 大模型语境(分词单元、计算单位)
|
|
|
|
|---|---|---|
|
|
词元 |
|
|
|
|
|
|
|
トークン
|
|
|
|
토큰
|
|
|
|
Jeton
|
|
|
|
|
|
|
|
Ficha
|
|
|
|
Gettone
|
|
|
|
Токен
|
|
|
|
Ficha
|
|
2. 区块链 / Web3 语境(代币、通证、权益凭证)
|
|
|
|
|---|---|---|
|
|
代币 / 通证 |
|
|
|
|
|
|
|
トークン
|
|
|
|
토큰
|
|
|
|
Jeton
|
|
|
|
Kryptotoken |
|
|
|
Ficha criptográfica |
|
|
|
Criptogettone |
|
|
|
Криптотокен |
|
|
|
Criptoficha |
|
|
|
|
|
|
|
Token
|
|
3. 网络安全 / 登录认证语境(令牌、凭证)
|
|
|
|
|---|---|---|
|
|
令牌 / 凭证 |
|
|
|
|
|
|
|
認証トークン |
|
|
|
인증 토큰 |
|
|
|
Jeton d’authentification |
|
|
|
Authentifizierungstoken |
|
|
|
Ficha de autenticación |
|
|
|
Gettone di accesso |
|
|
|
Токен доступа |
|
|
|
Toegangstoken |
|
|
|
Żeton dostępu |
|
4. 通用 / 语言学 / 日常语境(标记、符号、象征)
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
夜雨聆风