每天一个AI名词-Token分词 Tokenization

当前时间： 2026-08-06 22:10:01 分类：办公文件 评论(0)

每天一个AI名词-Token分词 Tokenization

13. Token分词 Tokenization
AI读文本前，先把整段话切成一个个小单元（Token），再逐个处理。就像把一整面墙拆成小积木，一块一块搭建理解。金句：Token，是大模型阅读世界的最小积木。