BPE vs WordPiece vs SentencePiece

为什么BERT、GPT、T5的分词器完全不同？关键在于三种子词算法的机制差异。

• BPE 通过统计高频相邻符号对，贪心合并构建词表。
• WordPiece 依据语言模型似然提升量来选择合并对。
• SentencePiece 将空格视为普通字符，无需预分词，直接处理原始文本。

你常用的模型底部分词算法是哪一种？

#子词分词 #BPE #WordPiece #SentencePiece #NLP #大模型 #分词算法