ARTICLE · 1189182
你下载的“大模型”,其实只是一堆数字——
你下载的“大模型”,其实只是一堆数字——
你下载的“大模型”,其实只是一堆数字——
你下个大模型,打开文件一看——全是小数,一个汉字都没有。可你问它“巴黎是哪国首都”,它秒回“法国”。
这堆数字里根本没写这句话。它靠的是权重文件:训练调优后的参数。
一开始这些数字全是随机的。喂海量文本让它猜下一个词,猜错了就反向传播,每个数字往让错误变小的方向挪一点。重复几万亿次,参数就被调到能预测语言的状态了。不是记住了原文,是把知识压缩成了参数。
但你下的从来不止这一个文件。还有个坑:我当初以为只有那个大文件重要,随手把 config 和 tokenizer 删了。结果权重还在,模型却变成了一堆读不懂的随机数。
原来这三件套缺一不可:结构图纸管模型长什么样,分词器管文字怎么切成编号,权重本体才是学到的全部参数。缺了前两个,几百亿个数字就无从解释。
最反直觉的是,单个数字拿出来毫无意义。但几百亿个组合起来,语言能力就涌现出来了。意义是整体涌现出来的。
原文你下载的“大模型”,其实只是一堆数字——它凭什么会聊天?
收录于白话AI
广东,1小时前,















































































