夜雨聆风学习资料网

ARTICLE · 1189182

你下载的“大模型”,其实只是一堆数字——

你下载的“大模型”,其实只是一堆数字——

你下载的“大模型”,其实只是一堆数字——

你下个大模型,打开文件一看——全是小数,一个汉字都没有。可你问它“巴黎是哪国首都”,它秒回“法国”。

这堆数字里根本没写这句话。它靠的是权重文件:训练调优后的参数。

一开始这些数字全是随机的。喂海量文本让它猜下一个词,猜错了就反向传播,每个数字往让错误变小的方向挪一点。重复几万亿次,参数就被调到能预测语言的状态了。不是记住了原文,是把知识压缩成了参数。

但你下的从来不止这一个文件。还有个坑:我当初以为只有那个大文件重要,随手把 config 和 tokenizer 删了。结果权重还在,模型却变成了一堆读不懂的随机数。

原来这三件套缺一不可:结构图纸管模型长什么样,分词器管文字怎么切成编号,权重本体才是学到的全部参数。缺了前两个,几百亿个数字就无从解释。

最反直觉的是,单个数字拿出来毫无意义。但几百亿个组合起来,语言能力就涌现出来了。意义是整体涌现出来的。

原文你下载的“大模型”,其实只是一堆数字——它凭什么会聊天?
收录于白话AI
广东,1小时前,

相关学习资料