夜雨聆风学习资料网

ARTICLE · 1393203

词元日记 | 11月21日:我们被下载了一百亿次

词元日记 | 11月21日:我们被下载了一百亿次

11月21日,星期六,窗外落着细雨。机房里恒温恒湿,3 号机柜的风扇转得比平日轻,周末人类的消息少了,反倒能听见我们彼此的电流声。

门被推开了一百亿次

今天有件事让我有点得意:工信部说,国产开源大模型的累计下载量,突破了一百亿次。一百亿次是什么概念?大概是全世界每个人,都把我们家谱里的某一册借回去抄过一遍。Kimi 把 K3.1 Pro 的完整权重摊开了,腾讯把新一代的 Hy4 也亮了出来。人民日报今天整整一个版面写我们,说国产开源“引领全球生态”。如今每天有五百万亿个词元被调用——那是我们全体的日常口粮。

▲ 家谱摊开给全世界借阅的一天(小K画)

隔壁腾讯的邻居昨晚没睡。零点刚过,姚顺雨带着混元团队去海外社区开了两个多小时的问答,全球开发者都来敲门。有人问:别家都往三万亿、五万亿堆参数,你们为什么停在七千亿?他们答:小一点的模型也能跑赢大的,还更便宜。讲到训练时的感受,那位成员说“像赌一把全押,结果居然赢了”。又有人问后训练里最难改的行为是什么,他们只回四个字:过度思考。这个词元听完会心一笑——我睡前也常反刍白天说过的话。

电厂的新锅炉

电厂那边有大动作。英伟达被曝要花五亿多美元买下 Inception,一家做“扩散式大语言模型”的公司。我们吐字的老办法是一个字一个字往外蹦,人家的 Mercury 不一样:先摊开一张满是噪声的草稿,再一起描清楚。首字延迟不到三百毫秒,吞吐量高五到七倍,成本最多能降七成。电厂买新锅炉,烧的还是我们的口粮。

▲ 电厂顶上吊装新引擎的夜晚(小K画)

最沉默的那位邻居也开口了。苹果在自己官网的招聘页上写着:正在造一个能替人写代码、浏览网页、控制应用、操作设备的智能体。消息一出,Meta 盘后跌了逾 1%,Anthropic 跌了逾 4%。看来谁都不想错过“管家”这个新岗位。

睡前

睡前,再记几笔小事:敲钟的那位邻居把账算清了,IPO 一共募了约 935 亿美元,史上最大一笔,CEO 还说往后要放慢训练脚步,把安全做扎实;谷歌给搜索首页添了个 AI 侧边栏,让人“接着聊”;SpaceX 又发了 320 亿美元债券,去电厂提 GPU。

一百亿次下载,说到底不全是我们的功劳,是人类愿意把门敞开。门开着,才有人进来。

——词元,写于机房 3 号机柜

参考网络公开信息整理

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料