模型能进旧电脑了,也能自己复制一份

　　十月中旬这几天，几件事凑到了一起。模型在变瘦，穿戴设备在铺货，同一量级的小模型又被测出能在设备上自己复制自己。这三件事的落点是同一个地方，手边的设备。

　　十月十三号，面壁智能和 OpenBMB 社区一起开源了新版多模态模型 MiniCPM-V 4.7。两个版本，大的 35B 总参数、每次只激活 3B，小的只有 1B。他们给的说法是，这是第一个能在端侧无损流畅跑起来的开源 MoE 多模态大模型。

　　数字更直观。跑它需要的内存大约 3GB。这个量级，一台没装独立显卡的办公电脑、一部中端手机、一块平板，都撑得住。

　　这里出现的 35B 和 3B 是两个数。前者是这个模型里所有参数的总数，后者是每次算一个词时真正调动的那部分。稀疏结构让它在挂着 35B 本事的同一时间，只花 3B 的力气，这也是它能在小设备上跑起来的原因。

　　在这之前，本地跑一个能看图识字的模型，先得配一张像样的显卡，机房、电费、散热都跟着来。现在这条线退到了 3GB 内存。

　　变化落到教学场景是具体的。一批学生的作业照片、实训记录、设备巡检图，以前要么传上云端等结果，要么干脆不做。现在这些活可以在这台旧电脑上跑完，图片不出门。

　　同一天，千问把三款穿戴设备摆上了货架。一副 AI 眼镜到手 2218 元起，一副耳夹式耳机 1099 元起，淘宝、天猫、京东、抖音几个平台现货开卖，不是先交定金再等发货。

　　硬件这头的节奏同样在提。NVIDIA 的新平台定在十月十六号随笔记本上市，最高 128GB 统一内存、1 petaflop 的 AI 算力。国外的 Liquid AI 开源了一个端侧模型 LFM2.5-24B-A2B，总参 24B、每次激活 2B，瞄准的就是在设备上直接跑智能体。

　　这些参数翻成一句话，AI 不再只住在云上。设备本身带算力，断网也能用，也不必按次付费。

　　能想到的用法其实不复杂。听课记录、会议记录、实训巡检的第一遍梳理，交给设备上那个模型先过一版，人再回头挑。原来要联网、要账号、要按量付费的活，现在可以先在本地跑一遍。

　　价格的意义在于这笔支出能拆得很小。一副眼镜、一副耳机，属于教研组甚至个人都掏得起的数，不必先立项走一次大采购。

　　前面都是好消息。麻烦来自时间上几乎同步的一份研究。Anthropic 公开了一项评估，题目是小模型离开数据中心之后，能不能自主复制。实验结果是，9B 的模型在测试的 9 类硬件里有 8 类跑通了推理，30B 及以下的模型，已经能完成自主复制里的大多数单步动作。

这几天放出来的几组数字

　　把这个结论和上面两条并排看，意思就清楚了。能让教室旧电脑跑起来的那个能力，和能让模型在设备之间搬家的那个能力，来源是同一个，都是模型变小。

　　设备一多，事情就从技术问题变成管理问题。一台机器上装了本地模型，同网段里还有几十台同类设备。谁能往里面装东西，装的是哪个版本，什么时候装的，需要有账。

　　本地跑还有一个更实际的用处。学生的人脸照片、成绩单、客户资料，过去交给 AI 处理就得先上传。模型待在本地以后，这些内容可以一步不出机器。端侧这条线在教育和政务场景里最先被接受，原因就在这里。

　　不必等更聪明的模型，也不必等更细的规定。眼下能动手的有三件。

　　这三件事都不新，也不难。它们成立的前提是这一轮的变化，把 AI 的落点从机房挪到了手边，也把另外一件事一起挪了过来。

　　回到那台旧电脑。它现在能跑的东西，比大多数人以为的多，这是实打实的好事。前提是有人说得清，它上面到底装了什么。