App住进一个离线AI：MNN-Pocket量化后173MB

阿里淘天 MNN 团队挂了个“口袋模型”，173MB，断网随便用。

大小就一首无损歌。iPad Pro M5 上每秒吐 466 个字，比多数云端 API 还快，还不收 token 费。11 项基准平均分 50.00，压过好几个 0.5B、0.6B 的大个子。

它强在干活：中文指令、写代码、做数学题都压过大一号的对手。短板也直白——纯知识考试翻车，C-Eval 才 38.86，不如 Qwen3-0.6B。

为啥又小又快？它不是训完大模型再砍一刀，而是模型结构和推理引擎从一开始就一对一订制。量化也是训练阶段就提前适应低精度，体积砍到四分之一，智商几乎没交学费。

对开发者，App 里塞个离线 AI 助手成了；对行业，端侧 AI 的问题从“能不能做”变成“值不值得做”。

不过别神化。3 亿参数就是天花板，重度知识问答还得靠大模型；速度全是官方自测，长文本下啥表现还没给。

最值得盯的是这条路线：当推理引擎厂开始亲自“生”模型，各大模型家族会不会连夜给自己安排一个“亲生的端侧崽”？
#app离线助手 #手机离线助手