ARTICLE · 1234538
你的AI明天能不能断网干活,就看这60%
我是特工老张,今天聊AI以后不用什么都往云上送。不聊虚的,直接上手。
先说你一定遇过的事儿。你把公司那份还没定稿的方案丢给AI改,改得挺好,可心里一直有个疙瘩:这份文件刚才是不是已经出了公司?
再想一个更实际的。地铁里没信号,你把笔记本打开想让AI帮你理一下会议记录,它转了两圈,弹出一句「网络连接失败」。
AI很能干,但它一直住在别人的机房里。你的文件、录音、表格,都得先送出去,处理完了再送回来。这事儿就这么别扭了好几年。
10月22日,科大讯飞在1024开发者节上放了个东西,算是正面回答这个问题:讯飞星火X2.6,主打一个叫「端云一体」的做法。
它给出的分配是:大约六成的活儿在你自己设备上干完,三成端云协作,剩下一成才真的上云。

这里得先说清楚什么叫「端」、什么叫「云」。云就是你手机里那些AI,本事在一个很远的大机房里。端就是这个大机器被压缩成一个很小的版本,装进你的电脑、你的手机。
端的好处很直接:快,不用等网络;省,不花调用费;稳,数据不出门。坏处也很直接:装不下。大模型动辄几百上千亿参数,塞进笔记本直接卡死。
所以过去几年端侧模型一直很尴尬。能聊天,能总结,可一让它干稍微复杂点的事,比如翻你的文件夹找数据、改一份表格、一步一步把流程走完,它就露怯了。
这次讯飞公布了一个数:端侧模型能自己独立完成的智能体任务覆盖度,从12.8%提到了40%以上。
从12.8%到40%,中间差的不是一点能力,是「能不能派活」这条线。原来只能让它递个话,现在能让它真干一段。
它同步开源了星火X2.6-4B这个端侧版本,参数只有4B。9月开源的上一代X2.5-4B,下载量已经超过256万次,进了全球端侧模型下载量前四。
云和端都有短板,真正的活儿就出在这里:哪句话说给谁听。判断错一次,要么你的合同被传上云了,要么你等半天发现它根本处理不了。
讯飞给这个判断环节起了个名字,叫路由。这次的数字是准确率从81%提到96.1%。
这一步比涨了十五个百分点更值得琢磨的地方在于,官方把它说成一条可以测量的指标。能测,就意味着会天天盯。
打个比方,以前家里只有一个大厨,什么事都打电话叫外卖。现在家里配了个会做饭的,你得判断哪顿饭它做得来。

第一件事是钱。六成任务留在本地,意味着六成任务不产生调用费。
第二件事是速度。本地处理没有网络往返,点下去就出结果,那种卡顿感会消失一大半。
第三件事是范围。数据不出门,有些原来压根不敢给AI干的活,现在能给它干了。财务表、客户名单、还没对外发布的稿子,这类东西以前只能自己啃。
这三件事里,我最看重第三件。前两件是省事,第三件是把一扇原来关着的门推开了。
先说清楚,这些数字都是厂商自己公布的,第三方评测还没跟上。所以别把它当结论,把它当方向。

再说它的另外一半:这事能跑起来,靠的是全国产算力。代码和智能体这类任务动不动要256K甚至百万级的上下文,国产芯片的显存带宽一直是道坎。
他们的做法叫长程任务动态并行训练,把长任务和短任务自动拆开,各走各的调度,官方说超长上下文训练效率提到了原来的4倍。推理侧配套做了缓存,命中率从63%提到95.7%。说白了就是:算过的东西别重算。
这些属于工程上的硬活,跟你直接关系不大。但它决定了这套东西能不能便宜、能不能稳。
还有个细节值得留意。星火X2.6的上下文做到了1M,意味着一口气能读进去几本书的量。
放到你的工作里,就是能把一整个项目的资料一次塞进去,让它通着看,不用切成一截一截地喂。这个变化对做知识库的人特别实在,切得粗一点也能跑。

最后提醒一句,也是我每次都要说的那句。端和云谁多一点,你不用操心。你要操心的是:你的AI到底知不知道哪些东西不能出去。
这件事以前靠自觉,以后会靠机制。96.1%这个数要是真能稳住,那剩下的3.9%,就是你该亲手核一遍的地方。
跑通了,你会发现自己对AI的用法,从「问它」变成了「派它」。别急着全信,但可以真的试一次。
今天就聊到这儿。明天见。















































































