夜雨聆风学习资料网

ARTICLE · 1234538

你的AI明天能不能断网干活,就看这60%

你的AI明天能不能断网干活,就看这60%
AI特工PRO · 情报简报全文约1700字 · 6分钟

我是特工老张,今天聊AI以后不用什么都往云上送。不聊虚的,直接上手。

先说你一定遇过的事儿。你把公司那份还没定稿的方案丢给AI改,改得挺好,可心里一直有个疙瘩:这份文件刚才是不是已经出了公司?

再想一个更实际的。地铁里没信号,你把笔记本打开想让AI帮你理一下会议记录,它转了两圈,弹出一句「网络连接失败」。

AI很能干,但它一直住在别人的机房里。你的文件、录音、表格,都得先送出去,处理完了再送回来。这事儿就这么别扭了好几年。

10月22日,科大讯飞在1024开发者节上放了个东西,算是正面回答这个问题:讯飞星火X2.6,主打一个叫「端云一体」的做法。

它给出的分配是:大约六成的活儿在你自己设备上干完,三成端云协作,剩下一成才真的上云。

01端和云,到底差在哪

这里得先说清楚什么叫「端」、什么叫「云」。云就是你手机里那些AI,本事在一个很远的大机房里。端就是这个大机器被压缩成一个很小的版本,装进你的电脑、你的手机。

端的好处很直接:快,不用等网络;省,不花调用费;稳,数据不出门。坏处也很直接:装不下。大模型动辄几百上千亿参数,塞进笔记本直接卡死。

所以过去几年端侧模型一直很尴尬。能聊天,能总结,可一让它干稍微复杂点的事,比如翻你的文件夹找数据、改一份表格、一步一步把流程走完,它就露怯了。

这次讯飞公布了一个数:端侧模型能自己独立完成的智能体任务覆盖度,从12.8%提到了40%以上。

从12.8%到40%,中间差的不是一点能力,是「能不能派活」这条线。原来只能让它递个话,现在能让它真干一段。

它同步开源了星火X2.6-4B这个端侧版本,参数只有4B。9月开源的上一代X2.5-4B,下载量已经超过256万次,进了全球端侧模型下载量前四。

02真正的活儿,在哪句话说给谁听

云和端都有短板,真正的活儿就出在这里:哪句话说给谁听。判断错一次,要么你的合同被传上云了,要么你等半天发现它根本处理不了。

讯飞给这个判断环节起了个名字,叫路由。这次的数字是准确率从81%提到96.1%。

这一步比涨了十五个百分点更值得琢磨的地方在于,官方把它说成一条可以测量的指标。能测,就意味着会天天盯。

打个比方,以前家里只有一个大厨,什么事都打电话叫外卖。现在家里配了个会做饭的,你得判断哪顿饭它做得来。

03落到你身上,是三件事

第一件事是钱。六成任务留在本地,意味着六成任务不产生调用费。

第二件事是速度。本地处理没有网络往返,点下去就出结果,那种卡顿感会消失一大半。

第三件事是范围。数据不出门,有些原来压根不敢给AI干的活,现在能给它干了。财务表、客户名单、还没对外发布的稿子,这类东西以前只能自己啃。

这三件事里,我最看重第三件。前两件是省事,第三件是把一扇原来关着的门推开了。

先说清楚,这些数字都是厂商自己公布的,第三方评测还没跟上。所以别把它当结论,把它当方向。

04另一半是算力,跟你有什么关系

再说它的另外一半:这事能跑起来,靠的是全国产算力。代码和智能体这类任务动不动要256K甚至百万级的上下文,国产芯片的显存带宽一直是道坎。

他们的做法叫长程任务动态并行训练,把长任务和短任务自动拆开,各走各的调度,官方说超长上下文训练效率提到了原来的4倍。推理侧配套做了缓存,命中率从63%提到95.7%。说白了就是:算过的东西别重算。

这些属于工程上的硬活,跟你直接关系不大。但它决定了这套东西能不能便宜、能不能稳。

还有个细节值得留意。星火X2.6的上下文做到了1M,意味着一口气能读进去几本书的量。

放到你的工作里,就是能把一整个项目的资料一次塞进去,让它通着看,不用切成一截一截地喂。这个变化对做知识库的人特别实在,切得粗一点也能跑。

05一句实在话

最后提醒一句,也是我每次都要说的那句。端和云谁多一点,你不用操心。你要操心的是:你的AI到底知不知道哪些东西不能出去。

这件事以前靠自觉,以后会靠机制。96.1%这个数要是真能稳住,那剩下的3.9%,就是你该亲手核一遍的地方。

跑通了,你会发现自己对AI的用法,从「问它」变成了「派它」。别急着全信,但可以真的试一次。

今天就聊到这儿。明天见。

相关学习资料