夜雨聆风学习资料网

ARTICLE · 1144871

AI助手给自己招了个快脑,专做选择题0.1秒一个

AI助手给自己招了个快脑,专做选择题0.1秒一个
AI 助手以后可能由两种脑子搭起来:一个会聊天的慢脑,加一群只做选择题、0.1 秒一个的快脑。

你有没有注意过,客服主管每天最耗神的,其实不是回答问题。

是消息一涌进来,先得在脑子里过三连:这事儿归哪个部门?急不急?这位用户是随口一问,还是已经火了?一家稍大的公司,这样的判断每天要重复几千次,判错一个,一封投诉信就在部门之间踢三天皮球,用户从有点烦变成要退款。这种困境也不止客服一家,医院的导诊台、政务的热线、电商的售后,凡是要先把人接住、再分对地方的岗位,都被同一件事磨着。

这两年 AI 都能写方案、做表格了,主管们把分诊活儿交给它,效果却不太对。它能给你分析一大段,慢、贵,偶尔还一本正经地冒出一个根本不存在的第四个部门。让一个什么都能聊的大模型去做选择题,多少有点像请大学教授来门口站岗,不是不行,是又慢又浪费。

10 月6 日,亚马逊云的 Strands 团队把一个新东西开源了,名字叫 Strands Decider。

它不聊天、不写文章,是一个只做选择题的决策模型,团队给它起了个外号叫一号系统模型。这个外号借的是心理学里的说法:人脑里有一套快直觉,听到二加二脱口而出四,不用费力;另一套慢思考,才算复杂的账。他们想让 AI 也有一个专门管快判断的部件。

它有多大?约 20 亿个参数。参数你可以理解成模型脑子里旋钮的数量,如今能聊天的大模型,普遍是它的几百倍体量。这个品类的开创者另有其人,本月早些时候,一家叫 TypeSafe 的公司先放出一个叫 Jev 的模型,专做这类判断,让不少人第一次意识到这是个空缺。同一周,OpenAI 也把自己的决策接口放进公测,官方文档写明,这类判断比常规接口快约 10 倍。一个开源、一个商用,同一件事几家一起动手,方向就很清楚了。项目主页和代码都公开在网上,谁都能免费用、随便改,拿去做生意也不用交钱。

它是怎么把一个聊天模型变成选择题专员的?拆开看就两步。

第一步,团队先拿来一个现成的 20 亿小模型,来自阿里通义千问的开源小模型,把它往外蹦字的那张嘴整个卸掉。没了这个部件,它从此一个字都写不出来,自然也不会编话。

第二步,给它换上一个很小的指认器,体量只有约 100 万个旋钮,占整个模型的零头。题目把选项一条条摆好,它把整道题扫视一遍,直接指出最可能的那个,全程只过一次脑子,不用一个字一个字往外憋。

这有点像考试。写命题作文,得一字一句地写,写错了还得涂改;涂答题卡,选项都印好了,你一眼看完题、直接涂格,又快,又不可能写出格。

它到底好不好用,项目文档里给了一套实测。

有一道演示题,输入是用户的一句话,说自己的打款连续失败三天了。它一次给出三个判断:该归结算团队,把握八成九;确实紧急,把握八成七;用户的状态是沮丧,而不是平静或者已经崩溃。三个判断,同一段话只读了一遍。为什么一次问三个还这么便宜?它读懂一段话和回答问题是两笔功夫,读懂只花一次,后面每多问一个问题,只多添问题本身那几个字,几乎等于白送。

团队还举了个天气的例子。AI 助手想调用查天气的工具前,先过两个是非题:知道是哪个城市吗?不知道就先开口问人,而不是随手猜一个城市,把错天气发出去。

一套第三方出的决策考卷共 231 道题,它答对了 176 道,约七成六。拆开看更说明问题,简单题全对,中等题对九成三,真正绕的难题对五成五。

速度单独算一笔。一张游戏显卡上,一个判断中位耗时约 0.1 秒;换成 M3 芯片的苹果笔记本,约 0.15 秒。题目越长越慢,时间几乎是一条直线,不会突然卡住。

它还有个特别的本事,给每个判断都配了一个把握分。文档里写明,凡是它报出九成以上把握的答案,大约 95% 时候真是对的;把握不够的,就该交给人再看一眼。

它也不是一次就做成的。团队把十几个版本的成绩都留着,准确率一路往上,靠谱程度也跟着变好,今天这个版本背后是二十一轮打磨。

那这事跟不写代码的你有什么关系?

你以后用到的 AI 助手,很可能由一套分工来完成:需要聊天、解释、拿大主意,找那个会思考的慢脑;遇到归类、分诊、检查这种重复了一万遍的小事,交给快脑,0.1 秒一个,成本几乎可以忽略。

人干什么?干它没把握的事,干要签字、要担责任的事。

当然也别神化它。想让它陪你聊、帮你写、处理从没见过的复杂局面,它一个字都吐不出来,还得请大模型上场;难题上五成五的正确率,也意味着不能闭着眼信。

以后你再挑这类 AI 工具,不妨多问一句:那些重复的小判断,它是让大模型硬做,还是背后另有一个快脑?前者又慢又贵,后者才真正用得起、铺得开。

我自己最直接的感受是,比起变得更聪明,AI 更该做的是把那些不值得动用聪明的小事,悄悄接过去。

让快的归快,慢的归慢,把拿主意的时间和担责任的位置,一起留给人。

相关学习资料