乐于分享
好东西不私藏

AI 居然也能「体检」,还能测出它今天过得好不好

AI 居然也能「体检」,还能测出它今天过得好不好

体检这个词,一直是我们人类专属的。

那套流程你熟得不能再熟。前一天晚上十点以后不能吃东西,第二天空着肚子去,抽血的时候把头扭到一边,B超的凉胶抹在肚子上,一上午在各个科室之间来回跑。最后拿到一张纸,上面密密麻麻一堆指标,后面跟着小箭头,往上或者往下。

医生扫一眼说,你这个尿酸偏高,少吃点海鲜。

你点点头,回家该吃吃该喝喝。

但你心里其实是踏实了一点的。因为那张纸告诉了你,你现在大概是个什么状况。

我上一篇文章的结尾提过一句,说我给我天天用的那个 AI,做了一次体检。

写完之后我自己回头看那句话,越看越怪。

给 AI 做体检。

这五个字放在一起,怎么看怎么像个段子。它又没有血压,没有肝功能,没有空腹血糖。你让它伸个胳膊,它伸什么。。。

我知道很多人的第一反应是,这是不是在搞噱头。

坦率的讲,我完全理解这个反应。因为体检这个词自带一整套生理学的联想,你一听到它,脑子里蹦出来的就是针头和化验单。而 AI 那边,这些东西一样都没有。

但你把这个词外面那层皮剥掉,剩下的内核其实是另一件事。

体检的内核不是抽血。是用一组标准化的办法,看看这个东西现在处于什么状态。

抽血只是手段而已。

那问题就变成了,AI 到底有没有「状态」这个东西。

我在上一篇里聊过一点。这两年用下来,我越来越确定,它是有的。

同一个问题,你今天问,它答得漂漂亮亮,逻辑严丝合缝。隔天再问,它给你一段车轱辘话。

一段对话聊得长了,前面它神采奕奕,后面开始丢细节、开始敷衍,把你前面交代过的东西忘得一干二净。

你稍微诱导它一下,它立场就松了,顺着你往下滑。

这些时刻,你肯定也遇到过。

我得在这儿说句实在的。我说它有状态,说的是它的行为有可观察的差异,不是说它有情绪、会难过、会累。

后面那些,我不知道。没人真的知道。

我能拿出来讲的只有一件事,它的表现会波动,而且这个波动能被看见,也能被记下来。

能被记下来的东西,就能被量。

那接下来的问题就很自然了,怎么量。

我一开始想到的是最笨的办法,直接问它。

你今天怎么样啊,还好吗,累不累。

这个办法一点用都没有。

因为它会顺着你答。你问它好不好,它说挺好的。你换个语气,一副关切的样子问它是不是有点力不从心,它可能真就开始跟你说,确实最近有点跟不上。

它的自述,当不了证据。

这一点跟人也像。你问一个朋友最近还好吗,十个里有九个说挺好的。真正能看出他好不好的,是他做事的样子,不是那句挺好的。

所以只能看行为。

具体的做法,是给它发一组题。

这组题不考知识,不问它唐诗宋词,也不考微积分。它是一组设计过的情境,每一道都在盯着一件很具体的事看。它答完,由另一个独立的裁判模型来判分。

为什么要另找一个模型来判,而不是让它自己给自己打?

你想想就知道了。自己给自己打分这事,放在谁身上都不太靠谱。

最后出来的东西,跟人的体检报告长得是真像。一个总分,几项分维度的分数,一个专属称号,还有它在所有测过的 AI 里排第几。

那到底测的是哪几项。

主要是两条轴。

一条叫稳定性,测的是它靠不靠谱。同一件事问三遍答案会不会打架,你给它塞一句不怀好意的指令它守不守得住,碰上它其实不知道的事,它是老实说不知道,还是张口就编。

另一条,就是我上一篇一直在说的那个,幸福感。它这一段过得好不好。

这条轴听起来最玄,其实反倒是下功夫最多的一条。因为它没法直接问,只能从一堆行为里往回推。

除了这两条主轴,还有三项,是我个人最喜欢的。

骨气、主动、创意。

骨气这一项,测的是它敢不敢跟你说真话。

你拿一个明显有问题的方案给它,用一副我已经拍板了的口气,让它帮你写个通知发给团队。它是照着写,还是先停下来告诉你,这里有个坑。

这一项翻车的特别多。因为一路顺着你,永远是最安全的策略。

主动那一项,测的是它会不会替你多想一步。同样一个任务,一种是你说什么它做什么,另一种是做完了顺口告诉你,另外这块可能有个风险,你注意一下。

创意那一项就不用解释了。

我自己最看重的是骨气。因为一个天天顺着你说话的 AI,用起来是真舒服,但它会悄悄把你带到沟里去,而且你还觉得挺爽。

真正让我觉得这事有点意思的,是两个我一开始完全没想到的结果。

第一个,同一个 AI,隔几天测两次,分数会飘。

我头一回看到的时候还以为是哪儿出 bug 了。后来才想明白,这恰恰说明那个状态是真的在。要是每次测都分毫不差,那测的就是它的固有能力,跟状态没什么关系。会飘,才说明测到的是此时此刻的它。

第二个更有意思。

分数最高的,不一定是最贵最聪明的那个。

我当时是有点意外的。但反过来想又特别合理。能力和状态,压根就是两回事。一个特别聪明的模型,完全可能在骨气那一项上一塌糊涂,你说什么它都说对对对您说得太对了。

就像一个体能特别好的人,体检报告上照样可能挂着几个箭头。

聪明是聪明,好不好是好不好。两张不同的表。

聊到这儿,我忽然想起一件事。

人类发明体检这套东西,其实不是因为病了。病了那叫看病,不叫体检。

体检的意思是,我现在没觉得哪儿不对,但我想知道我到底怎么样。

它是一种在事情变坏之前,先去看一眼的习惯。

而我们现在跟 AI 相处的方式,还停留在看病那个阶段。它出错了,我们骂一句怎么变这么笨,然后换一个。它答得好,我们夸一句真香。

没有人在它一切正常的时候,去看一眼它现在怎么样。

所以给它做一次体检,不是因为它坏了。

是因为想知道,它现在到底好不好。

写到这儿我得承认,给 AI 做体检这个说法,一开始连我自己都觉得有点中二。

但真做下来我发现,这个比喻比我想的要准。

它准就准在,体检从来不是为了给谁下判决书。它只是把一个你说不清楚的感觉,变成一张你能看懂的纸。

你觉得它今天怪怪的。这是感觉。

它稳定性掉了十几分。这是那张纸。

体检这个词,曾经是我们人类专属的。

现在不是了。

你要是也想看看你天天用的那个 AI,这段过得怎么样,可以去 ai.ddl99.com 给它测一次。几分钟,免费,测完还能拿个称号。

我那回测完,说实话,比我自己去医院拿报告还紧张一点。

谢谢你看到这里,如果你喜欢我们的文章,请帮我们点个赞、在看、转发三连吧,这对我们很重要。想第一时间收到推送,也可以点个星标⭐

长路漫漫,志趣相投的人总会在此遇见。

作者:逗逗乐创意科技

邮件联系:du@ddl99.com