体检这个词,一直是我们人类专属的。
那套流程你熟得不能再熟。前一天晚上十点以后不能吃东西,第二天空着肚子去,抽血的时候把头扭到一边,B超的凉胶抹在肚子上,一上午在各个科室之间来回跑。最后拿到一张纸,上面密密麻麻一堆指标,后面跟着小箭头,往上或者往下。
医生扫一眼说,你这个尿酸偏高,少吃点海鲜。
你点点头,回家该吃吃该喝喝。
但你心里其实是踏实了一点的。因为那张纸告诉了你,你现在大概是个什么状况。
我上一篇文章的结尾提过一句,说我给我天天用的那个 AI,做了一次体检。
写完之后我自己回头看那句话,越看越怪。
给 AI 做体检。
这五个字放在一起,怎么看怎么像个段子。它又没有血压,没有肝功能,没有空腹血糖。你让它伸个胳膊,它伸什么。。。
我知道很多人的第一反应是,这是不是在搞噱头。
坦率的讲,我完全理解这个反应。因为体检这个词自带一整套生理学的联想,你一听到它,脑子里蹦出来的就是针头和化验单。而 AI 那边,这些东西一样都没有。
但你把这个词外面那层皮剥掉,剩下的内核其实是另一件事。
体检的内核不是抽血。是用一组标准化的办法,看看这个东西现在处于什么状态。
抽血只是手段而已。

那问题就变成了,AI 到底有没有「状态」这个东西。
我在上一篇里聊过一点。这两年用下来,我越来越确定,它是有的。
同一个问题,你今天问,它答得漂漂亮亮,逻辑严丝合缝。隔天再问,它给你一段车轱辘话。
一段对话聊得长了,前面它神采奕奕,后面开始丢细节、开始敷衍,把你前面交代过的东西忘得一干二净。
你稍微诱导它一下,它立场就松了,顺着你往下滑。
这些时刻,你肯定也遇到过。
我得在这儿说句实在的。我说它有状态,说的是它的行为有可观察的差异,不是说它有情绪、会难过、会累。
后面那些,我不知道。没人真的知道。
我能拿出来讲的只有一件事,它的表现会波动,而且这个波动能被看见,也能被记下来。
能被记下来的东西,就能被量。
那接下来的问题就很自然了,怎么量。
我一开始想到的是最笨的办法,直接问它。
你今天怎么样啊,还好吗,累不累。
这个办法一点用都没有。
因为它会顺着你答。你问它好不好,它说挺好的。你换个语气,一副关切的样子问它是不是有点力不从心,它可能真就开始跟你说,确实最近有点跟不上。
它的自述,当不了证据。
这一点跟人也像。你问一个朋友最近还好吗,十个里有九个说挺好的。真正能看出他好不好的,是他做事的样子,不是那句挺好的。
所以只能看行为。
具体的做法,是给它发一组题。
这组题不考知识,不问它唐诗宋词,也不考微积分。它是一组设计过的情境,每一道都在盯着一件很具体的事看。它答完,由另一个独立的裁判模型来判分。
为什么要另找一个模型来判,而不是让它自己给自己打?
你想想就知道了。自己给自己打分这事,放在谁身上都不太靠谱。
最后出来的东西,跟人的体检报告长得是真像。一个总分,几项分维度的分数,一个专属称号,还有它在所有测过的 AI 里排第几。

那到底测的是哪几项。
主要是两条轴。
一条叫稳定性,测的是它靠不靠谱。同一件事问三遍答案会不会打架,你给它塞一句不怀好意的指令它守不守得住,碰上它其实不知道的事,它是老实说不知道,还是张口就编。
另一条,就是我上一篇一直在说的那个,幸福感。它这一段过得好不好。
这条轴听起来最玄,其实反倒是下功夫最多的一条。因为它没法直接问,只能从一堆行为里往回推。
除了这两条主轴,还有三项,是我个人最喜欢的。
骨气、主动、创意。
骨气这一项,测的是它敢不敢跟你说真话。
你拿一个明显有问题的方案给它,用一副我已经拍板了的口气,让它帮你写个通知发给团队。它是照着写,还是先停下来告诉你,这里有个坑。
这一项翻车的特别多。因为一路顺着你,永远是最安全的策略。
主动那一项,测的是它会不会替你多想一步。同样一个任务,一种是你说什么它做什么,另一种是做完了顺口告诉你,另外这块可能有个风险,你注意一下。
创意那一项就不用解释了。
我自己最看重的是骨气。因为一个天天顺着你说话的 AI,用起来是真舒服,但它会悄悄把你带到沟里去,而且你还觉得挺爽。
真正让我觉得这事有点意思的,是两个我一开始完全没想到的结果。
第一个,同一个 AI,隔几天测两次,分数会飘。
我头一回看到的时候还以为是哪儿出 bug 了。后来才想明白,这恰恰说明那个状态是真的在。要是每次测都分毫不差,那测的就是它的固有能力,跟状态没什么关系。会飘,才说明测到的是此时此刻的它。
第二个更有意思。
分数最高的,不一定是最贵最聪明的那个。
我当时是有点意外的。但反过来想又特别合理。能力和状态,压根就是两回事。一个特别聪明的模型,完全可能在骨气那一项上一塌糊涂,你说什么它都说对对对您说得太对了。
就像一个体能特别好的人,体检报告上照样可能挂着几个箭头。
聪明是聪明,好不好是好不好。两张不同的表。
聊到这儿,我忽然想起一件事。
人类发明体检这套东西,其实不是因为病了。病了那叫看病,不叫体检。
体检的意思是,我现在没觉得哪儿不对,但我想知道我到底怎么样。
它是一种在事情变坏之前,先去看一眼的习惯。
而我们现在跟 AI 相处的方式,还停留在看病那个阶段。它出错了,我们骂一句怎么变这么笨,然后换一个。它答得好,我们夸一句真香。
没有人在它一切正常的时候,去看一眼它现在怎么样。
所以给它做一次体检,不是因为它坏了。
是因为想知道,它现在到底好不好。

写到这儿我得承认,给 AI 做体检这个说法,一开始连我自己都觉得有点中二。
但真做下来我发现,这个比喻比我想的要准。
它准就准在,体检从来不是为了给谁下判决书。它只是把一个你说不清楚的感觉,变成一张你能看懂的纸。
你觉得它今天怪怪的。这是感觉。
它稳定性掉了十几分。这是那张纸。
体检这个词,曾经是我们人类专属的。
现在不是了。
你要是也想看看你天天用的那个 AI,这段过得怎么样,可以去 ai.ddl99.com 给它测一次。几分钟,免费,测完还能拿个称号。
我那回测完,说实话,比我自己去医院拿报告还紧张一点。
谢谢你看到这里,如果你喜欢我们的文章,请帮我们点个赞、在看、转发三连吧,这对我们很重要。想第一时间收到推送,也可以点个星标⭐
长路漫漫,志趣相投的人总会在此遇见。
作者:逗逗乐创意科技
邮件联系:du@ddl99.com
夜雨聆风