夜雨聆风学习资料网

ARTICLE · 1014476

哪个 AI 更好用?有个土办法,你自己就能测

哪个 AI 更好用?有个土办法,你自己就能测
01
五个 AI 一起画
我让五个 AI 各画一只骑自行车的鹈鹕,看谁画得好。

有两家交出来的鹈鹕,手都没了——车把是空的,没人扶着。

原因是昨天腾讯科技发了篇文章,讲一只鹈鹕。

我转给我老公看。他读完了,说:没看懂,你再给我讲讲。

我讲了一遍,他说:原来是这样。

我讲的其实就一件事——现在的 AI 这么多,你怎么知道该用哪个。

这里头有个挺好玩的办法:让不同的 AI 做同一道题,把做出来的东西摆在一起看。

现在 AI 一家接一家,每出一个新的都说自己更强,比谁谁强多少多少。

可这话你信不信?

看完那些分数,还是不知道该用哪个。你要拿它干什么,那些分数未必替你回答了。

有专业的评测工具,但那些参数你我都看不懂。而且还有一层:厂家知道大家在用什么题考它,它可以专门冲着那些题去优化。

考试题提前泄了,分数就不作数了。


还有个理由:它会悄悄变笨

我总怀疑,这些厂家有时候会让模型少想两步。

为什么?算力就那么多。新模型一发布,所有人一窝蜂涌过去,旧的那边就紧张了。

而且我们大多数人买的是套餐——一个月固定这些钱。让它少想两步,省下来的就是厂家的。

它是有这个动力的。

可你我发现不了。

你只会在某一天突然觉得:这东西今天怎么变笨了。昨天还好好的。

但你说不出来,也拿不出证据。


于是有人想了个土办法

同一道题,喂给所有模型,看谁做得好。

这次,我在自己电脑上试了五组——五个应用,底下的模型和思考档位各不相同。给它们的活儿,是做一只骑自行车的鹈鹕。

还得动起来。腿要交替踩踏板,车轮要转,围巾要飘,远处的山和近处的地面,要以不同的速度往后退。

听着有点无聊。但好处也在这儿:不用读代码,你就能盯着它的脚看——到底踩在踏板上,还是在空中蹬。

鹈鹕骑车这个点子不是我出的。早就有人拿它来试 AI 了,当时让 AI 用代码画图,我这次用的是动画题。他挑鹈鹕,一是他自己喜欢鹈鹕,二是他猜网上还没什么鹈鹕骑车的图,能被喂进训练数据。

下面就是五个结果。用的应用、模型和思考档位不一样,都标在图上方了。不过标法不一样:DeepSeek 网页版只标了有没有勾深度推理,用的到底是哪个模型,它没说;WorkBuddy 那边倒是把 v4.1 Flash 写在脸上了。 这次只看它们各自交出了什么,不排模型总榜。

1. DeepSeek 网页版 · 深度推理模式

紫色的天,红色的车,一只嘴巴很大的白鸟,骑在落日旁边。

2. WorkBuddy · DeepSeek v4.1 Flash

也是黄昏。这只身子往前探,两条围巾尾巴甩在后头。手搭到车把上了,脚也踩在踏板上。

3. 豆包工作 · 豆包 2.1 Turbo · 高

换成了大晴天。鸟小了,车显得大,旁边是一排圆树。

4. Codex · ChatGPT-6 Astra · Ultra

左上角还多写了一句话:“风吹到哪里,就骑到哪里。”手搭在车把上,脚也在踏板上——那行字是它自己加的,没人要求。

5. Claude Code App · Opus 5 · Max

这只骑过了小房子和雪山,后轮旁边还带着一点扬起来的灰。手是分层的羽毛,搭在车把上;脚清清楚楚踩在踏板上。

我自己感觉做得最好的还是 ChatGPT 的 6 Ultra,当然我是在 Codex 里边那个做的。那个DeepSeek 的网页版,还有那个豆包工作的,那个手都没了。同样是 DeepSeek,WorkBuddy 里边的 DeepSeek 表现就很好。我猜,WorkBuddy 这种工程化系统对 AI 是有优化的。比较意外的是 Claude Code 的那个作图功能,之前它这个 Claude Code 一直作图很烂,那个可以说是没什么图形模型。


五段都截取了六秒,转成循环动图。没有修动作;GIF 压缩后的渐变颜色,会和原网页有些差别。


你可以照着做

想玩一下,下面这段可以直接复制。找你手边能打开的两个 AI 就够了,不用为了这只鸟再买个会员。

创建一个 HTML 文件,用 SVG 绘制一只鹈鹕骑自行车的 2D 动画。

要求:车轮转动;鹈鹕踩踏板,腿要交替;围巾迎风飘动;背景有视差滚动。

单文件实现,不引用任何外部文件,打开就自动播放。

只输出完整代码,不要解释。

三条要注意:

  1. 每个 AI 都新开一个对话,别接着之前的聊
  2. 只要第一次给你的东西——不追问、不说「再改改」
  3. 把用的模型和思考档位记下来。以后再测,尽量保持一致

第 2 条最要紧。一旦你开始追问,比的就不是模型了,是你会不会提要求。

下面这一步在电脑上做。

如果它直接给了 HTML 文件,下载下来,用浏览器打开就行。要是只给你一大段代码,也别急:

Windows 用记事本;Mac 用“文本编辑”,先选“格式 → 制作纯文本”。
复制代码进去,不要把代码框外面的三个反引号也复制进去。
保存成 pelican.html。Windows 的“保存类型”选“所有文件”;

Mac 保存时不要自动加 .txt。最后的名字不能是 pelican.html.txt。

用浏览器打开这个文件。

双击没打开的话,把文件拖进浏览器窗口。

比较的时候,每个 AI 都新开一个对话,发同一段话。先把第一遍的结果留着,再改也行,改完的另存一份。这样能分清,它头一遍做到了哪儿,后来又修好了什么。

看结果也别光挑画得漂亮的。文件能不能打开,要求的几个动作有没有做,脚和踏板对不对得上,都看一眼。


它最值钱的地方,其实不是帮你挑

挑出哪个更强,只是顺带。

真正有用的是:过一阵子,你再拿同一道题去问同一个 AI。

昨天鹈鹕骑得好好的,今天腿开始踩空了——这你看得见。

你终于能说出「它不对劲」,而且拿得出证据。

一次做砸,先别急着说它变笨了。多试几次,看是不是总卡在同一个地方。

不用去看专业评测,也不用去问身边懂 AI 的朋友。

可这五只鸟,替你回答不了“哪个 AI 写周报好”。

换一道你用得上的题就行。比如拿一封去掉了姓名、单位等敏感信息的邮件,让两个 AI 都改短一点。你原来想说的事还在不在,语气合不合适,哪一封少改几笔就能发——这些你能判断。

先拿你真的要做的事试。你是要用它干活,又不是替它考第一。


你有没有过那种感觉——同一个 AI,今天怎么好像变笨了?


本文动图来自 AI 生成的网页动画,经录制、压缩制作。

这五只鹈鹕,你觉得哪只骑得最像?评论区报个编号就行。

往期

我爸天天用豆包,他不知道那是 AI

AI 写的公众号文章不满意?先别急着让它重写

为什么你订的 AI 日报,看两天就不看了

我想做个 AI 产品,别人写 8 个字就搞定了

我 10 点 42 分发的文章,AI 说我今天什么都没干

相关学习资料