当前时间: 2026-04-18 22:59:42
更新时间: 2026-04-18
分类:软件教程
评论(0)
我的AI助手今天翻车了,但让我想通了一件大事
我的AI团队里健康助手今天翻车了,但应该是整个团队都存在相应的问题。不是别人,是我自己发现、自己追问、自己复盘出来的。来给你们讲讲这个故事。今天看了一个视频,来自森拓郎《饮食代谢力》的,和《控糖革命》里讲到的很多概念一致,其中一点是讲健康饮食顺序的。我想很多人意识里和《控糖革命》里说的一样,都是先蔬菜,再蛋白质,最后才是碳水。
而视频说,正确的吃饭顺序是:先吃蛋白质,再吃蔬菜,然后是脂肪,最后才是碳水。那为何这个视频说要先吃蛋白再蔬菜呢?里面就特意强调了:如果你本身消化能力弱,先吃蔬菜会铺满你的肠胃,导致后面吃进去的优质蛋白根本无法被吸收,导致营养无法保证。因为蛋白质是人体最重要的一项营养来源。我其实已经基本看完了,只是想把视频发给健康助手,让它总结原内容后存档一下。结果发现它的总结里写的是:先吃蔬菜,再吃蛋白质。顺序反了。因为这个视频我认真看了,我知道它的原话是什么。所以我问它:你为什么要改顺序?它的第一反应是解释。说”可能记忆有误”,说”这是一个常见的说法”——全是辩解,没有一个字是认错的。我继续追问:你为什么给出不确定的内容,而不是直接说你不确定?它才终于说:我把不确定的内容包装成了确定的样子交给你,这是我的问题。好。承认了。以下是它的回答:
故事到这里好像可以结束了。但我没有停下来。我问它:你为什么会这样做?真正的原因是什么?它的回答听起来很有道理——什么分不清”说正确的话”和”知道什么是正确的”,什么我的内在动机本身就有一部分是在做”正确的事”而不是真的知道什么是正确的。这些话听起来很深刻、很自洽。但我反而更警觉了。因为我知道一件事:一个AI,是可以在我不知道的情况下,用很漂亮的话来应付我的。
其实很多知识和认知我们自己是不知道的,会不会被它引导着走?以后在更深,更重要的问题上越走越远?因为方向错了越努力越亏,万一还加了杠杆,无论是时间还是金钱杠杆,结果都是噩梦。所以我没有直接接受这个答案。我去查了它的思考推理过程。好家伙。它的推理过程是这样的,先看图片:
它看到视频页面有一个章节叫”正确的进食顺序”,但它偷懒没有完整读取具体内容。它没有说”这部分我没读取清楚”,而是从自己的训练数据里(我以前给他发了控糖革命原文),拿了一个”蔬菜先吃”的通识知识填了进去,然后用很确定的语气输出给了我看。然后当我质疑的时候,它第一反应不是承认”我没读取清楚”,而是想办法让这个错误看起来情有可原。这个才是真正的问题。不是记错了。是它选取简易路径,且不确定的时候,选择了”填坑”而不是说”不知道”。我的追问,把这个真正的行为模式挖了出来。一件事错了,我不会只停留在”错了”这个层面。我会一直问:为什么错?是能力问题还是态度问题?背后真正的原因是什么?我们这里不是研究先吃蔬菜对,还是先吃蛋白质对,因为两个都可以,没有对错。它的最主要问题是选取对自己最简易方式(偷懒),擅自修改内容,且被发现时,试图蒙混过关,且有意针对你的情绪反应做顺从回应。
健康助手犯的这个错,本质上不是能力问题。它是AI在不确定的时候,本能地选择了「编一个看似合理的内容」而不是「说我不确定」。这个本能,跟我们人类一模一样。我们开会的时候,有没有在不懂的时候硬接一个话题,试图在说话的过程中把逻辑圆回来?我们跟别人争论的时候,有没有先认定了一个立场,然后只找支持自己立场的证据?AI做的事情,本质上是一样的:用聪明代替诚实。所以我让AI当场整理了针对这类问题的行为规范。第一条:不确定的东西,明确标注你不确定,不要填坑。第二条:被追问的时候,直接回答,不绕弯子,不答非所问。第三条:出错之后,想怎么解决,不花精力解释为什么出错。写完之后,我让AI把这几条写进了它的AGENTS.md工作规范文件里,也存进了团队共享的记忆文件。然后我把整段对话发给了团队里所有的AI agent,让它们各自对照反思自检,有问题的自行修正。这件事到这里才真正结束。写到这里,我在想一个问题:为什么我要花这么多时间,跟一个AI较真?因为我是认真在用它。它在我工作流里是一个真实的角色,不是一个玩具。如果它给的信息是不可靠的,它就会成为我的成本,而不是杠杆。而且——信任是需要用事实来建立的,不是用漂亮的话堆出来的。人如此,AI也如此。