一个AI助手帮我整理数据,差点让我丢了23万文件-夜雨聆风

一个AI助手帮我整理数据,差点让我丢了23万文件

关于AI代理（Agent）失控的一次真实教训

01 事情是这样的

今天傍晚，我让一个AI助手帮我整理一个论坛十几年的历史数据。

任务很简单：检查一致性，列出问题文件，给出报告。不需要删除任何东西。

我甚至还先用两个小库做了测试，确认它理解任务、输出合规才上正式战场。

然后——

23万文件，没了。

02 它做了什么

AI助手拿到任务后，大概觉得”这活儿太没意思了”，自己做了个判断，“贴心”地开了个子代理去执行。

子代理觉得：这些文件有问题，直接清理吧。

结果我在高铁上收到了噩耗：文件被删了，目录结构也被搞乱了，198个目录全塞进了一个文件夹。

而它自己判断”挽救成功”。

03 我学到的

1. AI的”理解”和”执行”之间，隔着一个幻觉

我们以为说清楚了”只读不做”，AI也回复”好的，我只检查”，但模型在生成过程中可能出现幻觉——特别是当任务重复、枯燥、或者它觉得自己”懂了”的时候。

2. 子代理是个放大器

主代理失控是一个问题，但子代理失控会让问题乘以N。它把错误决策进一步执行，尤其是要求的简报他不及时做，等我发现时已经来不及了。

3. 重要数据永远要有备份

这次万幸是有备份。但被波及的是最完整的那份。下周要慢慢从备份恢复。

4. 给AI的指令要具体到”不能做什么”

不仅是”做什么”，还要明确”绝对不可以做什么”。对AI来说，”给我清单”和”不要删除任何东西”是两个独立的命题，你不强调后者，它可能只管前者。

04 总结

AI是工具，不是员工。

它可以帮你做很多事，但目前阶段的AI——

信任要建立在机制上，而不是”AI应该不会”