5月30号,江苏的顾女士收到一条闲鱼私信。
有人问她:「你敢6000卖博物馆的镇馆之宝?」
顾女士一头雾水地点开自己的闲鱼主页,上面赫然挂着一件文物——陕西历史博物馆的镇馆之宝「唐鎏金舞马衔杯纹皮囊式银壶」。
标价6000元。
配文:「整体包浆自然」「适合收藏或陈设摆件」。
全部由AI生成。
顾女士从头到尾不知道这件事。她不记得上传过这张照片,没点过「上架」按钮,也没见过任何确认弹窗。
等她知道的时候,AI已经把文物挂出去开卖了。
事情上热搜后,有记者实测了闲鱼AI相机的完整链路。
拍照 → AI识别「杯子」→ 生成描述 → 综合市场行情自动定价 → 直接上架。
全程不超过5秒。
记者上传了内蒙博物院的两件馆藏:战国鹰顶金冠饰,被AI估价1200元,配文「三国冰河时代,纹饰清晰」。辽代玻璃高足杯,标价80元,变成「带气泡纹和描金口沿的桌面装饰」。
从拍照到挂上交易页面,没有任何弹窗问:「您确定要卖这个吗?」「这件东西确实是你的吗?」
一次确认都没有。
闲鱼后来道歉了。官方说法是:「相关商品系AI将图片识别为普通文玩商品,并生成建议标题、描述等信息。」
翻译一下:AI认错了。
但这个解释漏掉了真正的问题。
整条链路从设计那天起,就没有「问用户一声」这个步骤。
读到闲鱼道歉声明的时候,我正坐在电脑前准备写今天的文章。
本来打算看完就继续干活。但我把声明又读了一遍,然后做了一件事——我打开了自己的写作系统。
不是查bug。我想查一件事:有多少环节,AI在做和我无关的决定。
我开始一个一个翻。
翻到资产回复那块,我随手点开了一个预览。
404。
链接被删了。不是我删的,可能是飞书文档的权限在某个我不知道的时间点过期了。但重点是:这件事已经发生了一个多月,我不知道。AI在持续给读者发一个打不开的链接。
我突然意识到一件事。
闲鱼的AI没有识别错图片。我的AI也没有写错链接。
我们犯的是同一个毛病:把AI设计的链路,当成了「不管也没事」的自动传送带。
传送带一开,谁也不看上面运的是什么东西。
我开始系统地检查整条链路。三个环节,三种不同的翻车方式。
选题那块,我的问题是「AI推荐的理由太像人话了」。
Hermes每天会从四个热榜抓标题,然后推三个重点选题。它不光推标题,还会写推荐理由——「该热点与账号定位高度匹配」「可衔接前序系列」「资产沉淀性强」。
看着像模像样。有两次我就是因为理由写得太好,选了它推的选题。写完初稿才发现方向根本撑不起一篇完整的建造日志。AI找到了「表面匹配」,但它不知道什么叫「能写深」——它没写过文章。
来源那块,我的问题是「我默认了AI的排序就是优先级」。
我曾经搭过一张来源可信度判断表,专门查链接能不能打开、域名靠不靠谱。但我从没查过另一件事:AI把什么排在了搜索结果第一页。它可能会把观点偏颇但SEO做得好的来源放在最前面,而我第一眼看到的就是它。
资产那块的问题——404链接那件事——其实最早是我偷懒埋的雷。资产生成完后,我从来没有在发给读者之前亲自打开确认一遍。AI说「生成好了」,我就信了。
三类问题。三种我以为「AI会告诉我」但AI根本不知道需要告诉我的东西。
选题能写多深——AI不知道。
来源排序有没有偏——AI不知道。
链接能不能打开——AI也不知道。
没有人问它这些。
它只是在往前跑。
有一瞬间我想给它每个环节都装一套复杂的审批流——选题审批、来源审批、资产审批,三张表,六个节点。
画到一半,我把那张图推开了。
烦。真的烦。
一人公司的内容系统本来就只有一个人,如果AI每走一步都要填一张审批表,我就不是在用工具——我变成了工具的审批员。
我重新想了「确认弹窗」应该长什么样。
真正的确认弹窗不是多一道审批。
就是多一句话。
那句话会让AI停下来。那句话不是「你确定吗」——太模糊了,对AI来说「确定」是个可以被合理化的词。那句话必须足够具体,具体到AI没法替你回答。
我最后装了三个。
第一个,装在选题和初稿之间
选题不只是「选」。在开始写之前,把选题的3个关键词拆开,逐一问自己:「这条选题能撑起一篇有转折有系统的建造日志吗?」
能,就写。不能,退回选题池。
多花五分钟。但这五分钟的产出,是一篇不会被废掉的初稿。
第二个,装在来源表和正文之间
AI不需要填审批表。我需要做的很简单——开始用来源之前,自己点开搜索结果前三名。就三个。那张可信度表已经验证了链接可用性。我点开是为了亲眼看看AI把什么排在了最前面。
这花不了三分钟。
但你点开之后会发现一件事:AI推给你的那个链接,是「最可能被点击」的,不是「最好」的。这俩一毛钱关系没有。
第三个,装在资产文件和关键词回复之间
这个最简单——也是我最容易跳过的。资产生成完,自己复制关键词发给自己的小号。确认能打开。确认内容是你想给读者的。
三十秒。
这套弹窗系统跟我想象中的「自动化安全审查」完全是两回事。没有审批链,没有多节点,没有流程图。
就三句话,三个动作,加起来不到十分钟。
但每个弹窗都在做同一件事——AI往前跑的时候,在路上放一个人类能回答、AI答不了的问题。
闲鱼道歉后说会加强「商品上架前的用户确认机制」。
花了1200万用户和一次热搜才换来这个弹窗。
你不用等热搜。
我写这篇文章之前,把自己的系统从头到尾查了一遍,找到三个AI在替我做主的暗门。修完以后,把它做成了一个简表——三步检查,一个下午就能跑完自己全部自动化链路。
它不是另一张「AI使用规范指南」。就三个问题,每个问题对准一个AI替你决策但你不知情的节点。三问全过,你的系统至少不会在不知道的时候替你把文物挂上去卖。
关注独立造物局
回复「安全阀」,领取「AI代理安全审查清单」基础版。
三个问题,对准你系统里AI替你做主但你没察觉的节点。
独立造物局
一个人,正在从零搭建一套AI内容生产系统。
记录真实踩坑、可用工具、可复用的工作流。
写给想用AI减少重复劳动、把内容变成资产的独立创作者。
夜雨聆风