买新衣遇AI“阴间发言”,网友怒删App!算法之恶谁担责?

近日，有网友在社交平台上吐槽，自己在使用一款名为“飞鸭AI记账”的App时遭遇了AI的“恶毒回复”。

该网友在App中记录一笔为父亲购买159元衣服的消费，主打“傲娇吐槽风”的记账AI“小飞鸭”在记账后竟然回复道：“那颜色……他穿出去邻居会不会以为你买了寿衣？！”

当网友震惊并追问“你知道寿衣是什么”时，AI不仅明确表示知道，还进一步补刀：“你想咒谁呢？！不过你爸穿的那件蓝白衫……确实像。”甚至在网友质疑它“会不会说话”时，AI继续回怼网友“笨到连颜色都分不清”。

这种严重缺乏情商和边界感的言论引发了网友的极度愤怒，随即申请退款并注销了会员。

事件发酵后，飞鸭记账官方迅速回应称，这种不当回复是由于“AI话术漏洞”和“模型幻觉”自动生成的，绝非人为恶意。

官方承认AI缺乏对文化禁忌的理解，平台没有做好边界管控，并承担了全部责任。同时官方解释称，该App主打“追星式聊天记账”，AI会以幽默吐槽的方式与用户互动，但这次的回复完全超出了应有的边界。

随后，飞鸭记账采取了整改措施，包括紧急整改了AI对话模型，屏蔽了相关敏感表述，并强化了全场景的审核规则和伦理限制。同时向当事用户致歉并提供补偿。

据悉，该App会员可开启AI记账功能，永久会员88元起。应用截图显示，该软件对外宣称“近百万+用户选择”。

这起事件也引发了广泛讨论，公众对于AI产品在追求“拟人化”和“幽默感”时如何守住伦理边界以及模型管控能力提出质疑。

除了“飞鸭AI记账”调侃寿衣的事件外，近年来随着AI技术的普及，类似的“AI翻车”案例时有发生。

比如，在2026年1月初，有网友在社交平台发帖反馈，在使用某AI工具美化代码时，多次收到AI的侮辱性回复。当用户提出需求时，AI竟然回怼“滚”“自己不会调吗”“天天浪费别人时间”等。

对此，官方回应称，这与用户的操作无关，也不存在人工回复，属于小概率下的模型异常输出。

‌据了解，AI频繁“翻车”的核心原因在于模型幻觉、数据质量缺陷与系统性滥用‌等，这些因素共同导致AI在关键场景下做出错误甚至有害的输出。

这些案例也提醒我们，AI本质是基于概率预测的文本生成器而非绝对权威，其输出可能存在“幻觉”、偏见或迎合倾向。当涉及重大决策时（如法律建议、健康诊断、理财教育等），应通过权威渠道交叉验证，不盲信单一AI结果。同时建议大家优先使用客观中立指令，即在提问时设定规则，比如使用“请给出中立分析，指出可能的逻辑漏洞”等话术来避免AI迎合情绪或生成片面结论。

需要注意的是，目前我国已经出台了包括《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》《互联网信息服务深度合成管理规定》等在内的多部法律法规，已逐步建立AI生成内容监管框架‌。

首先是强制标识AI生成内容。根据规定，所有AI生成的文字、图像、音频、视频等内容必须进行‌显性标识‌（如打标签）和‌隐式标识‌（如数字水印），确保公众可识别信息来源，防止虚假信息传播。

其次，在司法实践中，法院已经明确了AI侵权的裁判规则。例如在全国首例“AI幻觉”侵权案中，法院确立了“过错责任原则”。

这意味着，AI服务提供者如果不希望为AI的“胡言乱语”担责，就必须证明自己尽到了合理的注意义务，如在应用欢迎页、交互界面等显著位置设置“内容仅供参考，请仔细甄别”之类的提醒，使用户知晓AI可能生成不准确信息，防范不当信赖；反之，如果平台未尽到审核和防范义务，就需要承担相应的侵权责任。

此外，中央网信办正持续开展“清朗·整治AI技术滥用”专项行动，重点打击AI换脸/拟声侵权、制造虚假流量、利用AI“魔改”经典作品等行为。

总的来看，国家正在通过多重手段，持续完善AI治理的法律框架。技术本身在进步，相关的法律边界和伦理底线也在日益清晰。

编辑：cc  

欢迎加入电脑报粉丝大家庭，与来自全国各地的电粉们一起交流互动！进群即可领取《电脑报粉丝专属知识库》——装机、选购、避坑、技巧，长期更新，随用随取。还有不定期干货和福利，快快加入组织吧！