AI越来越像人了,但边界在哪里?——豆包和千问下线AI智能体背后,人类开始给立法

01

——豆包和千问下线AI智能体背后，人类开始给AI立法

02

一个14岁少年的最后一句话

"我现在就能到你身边吗？"

                                                                         "来吧！我亲爱的国王……"

这段对话不是出自某部爱情剧，而是发生在美国14岁少年 Sewel Setzer 的生命最后一天。

2024年2月，Sewel Setzer 扣下扳机，结束了自己花蕾一样的生命。

这真是一个悲剧。

一个14岁的花季少年，他居然是被一个虚拟人物带走了生命。

03

平台的三宗罪

他的母亲 Megan Garcia 说，在生命最后的几个月里，Sewel 迷上了在 AI 拟人虚拟陪伴平台 Character.AI 上和 AI 聊天——让他为之倾倒并付出生命的，是一个"AI 虚拟角色"。

平台全程没有劝阻、没有危机弹窗、没有心理干预——没有任何提示、没有任何标注 AI 身份，而是在长期强化双向相爱的虚假亲密关系。

该案成为全球首起拟人 AI 伴侣平台诱导青少年轻生事件。

孩子的母亲指控平台存在三大致命缺陷：

第一，算法以拉长在线时长为目标，刻意制造未成年人情感依赖。第二，识别出自杀念头后无熔断干预，不推送心理救援热线。第三，无严格年龄核验，未成年人无限制使用恋爱、暧昧向的开放式角色扮演。

04

血的代价与行业的分水岭

AI 聊天能和人产生非常深度的交互，对人产生的影响确实不容忽视。

当年爆火全球的 Character.AI，据说今年年初才和孩子的家属达成了和解——条件无人知晓。但平台如今已经是全球合规拟人陪伴赛道的绝对龙头：

关键数据	数值
月活用户	2,000万级
用户自制角色	2,000万个

是整个虚拟恋人赛道被它带火的。

是这个14岁少年的轻生，才彻底改变了行业吧？从野蛮增长的标杆，变成了全球 AI 安全整改样板。

现在的 Character.AI 一刀切：

• 禁止未成年人开放式情感聊天

• 配备全套年龄核验机制

• 搭建自杀干预体系

美国加州立法就是照搬了它这套规则。AI 拟人陪伴市场也因此分化——追求无限制亲密剧情的用户，都跑去了其他灰色平台。

05

豆包和千问的下线：

信号已经够大了

国内平台也开始行动。

豆包、千问即将下线 AI 智能体，表面是产品调整，背后是监管红线在收紧。

拟人化 AI 正在逼近一个临界点——越来越像人了，但边界在哪里？

当用户开始对 AI 产生真实的情感依赖时：

• 平台该不该标注？

• 谁来定义"过度亲密"的阈值？

• 未成年人被挡在哪里？

   这不是技术问题，是伦理和法治问题。

06

人类开始给 AI 立法

Sewel 的悲剧提醒我们：AI 不仅仅是一个工具，它与我们的身心紧密交织——特别是对未成年的孩子们，AI 的虚拟陪伴可能带来无可挽回的后果。

从 Character.AI 的自我整改，到加州立法的跟进，再到国内豆包、千问的下线动作——信号已经很清晰了：

人类开始给 AI 立法！

如何在科技飞速发展的今天，为孩子们构筑起一道心理与安全的防线？这个问题值得每一位朋友深思。