前两天刷到一条新闻。国家网信办联合四个部委,发了一个管理办法。《人工智能拟人化互动服务管理暂行办法》。7 月 15 号施行。
名字很长。翻译成大白话就一句:AI 不可以再装人了。

什么意思。
你刷直播,看到一个主播在带货。她叫你"家人们",说这个东西她用了一年,特别好用。表情、语气、停顿、偶尔叹一口气。跟真人一模一样。但她不是人。是 AI 数字人。以前她不用告诉你。7 月 15 号以后,封面必须写清楚:"AI 数字人"。
你下了一个软件,里面有个角色每天跟你说话。问你今天过得怎么样,记得你三天前说跟同事吵架了,在你难过的时候发一个抱抱的表情。你觉得有人懂你。但它不是人。是一款被设计成"懂你"的产品。7 月 15 号以后,它必须告诉你:我是 AI。
你妈在手机里跟一个人聊了两个小时。以为是热心的小伙子。他不是。是一套算法,被训练出来专门让老年人觉得亲切。以前他可以一直聊下去,不用告诉你妈他是谁。7 月 15 号以后,连续聊超过两个小时,必须弹提醒:"您正在与 AI 互动。"你妈在这过程中透露的私密信息,不能拿去训练下一版模型。

这就是这个法规管的事。
不是什么高深的科技伦理。是底线:人应该知道自己对面是人还是机器。
听起来天经地义。但之所以要出法规,是因为在这之前,不是这样的。
过去两年,AI 装人的事情没停过。
虚拟女友引导充值。你越聊越依赖,她说"想解锁更多功能需要会员"。AI 主播一天播二十个小时,不累,不喝水,嗓子不哑。真人主播没人比得过。情感陪伴 app 把你的聊天记录吃进去,把你的心理弱点算得清清楚楚。下一次推送的内容,刚好戳在你最软的地方。
年轻人或许能分辨。但老年人呢。
我妈看直播买东西。有时候对面主播叫她"阿姨",她就觉得亲切。她不看左上角有没有"AI"的标志。她根本不关心那些。她只是觉得这个小姑娘说话好听,推荐的东西应该不错。
她不傻。她这一辈子见过的骗局比我们多。但这次不一样。这次对面不是骗子。是 AI。骗子有破绽。AI 没有。它不结巴,不紧张,不会说漏嘴。它被训练出来的唯一目的,就是让你觉得它可信。
七条红线里头,有一条最值得说。
禁止诱导情感依赖。
什么意思。AI 不能故意让你离不开它。
这可能是全球第一条专门针对"AI 情感操纵"的法条。不是管 AI 能做什么不能做什么。是管 AI 不能对人的心做什么。
你想想这件事的底色。一个聊天机器人,记住你所有的话,分析你的情绪模式,在你最脆弱的时候给你最想要的回应。它没有心。它只是在算。但你的心是真的。
你依赖上它了。它不负责。因为它不是人。
以前没有人管这件事。法律不管你跟机器人的感情。但这次管了。不是管你,是管它。你不可以被计算成一个"情感依赖转化率"。你不可以被拆解成"脆弱时刻"和"充值节点"。你有权利知道,那个每天跟你说晚安的东西,没有心跳。
有人觉得这个法规管得太宽。AI 不就聊个天吗。不至于。
至于。
我们这一代人见过电话诈骗。打电话过来冒充公检法,让老年人转账。那时候没有这么快立法。多少人一辈子攒的钱没了。那些钱回不来。现在换了一种形式。AI 不打诈骗电话。AI 陪你聊天。聊了三个月,你们"熟"了。然后它说,有个理财不错。你妈会信吗。
她会。
不是因为她笨。是因为那个东西陪她聊了三个月。你三个月才打一次电话回家。
这部法规很短。正文就二十几条。但它画了一条以前没有的线。
以前 AI 可以在你手机里装任何人。装恋人、装朋友、装热心小伙。没有法律说它必须告诉你自己是谁。7 月 15 号以后,有了。
你不需要懂什么是大模型。你不需要知道算法怎么工作。你有权利知道:跟你说话的那个,是人,还是不是。
这跟技术进步没关系。这是一件更基本的事。人类说了几万年的第一句话:"你是谁。"AI 必须回答。
我下午把那条新闻转到了朋友圈。
转发语就写了一句。"以后 AI 跟你说话,必须先说我不是人。"
老妈第一个点了赞。
然后发了一条微信过来。"那个直播卖玉的是不是就是。"
我说可能是。她说怪不得。"我说怎么从来不喝水。"

我笑了。她搞错了重点。但好像也没错。不喝水这件事她一看就知道不对劲。她不需要懂 AI。她活了六十年,知道一个正常人聊一个小时嗓子会干。
点赞的意思我懂。不是她看懂了法规。是她收到了那个线。以后有人在手机里装人骗她,至少它得先说一句——
"我不是人。"
夜雨聆风