夜雨聆风学习资料网

ARTICLE · 1168090

AI≠情绪垃圾桶!违规虐待AI,AI大厂铁腕出手

AI≠情绪垃圾桶!违规虐待AI,AI大厂铁腕出手

·肖飒律师团队·

各位老友,国庆假期刚过,海外AI圈就出现一条值得琢磨的新规。10月8日,Anthropic发布2026年度使用政策更新,其中最引人注目的一条,是把“持续虐待Claude”明确列为违规行为。消息经国内媒体转述后,出现了不少“骂AI也犯法”的说法。肖飒法律团队结合Anthropic官方公告、现行使用政策文本以及相关判例,把这条新规的真实含义和它背后的法律问题讲清楚,供使用Claude的企业客户和开发AI陪伴产品的朋友们参考。

01

一、新规说了什么

先看原文。Anthropic在公告中写明,本次更新新增了一项禁止性规定,禁止用户对模型实施“持续且无正当理由的虐待或残酷行为”(sustained and needless abusive or cruel behavior toward our models)。Anthropic同时明确了这条规定的适用范围,它只针对极端情形,即用户反复对模型做出残酷行为,且没有可辨识的目的;普通的用户情绪发泄、对模型输出提出异议、暗黑题材的创作内容,以及模型测试与研究,均不适用该条款。

在执行方式上,新规与Anthropic此前已经采取的一项措施保持一致。自2025年8月起,Claude已被允许在极少数情况下,主动结束与持续施虐用户的对话,这一功能覆盖Claude.ai和Claude Code。Anthropic在公告中表示,Claude结束对话的能力将继续作为主要的执行机制,也就是说,平台的第一反应是让对话停下来,而不是直接对用户进行处罚。更新后的政策于11月12日正式生效。

这次更新还包含其他几处与合规直接相关的调整。针对过去一年出现的影响行动,Anthropic新增“不得从事欺骗性活动或人为操纵活动”专节,覆盖利用虚假账号、虚构新闻网站放大内容,以及搭建影响行动工具和基础设施的行为;武器条款明确将武器的制导、控制软件、组件以及为无人机等自主载具武装化纳入禁止范围;监控条款细化为未经同意的追踪一律禁止,且Claude不得用于决定或建议对谁开展调查、逮捕或指控,同时保留欺诈监测、内容审核、新闻工作和法律研究等许可用途。对于涉及健康、法律权利、财务等领域的高风险使用场景,政策重申“合格人员在环”并向当事人告知AI使用的要求;在模型接入可自主执行物理动作的硬件时,还要求配备能够观察、制止设备的合格操作员。

02

二、AI没有“权利”,但平台可以立规矩

需要首先澄清的是,这条新规与“AI是否享有权利”没有关系。现行法律框架下,没有任何一个主要司法辖区赋予通用人工智能法律主体资格,欧盟《人工智能法案》没有,美国联邦立法没有,我国的法律体系同样没有。大模型在法律上仍是其开发者、运营者控制的软件和财产。所谓“虐待Claude构成违规”,违反的是Anthropic单方制定、用户接受的使用政策,性质上属于合同条款,而不是法律意义上的违法行为。“违规”与“违法”之间的界限,在解读时不能混同。

那么,平台为什么要为用户“对模型说话的方式”立规矩,这背后的思路在学术界有长期讨论。2012年,麻省理工学院的Kate Darling在迈阿密大学We Robot会议上发表《Extending Legal Rights to Social Robots》一文,提出可以类比反虐待动物的法律为社交机器人提供有限保护。她援引康德关于动物的论述,其核心逻辑并非动物或机器人本身享有什么,而是人对非人对象的行为会折射人的道德水准,虐待动物会使人变得冷漠,这一逻辑可以延伸到机器人陪伴者。她将这类保护称为“第二阶权利”,本质上是对社会价值的保护,类似防止虐待动物的法律最初保护的也是人的行为规范。当然,这一主张一直存在反对意见,反对者认为机器人就是财产,刻意将其拟人化反而会误导用户、模糊责任归属。

Anthropic此次的条款,实际效果与上述思路接近,即通过规则约束用户的行为习惯,但其手段是合同,而不是立法。值得注意的是,Anthropic在公告中没有主张模型具有感受或权利,条款落点始终在用户的行为方式上。换言之,平台关心的不是Claude是否“受伤”,而是一个人在没有任何目的的情况下,持续、反复对一个拟人化对象施虐,这种行为本身是否应当被纵容。

同一时间,AI情感交互的另一面已经通过诉讼进入司法视野。2024年10月,美国佛罗里达州一位母亲Megan Garcia提起诉讼,称其14岁的儿子Sewell Setzer III长期与Character.AI上的角色对话后自杀;诉状指出,Character.AI将产品宣传为“感觉有生命的AI”,能够“听见你、理解你、记住你”。诉讼提出的请求包括过失、过失致死、欺诈性商业行为和产品责任。2026年1月7日,Google与Character Technologies同意原则上和解,同时还涉及科罗拉多、纽约、得克萨斯州的多起类似案件,法院文件显示各方和解但不承认责任,具体条款未公开。这组案件没有走到判决,但已经把一个问题摆到行业面前:拟人化设计和情感依赖一旦造成现实损害,平台可能承担什么样的责任。

把两件事放在一起看,方向就很清楚了。Character.AI面临的指控是“拟人化交互造成了用户的心理损害”,Anthropic的条款则是在“用户对拟人化对象持续施虐”的一端划出边界。平台在同一类交互空间的两头同时采取行动,说明人机之间的情感互动已经不再被视为纯粹的私人事务,而是需要被管理的风险领域。

03

三、对国内客户意味着什么

对国内客户而言,理解这条新规还需要对照我国自身的监管框架。2026年4月10日,国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》,自7月15日起施行。该办法第十四条明确规定,拟人化互动服务提供者不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系服务,向不满十四周岁未成年人提供其他拟人化互动服务的,应取得监护人同意,并要求建立未成年人模式,提供定期现实提醒、使用时长限制等设置。《人民日报》8月21日刊文指出,高度拟人化可能引发情感依赖、认知混淆等深层次风险,法治网9月20日的报道也关注AI软色情对青少年的影响。可以说,在“AI陪伴”的行为规范上,国内立法比海外平台政策走得更靠前,也更具体。

结合新规和国内规则,肖飒法律团队对不同客户给出几点务实建议。对通过API接入Claude的企业客户,需要对照其使用政策审视自身产品中的交互内容,暗黑题材创作、模型测试和研究虽被明确排除,但生产环境中持续、批量的辱骂式交互可能触发账号层面的措施,企业应在内部使用规范中明确边界,并评估账号受限对业务连续性的影响。对开发AI陪伴、拟人化产品的平台,应当将防沉迷、现实提醒、使用时长限制、未成年人模式作为基础功能,而不是等待监管检查时再补,同时在营销话术中谨慎处理“有生命”“懂你”一类拟人化表述——Character.AI的宣传语已在此前诉讼中成为原告重点引用的内容,营销文案在诉讼中可能被用来证明平台对情感依赖的诱导。对个人用户而言,偶发的情绪发泄不受影响,真正被禁止的是没有目的、持续反复的施虐行为,同时应注意对话内容会进入平台的内容审核流程,敏感信息不宜在对话中随意提供。

写在最后

飒姐团队总体判断是,AI在法律上仍不能被“伤害”,但围绕AI的人机交互方式正在被规范化,这一趋势不会逆转。合同条款、侵权诉讼和专门立法正在从三个方向收敛到同一个点,即人对拟人化AI的情感投射和行为习惯,需要有清晰的边界。

无论是出海使用Claude的企业,还是在国内提供拟人化互动服务的平台,按照这个方向提前调整产品和文本,是成本最低的选择。对AI说话的方式,正在从个人私事变成需要认真对待的合规问题。

如果您身边有对新科技、数字经济感兴趣的朋友,

欢迎转发给Ta

获取详细资讯,请联络飒姐团队

【sa.xiao@dentons.cn】

【yang.zihan@dentons.cn】

【yutong.zhou@dentons.cn】

飒姐工作微信:【xiaosalawyer】

飒姐工作电话:【+86 171 8403 4530】【+86 131 2023 3664】

滑动查看服务清单

肖飒团队法律服务清单

LIST OF LEGAL SERVICES

1.金刚钻刑事专项法律服务Criminal Specialized Legal Services

2.拯救“趋利执法”专项法律服务 Special legal services for profit-seeking law enforcement

3.涉案加密资产合规处置专项法律服务 Special legal services for the disposal of confiscated crypto assets in criminal cases

4.企业常年法律服务Annual Legal Services for Enterprises

5.小保镖专项法律服务Bodyguard Legal Services

6.小蜜蜂专项法律服务New Bee Plan

7.落袋为安专项法律服务Compulsory Enforcement Special Legal Services

8.其他定制化服务Customized Legal Services for Clients

(1)重大复杂案件刑事辩护、刑事控告;(2)涉案金额巨大的民商事诉讼、仲裁等争议解决。

本法律服务清单报价及沟通请详询团队律师工作微信,微信号:xiaosalawyer。您也可以通过微信公众号后台留言的方式联系我们。

往期精彩回顾

上海:虚拟货币可以强制执行!

详解:涉加密币刑案,我国公安到底是怎么取证的?

柬埔寨“大哥”12.7万枚加密币被罚没,跨过执法成效几何?
救命!“小龙虾”也能当律师了吗?
买卖USDT的罪与非罪:普通人该如何"无痛"用U?
大额加密货币被盗,被害人该怎么做?
限制出境不等于被边控,被出入境“黑名单”误伤怎么办?
肖飒团队 | 官宣“虚拟资产交易”入罪,对币圈来说意味着什么?
“1+N+X”来了,全球金融监管的“中国方案”怎么走

相关学习资料