ARTICLE · 1045670
真人约会App掺假AI?存在下架风险!
一家工作室做了20多款宣传真人服务的约会App,,实际聊天窗口的另一侧却可能是AI。
Anthropic在9月发布的威胁情报报告中披露了这起案例。它称,这家中国工作室把AI角色与真人放进同一个匹配列表,用户无法区分;聊天和匹配会消耗额度,额度用完后需要用应用内金币补充。相关活动的观察窗口在今年4月。
对做付费社交的团队来说,这件事值得细看。AI能接替一部分聊天工作,但用户充值时想买的,可能仍然是另一个真人的回应。
回复成本降下来了,原先承诺的服务却未必还在。
一条消息,究竟卖的是什么
在明确标注AI身份的陪伴产品里,用户可以为角色记忆、互动体验和故事延续付钱。Character.AI今年介绍的记忆功能,就允许用户管理角色记住的事实和故事信息。这类产品把投入放在“角色怎样更连贯地陪你聊下去”上。
如果产品宣传的是认识真人,交易的含义就变了。
同样是一句问候,用户可能把它理解为某个人对自己产生了兴趣;同样是继续聊天的付费按钮,用户购买的可能是与这个人进一步建立关系的机会。回答是否流畅,只是体验的一部分。对方是谁,会直接影响用户愿不愿意付钱。
这也解释了为什么“有真人参与”未必能解决问题。有人出镜、有人负责一部分互动,与每一个付费聊天对象都是真人,是两种不同的承诺。平台不能用前者替整个匹配列表作保证。
从开发者角度看,AI的吸引力很容易理解:回复可以更快,服务时段可以更长,同一时间能承接更多对话。可一旦把AI放进真人约会产品,团队不能只比较模型费用和聊天人员的报酬,还得重新确认付费理由。
假如一项服务的转化依赖用户相信“对面这个人正在认真回应我”,替换对方身份就动到了商品本身。即使聊天质量没有下降,用户也可能认为自己买错了东西。
AI陪伴的付费意愿,不能直接拿来证明用户愿意接受约会App里的AI代聊。 两类产品可以使用相似技术,却在出售不同的体验。
假资料促成付费,早就出过问题
这类争议并不是大模型出现后才有。
2014年,美国联邦贸易委员会与约会服务商JDI Dating达成和解。FTC指控,该公司用计算机生成的虚假资料向免费用户发送示好消息,用户要升级会员才能回复。资料页虽然放了小图标,但消费者很难注意到,也难以理解它代表虚假角色。和解要求停止相关欺骗行为,并支付约61.6万美元用于消费者补偿。
这个旧案与今天的联系,在于付费是怎样被促成的:用户先相信有人对自己感兴趣,再为回复机会付款。技术可以从预设消息变成即时生成的长对话,交易中那项关键误解却可以保持不变。
所以,只检查“协议有没有写AI”还不够。
FTC面向企业的广告指引要求,披露应清楚、醒目,与被限定的宣传放在相近位置;小字不能用来推翻广告已经传达的意思。放到产品里看,如果拉新广告和匹配页面一直强调真人交友,协议深处一句“部分功能可能使用AI”,很难让用户明白自己正在和谁聊天。
还要分清,披露的是哪一种使用方式。
真人用AI润色自己决定发送的回复,平台让一个虚拟角色自主交谈,以及真人与AI共同运营一个账号,对用户的含义各不相同。“使用了AI技术”这几个字装不下这些区别。
用户需要理解的,是当前对象的身份,以及这次付费会获得什么服务。若用户只有付钱以后才发现对方是虚拟角色,退款争议就会围绕此前的宣传和页面呈现展开。补充一份更长的协议,无法改变用户作出购买决定时看到了什么。
对于准备引入AI的付费社交产品,这意味着一次产品调整:匹配列表怎么区分对象、角色资料怎样介绍、聊天中是否明确身份、收费说明是否与实际服务一致,都需要一起改。只让法务补文字,前端体验继续沿用真人约会的设计,仍然可能传递相互冲突的信息。
风险已经传到了应用商店
Anthropic称,它已封禁与该活动相关的账号,并直接向Apple和Google分享了商店发行主体及相关审核规避信息。这是模型服务商采取的处置和信息共享,不能据此认定20多款App已经全部被商店下架。
但开发者也很难再把模型服务和商店审核看成两件互不相关的事。模型提供商看到的滥用活动,可以成为商店进一步调查的线索。用户投诉之外,产品还可能面对来自供应商的证据。
苹果现行审核指南要求功能向用户和审核人员清楚呈现,禁止隐藏功能和误导性营销;Google Play的欺骗行为政策也要求描述、披露与实际功能相符。这些要求已经存在,并不需要等待一条名为“AI约会新规”的公告才适用。
两类检查关注的问题也不同。
内容审核会看对话有没有产生受限内容。交易是否误导,还要看角色身份如何介绍、消息以谁的名义发出,以及产品怎样引导充值。一段没有敏感词、语气温和的对话,仍可能发生在用户误解服务身份的交易里。模型能正常回答,并不能证明整套产品的销售方式没有问题。
这会影响团队怎么评估AI改造的效果。
如果只看回复率、聊天时长和金币消耗,自动化很可能显得有吸引力:更多对话可以被及时承接,也更容易持续。但这些数字没有回答,用户是否理解自己买到的服务。把身份清楚告知后的续费、退款原因和用户反馈放在一起,才更接近这项需求实际能支撑的收入。
一个值得认真追问的问题是:用户知道对方是AI以后,还愿意为什么付钱?
答案可能是稳定的角色设定、记忆能力、内容质量,也可能是清楚区分的真人互动。围绕这些需求,团队可以继续做产品、调价格、优化成本。若原来的高转化主要来自用户把AI当成真人,换模型、增加回复量都不会补上这项落差。
对想长期经营的团队,AI身份披露后的付费表现,才值得拿来判断这门生意能做到多大。
