夜雨聆风学习资料网

ARTICLE · 1212510

苹果点名AI“脱衣”App,AI SaaS开发者需做这些事

苹果点名AI“脱衣”App,AI SaaS开发者需做这些事

10月16日,苹果更新《App审核指南》,点名存在“脱衣”等有害功能的AI应用:App开发者需约束AI生成的侵害性内容;App上线功能需与送审保持一致,送审时不包含的功能不能在上线后再打开。

这次同时强调内容与功能真实性

无论是AI图像,还是AI社交与用户内容产品,监管都在逐渐收紧:AI生成时能否拦截侵害内容,发生传播后能否及时处理,接入AI前是否评估风险,包括提供模型下载的平台都处在监管范围内。

接的是别人的模型,内容也得自己管

苹果明确列入了AI内容生成App,关注创建、生成、上传、分享等行为。

未经同意的私密影像,包括通过AI工具生成的影像,需要App主动预防和移除。

AI内容生成App被明确列入

今年4月,研究机构TTP在针对苹果和谷歌应用商店的调查中,发现一款使用Grok生成图像的第三方App存在生成问题。开发者回应此前不知道模型能生成极端内容并收紧了图像生成审核设置,因此后续没有被计入“脱衣”App名单。

调查使用的是合成人物图片

苹果要求过滤、举报、及时回应、屏蔽滥用者和公开联系方式。发现违规后,开发者还要说明怎样改善;缺少适当防护,或接到通知后不处理,都可能涉及《开发者行为准则》。严重重复的行为会导致App下架及移出开发者计划。

隐藏功能,苹果去年就清理过

这次补充的2.5.19条款针对过审与上架应用不一致的行为:故意让审核看到的App与最终提供给用户的内容不一样。

隐藏、休眠或未说明的功能被明确禁止。通过代码混淆等方式,把未说明功能藏在程序里,会导致App下架、开发者账号终止。

隐藏、休眠及未说明功能被单列

一些金融欺诈类App也以类似形式欺骗审核上架,起初或许是以拼图游戏、计算器甚至短剧平台通过审核,之后修改软件上架其他功能,实施金融欺诈。

2025年起,有近5.9万款App因审核后“变身”行为被移除;另有超过2.2万次提交因包含隐藏或未说明功能而被拒。

2025年审核超过910万次提交

开发者团队既要管生成结果,也要如实展示产品能力,既要防止普通功能被用户恶意使用,也禁止故意隐瞒有害功能。正常更新仍需具体说明新功能,并让审核能够访问。

谷歌:生成体验内置举报

Google Play在2024年开始要求生成式AI应用限制受限制内容,允许用户在App内举报/标记不当内容,不用退出App再去寻找投诉渠道。

这也意味着AI应用产品设计需要关注生成结果的反馈入口及处理链路。

举报不应要求用户离开App

对于侵害类的图片传播,今年2月Google Search公布新的移除流程:用户可从图片菜单发起请求,一次选择多张结果并移除,还可选择进一步的保护措施。

一次选择多张待移除图片

美国:48小时移除限制

美国《TAKE IT DOWN Act》明确了平台责任,限制处理时限。FTC自2026年5月19日起执行:依法受覆盖的平台收到有效请求后,需要在48小时内移除未经同意的私密影像,并对已知相同副本作合理查找和移除。真实影像与AI伪造影像都在范围内。

规定覆盖网站、App和在线服务,包括社交、消息、图像视频分享和游戏等形态。没有注册该平台账号的用户也在保护范围内。

找不到移除渠道也可以投诉平台

FTC也提到了数字指纹等技术。StopNCII就是一个具体例子:用户在自己的设备上为图像生成哈希,也就是用于匹配的数字指纹,交出去的是指纹,原图留在本机。合作平台再用它寻找匹配内容,并按各自的私密影像侵害政策处理。

原图留在设备,只分享数字指纹

这类机制能减少受害者反复提交敏感原图的负担,范围限于参与合作的平台,无法一次清除整个互联网。

此外,此类内容已经构成了违法事实。6月美国司法部宣布查封两个发布非自愿色情伪造影像的网站域名。案件线索来自意大利警方;美方与法国交换证据后,法国警方在尼斯实施了相关逮捕。

处置延伸到传播影像的网站域名

英欧:上线前产品团队是否做过限制

对于Grok等风险较高的模型,英国和欧盟已有调查案例在先。

英国Ofcom今年1月对X启动正式调查,审查重点包括:重大功能变化前是否更新风险评估,是否防止用户接触相关违法内容,发现之后是否迅速移除。

欧盟委员会1月26日依据《数字服务法》对X展开新的正式调查,也追问Grok接入X时有没有充分评估和减轻风险。对X这类超大型平台,可能显著影响风险的新功能,上线前的专门评估本身就是被检查的事项。

风险评估需要发生在部署之前

爱尔兰数据保护委员会2月启动的调查关注真人数据:使用Grok生成并发布涉及欧盟及欧洲经济区个人、包括儿童的非自愿私密或性化影像,是否符合GDPR。调查涉及处理的合法性、默认与设计保护,以及数据保护影响评估等义务。

合成影像仍可能涉及真人数据

澳大利亚:模型托管平台承担监管压力

今年6月,eSafety宣布,新的三个“脱衣”应用在其执法行动后停止向澳大利亚用户开放。此前曾要求服务在14天内落实年龄保障措施并阻止未成年人接触相应内容。

eSafety在2025年11月披露,与其交涉后,模型托管平台Hugging Face补充了要求:模型等内容的上传者需要采取措施,降低其被用于生成儿童性剥削材料等违法内容的风险;平台知悉违规后,也要执行相应条款。

模型上传者也被要求降低滥用风险

目前Hugging Face的平台规则中要求规范模型上传者的义务,其中仍能看到澳大利亚这项标准的影子。

生成能力上线后,还有一整套产品工作

目前看来,各地区平台并非采用同一套监管逻辑,但随着监管机构的介入,对产品团队的合规约束会逐渐收紧且趋同。模型+生成界面的简单产品交付将越来越难通过合规风控审查。

核心功能使用的AI服务也要交代

平台需要开发团队提供真实可行的风控逻辑和方案,团队是否做出切实可行限制越狱的保护;如果模型越狱,团队是否能做出控制与处理。

相关学习资料