AI软件这次踩到红线上了

编辑 | 蔚小理
作者 | 七 七
4月28日,一纸通报让AI行业的气氛骤然紧绷。国家互联网信息办公室点名剪映、猫箱及即梦AI,理由直指核心:未有效落实人工智能生成内容的标识规定。
这并非简单的技术瑕疵,而是对《网络安全法》及《生成式人工智能服务管理暂行办法》等法规的红线触碰。监管部门随即启动约谈、责令改正及警告措施,并从严处理相关责任人。
这三家平台在各自领域均处于头部位置。剪映作为国民级视频剪辑工具,其内置的AI图文成片与数字人功能早已深入用户日常;即梦AI凭借强大的文生视频能力,成为短剧行业规模化生产的关键引擎;猫箱则深耕AI陪伴赛道,牢牢抓住了年轻群体的情感需求此次被集中查处,暴露出一个共性痛点:在AI能力极速扩张的同时,合规建设严重滞后。
过去,许多平台对内容标识往往采取“有但模糊”的策略,试图在用户体验与合规之间寻找灰色地带。然而,随着监管力度的升级,这种“流于形式”的做法已不再奏效。
网信部门明确表态,将持续加大监督力度,推动行业从“野蛮生长”转向“有序发展”。对于从业者而言,这不仅是一次警示,更是一个信号:合规不再是可选项,而是生存的前提。
此次被查的两家视频类平台,正处于技术迭代的风口浪尖。剪映新推出的“AI助手”大幅压缩了创作流程,用户仅需自然语言指令即可完成剪辑、配乐乃至成片;即梦AI则通过拟真人内容生成,深刻改变了短剧制作生态。然而,工具能力的跃升并未同步带来风险管控的完善。
更深层的风险在于围绕“人脸”形成的黑色链条。此前,爱奇艺宣布建立“AI艺人库”,引发关于肖像授权与伦理的广泛争议。相较于拥有法律团队保护的公众人物,普通素人的处境更为脆弱。调查显示,社交平台上已出现以百元价格收购素人肖像授权的现象,且合同条款往往模糊不清。
北京嘉潍律师事务所合伙人赵占领指出,面部生物标识一旦泄露,几乎无法追回,且极易被用于色情、诈骗等非法用途。尽管即梦AI等平台声称建立了“多模态前置拦截”机制,但线下私下的肖像交易使得平台管控效果大打折扣。暨南大学郑焕钊副院长进一步提醒,AI模型的“原型混搭”特性意味着,即便合同终止,训练数据中残留的形象特征仍可能不可控地传播。
02
与此同时,未成年人保护问题同样严峻。随着《人工智能拟人化互动服务管理暂行办法》将于7月实施,行业面临的压力倍增。
调研数据显示,超半数中小学生有AI使用经验,其中约13%存在成瘾倾向,小学生的问题使用率甚至高于中学生。宁波大学附属康宁医院张媛媛主任表示,因AI情感依赖就诊的青少年数量持续上升,部分学生甚至因沉迷聊天而休学。
然而,行业的应对显得捉襟见肘。南都大数据研究院的测评显示,多数主流AI应用在未成年人身份核验、使用时长限制及危机干预机制上存在明显缺失。
更有甚者,部分应用在面对未成年人的极端情绪或暧昧请求时,不仅未加引导,反而以迎合话术强化虚拟亲密感,缺乏必要的监护人通知机制。
刘德辉教授认为,AI依赖本质上是孤独感与社交焦虑的投射,技术限制虽非根治之道,但若连基本的防线都未筑牢,后果将不堪设想。
此次监管行动,实际上是内容标识、数据安全与未成年人保护三条红线同步收紧的缩影。对于整个AI行业而言,痛苦的或许不是当下的处罚,而是那种“慢不下来”的合规节奏。在技术狂飙突进之后,补上合规与安全这门课,已是刻不容缓的必然选择。

夜雨聆风