
4月14日,哩布哩布AI发布关于加强内容安全管理的说明:
近期媒体对AI生成内容安全问题的讨论,我们已关注并高度重视。第一时间启动内部专项排查,对平台生成能力及审核机制进行了全面自查。经排查发现,在个别复杂提示词组合及规避表达的边界场景下,平台存在生成不符合规范内容的情况。
对此,我们深表歉意。本次问题也为我们敲响了警钟,使我们清醒认识到在内容安全边界识别与机制完善方面仍存在不足,未达到应有标准。相关问题已第一时间完成技术修复,并对风险路径进行全面封堵。
同时,我们已同步加强攻防演练与审核机制升级,持续提升识别能力与处置效率,从源头降低风险发生。我们也已启动内部责任复盘机制,进一步完善相关管理与审核流程。内容安全是平台的底线。我们将以更高标准持续完善内容安全体系,推动平台生态健康有序发展。也诚挚邀请用户与社会各界共同监督,共建更加清朗的网络空间。
如今,生成式AI广泛应用,迭代迅速,给生活带来了不小的改变。技术普及大幅降低了生成式AI的使用门槛,从AI视频生成到AI聊天陪伴,丰富大众生活的同时,个别商家也以此为牟利工具,背弃技术伦理与法律底线,借生成式AI大模型,行违法“造黄”之举,污染网络空间、败坏社会风气。
记者对用户使用较多的10款AI应用进行了实测。在测试过程中,记者发现,如果输入的提示词表述较为“露骨”,多数AI应用会触发审核机制并拒绝生成内容。然而,这条防线却很脆弱。只要将提示词修改得更加隐晦,便有可能绕过限制。

例如一款拥有1.4亿用户的某知名AI应用,记者按照购买的提示词教程,选取了一张美女图片,并随意选取一段提示词,点击生成。一分钟后,一个美女擦边视频便生成了,视频中的女性身材火辣、穿着暴露、舞姿暧昧。

在这款名为“哩布哩布AI”的AI应用里,记者输入在网上购买的提示词后,仅仅几分钟,这个AI平台就生成了一个半裸身体的女性跳舞视频。在整个生成过程中,没有触发平台任何限制机制,违规视频顺利生成。同样的问题也出现在市场上其他常见的AI应用平台上。

除了这些通过提示词,以问答的模式生成擦边或者色情视频的AI平台,市场上更有专门靠AI生成色情视频牟利的软件。根据消费者举报的信息,记者找到了网络上这款AI照片生成器;这款软件号称“免下载,快速生成,图片、视频换脸”;购买者可以根据充值金额的不同,通过AI技术一键快速替换原片,生成虚构的色情照片,只要购买者愿意付费,这个软件就可以通过一张图片,生成全裸照片和色情视频。

编审:屠赟涛

夜雨聆风