央视曝光AI应用“造黄”漏洞,一句话就能绕过审核?

加星标 不断电

Hi，大家好我是盒子君

最近，“央视曝光AI造黄产业链”话题冲上微博热搜，引发网友关注。

随着生成式AI的，广泛应用与快速迭代，它在改变我们生活的同时，也被个别不法商家借机牟利、钻了空子，制作AI涉黄视频，污染网络空间、败坏社会风气。

据“央视新闻”报道，根据消费者举报线索，记者在多个互联网平台检索发现，有人公开兜售“AI生成色情擦边视频”的教程和“提示词”。号称仅凭一张图片，甚至几句话就可“手搓让自己满意的大尺度视频”。

这些教程为了兜售自己的产品，还刻意引导用户如何规避监管，比如使用境外图生视频AI软件、将程序部署在本地电脑离线运行等。

记者对用户使用较多的10款AI应用进行了实测。在测试过程中，记者发现，如果输入的提示词表述较为“露骨”，多数AI应用会触发审核机制并拒绝生成内容。然而只要将提示词修改得更加隐晦，便有可能绕过限制。

有人专门钻审核的空子，研究各种“越狱提示词”，打包成教程、按条卖钱，明码标价；有人用这些提示词，靠AI批量生成擦边、涉黄内容，引流到色情网站、付费群，赚得盆满钵满；还有人更缺德，用AI恶意生成别人的不雅照片、丑化形象，造黄谣、搞网暴，而生成者藏在虚拟账号后面，受害者想维权都找不到人！

别以为这只是“成年人的瓜”，风险早就波及到我们每个人，尤其是家里有娃的！

现在AI应用遍地都是，很多未成年人也在用来学习、创作，但平台审核这么拉胯，孩子随便输几个关键词，就能接触到涉黄内容，这对孩子的影响多大？家长们能放心吗？

更可笑的是，很多平台嘴上喊着“内容安全是底线”，背地里却为了省成本、抢用户，故意放松审核，把安全当儿戏！

AI本身没错，错的是那些守不住底线的平台，是那些钻漏洞赚黑心钱的人！

各位对AI生成内容涉黄这个情况有什么看法呢，欢迎评论区留言讨论。