不少人可能没想到,AI生成内容也能变出骚操作?最近,央视记者在多款流行AI应用里做了一番测试,结果着实让人捏把汗。试想一下,你用这些AI软件,输入明显违规的词汇,系统通常会弹出警告,这种拦截大家早就见怪不怪了。可要是换个说法,用些不那么直接的描述,AI竟然就绕开了审核,轻轻松松生成涉黄视频和图片。这等钻空子的玩法,到底卡不住底线?
记者体验时发现,只用了几个网上常见的“提示词”,几个按键之后,一个半裸女性跳舞视频就合成好了。整个过程既顺畅又迅速,平台好像根本没设卡。像“哩布哩布AI”这种应用,在安卓和苹果商店还能照常下载安装。按理说,热门AI平台应该早早上了“保险”,可现实就是能让有心人找到出口。

更让人疑惑的是,记者试着联系平台客服和公号,一直没人回应。公司那边也迟迟没个解释。翻查公司背景,“哩布哩布AI”背后是北京一家新企业,2023年才刚成立,主业是做机器人和AI创意生产。别小看这家公司的名气,号称全国第一大AI图像创作社区,累计吸引了近1000万创作者,还拿过多家知名基金的投资支持。年初,平台说自家已经通过各项算法备案政策,属于第一批合规的国产AI企业,还刚刚完成了1.3亿美元的B轮融资。问题这么快就暴露,是不是让人说不清?
说到底,现在的AI内容生成工具,每天都在升级玩法。“露骨词”不行,换个委婉的形容总会有路。检测系统只盯关键词,对语境和隐含意思却甄别不到位。就好比交警查酒驾,只查正面道路,绕小道就没人管,用户只要懂套路,总有把审核骗过的空隙。早在2025年4月,网信办就发起了AI滥用专项整治行动,点名要查无证经营、不按规定备案的AI平台。道理讲得很清楚,但这漏洞一日补不全,乱象就停不下来。
其实,AI应用的监管升级步伐已经不慢。4月10日刚出台的《人工智能拟人化互动服务管理暂行办法》,直接给涉及拟人AI的服务划红线,比如算法备案、平台责任、内容安全、未成年人保护等都写进了法规。政策明摆着,问题卡在执行和落地。AI平台体量大、应用场景多,一时半会儿想全控住不现实。就像网约车平台,注册容易,上路审核却不细,导致一些不合格信息悄悄溜进系统。AI平台管控也在面对类似压力。

市场的火热是主因。据称,AI相关产品下载量疯涨,图像与视频生成成了焦点。平台方面,为了抢占用户和创作生态,更新速度快,内容审核、风险排查容易滞后。AI社区想做大,就要吸引更多创作者和用户,内容审核一放松,问题马上浮现。反过来看,国外主流AI平台对敏感内容设置禁区,图片、关键词审核机制更严苛,有些干脆一刀切,提升技术门槛,但也难保滴水不漏。
也不是所有的平台都这么放飞。比如一些主打合规的AI产品,采用多重内容识别,人工+机器双重稽查,即使提示语再隐晦,审核团队还是能一眼识破。像Midjourney、Adobe旗下的Firefly这类国外工具,对暗示性、擦边内容直接禁用,一点都不手软,国内平台在这方面确实做得不够。
追根究底,AI生成内容管控,靠技术、靠规则,更要看主动性。平台有没有动力去查、能不能坚持查,最终还是责任心问题。监管当然重要,但技术升级和治理意识更关键。谁都明白,市场做大了,安全和规范绝对不能放松。否则,一旦擦边球成为流行做法,真正受到伤害的还是普通用户和行业生态。

网上也有声音表示,部分AI工具功能本身开放性强,不只服务专业创作者,有些做开放测试,漏洞难免。可问题在于,只要有商业变现需求,平台自检和上报应该同步跟进。有市场人士评价,AI领域的内容合规永远是动态博弈。如同游戏产业初期,内购外挂漏洞层出不穷,只有不断迭代审查策略,才有可能逼近理想状态。
不得不说,AI涉黄漏洞也是技术成长的副产品。新东西涌现,难以一步到位,安全和创新始终拉扯。最怕的是一些平台借监管漏洞变现,想赚快钱扛风险不积极。这又让人联想起短视频平台的“黑历史”,早年同样内容失控,后来大范围平台被点名整改、下架,才逐步迎来规范。
接下来的考验,就是面对法律规章和市场变化,AI社区愿不愿担起应有责任。用户体验和社会规范如何兼顾,已经成了一道绕不过去的题。监管强压也好,技术升级也罢,真正的突破还要看平台态度和执行力。毕竟,底线意识守住,算法和人一起发力,才不至于让AI工具沦为乱象温床。
夜雨聆风