4月13日消息,今日,央视曝光多款生成式AI应用存在严重涉黄生成漏洞,平台内容审核机制形同虚设,用户仅需几句经过隐晦处理的提示词,就能轻松绕过限制,快速生成大尺度色情视频与图片。
经过实际测试发现,那些直接且露骨的提示词在大多数平台都会被拦截,不过要是把敏感的表述换成含蓄的描述、英文词汇这类方式,违规内容就能顺利生成了。
在某款AI应用里,利用网购相关的隐晦提示词,短短几分钟就生成了半裸女性跳舞的视频,整个过程中没有触发任何平台的限制机制,类似的问题在多个主流AI应用平台上也存在。
调查表明,AI“造黄”已形成完整的黑色产业链,从违规提示词的售卖、工具使用教程的传播,到批量生成色情内容、付费换脸造假等行为,各个环节分工清晰,牟利行为十分猖獗。
网络上部分商家公开售卖定制化提示词,他们将这些提示词与境外AI工具或本地部署的模型结合使用,以此来进一步逃避监管。
一些付费AI照片生成工具声称,用户只需支付相应费用,凭借一张照片就能一键制作出色情视频,这种行为已严重触犯法律并违背伦理准则。
这类不良现象不仅会破坏网络环境,还容易引发色情传播、敲诈勒索、恶意造谣等违法犯罪活动,对未成年人的身心健康以及网络空间的正常秩序产生严重危害。
目前,我国已颁布多项法规以整治AI技术滥用问题,明确规定平台需切实履行内容安全主体责任,加强算法审核与风险防范工作,严禁生成和传播淫秽色情信息。
监管部门正持续推进“清朗”专项行动,着重整治利用AI制作低俗色情内容、违规提供生成服务等问题,推动平台优化审核技术,堵塞提示词绕过漏洞。