AI毒动画、软色情陪聊、教唆自残——平台重拳治理未成年人网络风险,10万违规内容被处置
8月4日,小红书发布「清朗·未成年人网络保护」专项行动治理公告,累计处置违规笔记8.4万余篇、违规评论10.5万余条、违规账号3571个,对三类典型违规行为采取永久封禁等严厉处置。其中AI毒动画、软色情陪聊、教唆自残成为重点打击对象。
8月4日,小红书发布「清朗·未成年人网络保护」专项行动治理公告,累计处置违规笔记8.4万余篇、违规评论10.5万余条、违规账号3571个,对三类典型违规行为采取永久封禁等严厉处置。其中AI毒动画、软色情陪聊、教唆自残成为重点打击对象。
8月4日,小红书同步发布两项治理公告,分别通报涉未成年人违规内容及暑期旅行安全专项的治理进展。其中「清朗·未成年人网络保护」专项行动的数据尤为引人注目。
18.9万条违规内容被处置,3571个账号被永久封禁——这是小红书在过去一段时间内交出的治理答卷。但数字背后,是三类性质恶劣、手法隐蔽的典型违规行为。
一个值得注意的细节:三起典型案例中,有两起直接涉及AI技术的滥用——生成式AI正在成为制作恶意内容的新工具。
小红书在公告中明确披露了三起典型案例,每一起都触及未成年人保护的底线。
三起案例,三种不同的违规手法,但都指向同一个趋势:恶意内容正在变得更隐蔽、更智能、更难被传统审核手段发现。
这不是小红书第一次发布治理公告,但这次通报透露出几个值得关注的信号。
依赖关键词过滤 + 人工审核,对变种话术、AI生成内容识别能力有限,主要依赖用户举报。
升级风险识别模型,对圈层暗语、变种图片等恶意规避行为实施前置拦截,从「被动删除」转向「主动防御」。
第一个信号:AI技术正在被「双刃剑」化。生成式AI让制作毒动画变得极其简单——过去需要专业视频剪辑技能,现在一句提示词就能生成。技术普惠的背面,是恶意内容的生产效率也被指数级提升。
第二个信号:黑灰产的话术体系正在「圈层化」。「招裴」「无hf」这类暗语,本质上是黑灰产建立的「内部语言」,传统关键词过滤很难覆盖。平台需要像破译密码一样,持续更新暗语库。
第三个信号:治理正在从「事后」走向「事前」。小红书明确表示已升级风险识别模型,对恶意规避行为实施前置拦截——这意味着在内容被用户看到之前,系统已经做出判断。
一个诚实的注脚:
技术对抗从未停止。AI生成内容的识别难度,本质上是一场「生成器 vs 判别器」的军备竞赛。平台升级了模型,黑灰产也会升级话术。这是一场没有终点的马拉松。
这不是孤例。过去半年,从AI换脸诈骗到AI语音伪造,从AI生成虚假新闻到AI毒动画——AI技术被滥用的案例正在以每月两位数的速度增长。
小红书的这次治理行动,提供了一个值得参考的样本:
一是公开透明,主动披露具体数据和典型案例,接受社会监督;二是技术升级,从关键词过滤升级为AI风险识别模型;三是零容忍,对触碰底线的行为直接永久封禁,不留余地。
但挑战依然存在。生成式AI的普及,让恶意内容的制作成本趋近于零。而识别恶意内容的技术门槛,却在不断提高。这不是一个平台能解决的问题,而是整个行业需要共同面对的课题。
AI时代的内容治理,正在从「删除违规内容」转向「在内容被生成之前预见风险」——这需要平台、监管、技术社区三方协同,构建一个更前置、更智能的安全防线。