国家网信办刚公布的“清朗·整治 AI 应用乱象”第二阶段成果，数据量级很能说明问题：全国共清理 561 万多条违规信息，查了 4.9 万个非法账号，处置了 2400 多个网站或应用。这么大体量的清理，意味着 AI 生成内容的违规基数已经呈指数级增长，监管逻辑从处理个案直接转向了系统性治理。
地方政府的动作更侧重落地执行。北京盯着头部平台，指导它们升级审核策略，重点去抓那些会不断变种的违规内容；上海则让企业先自查自纠，发了"AI 应用知识包”去教育公众；浙江对辖区里的关键平台实行“一企一策”合规指导，查出问题应用直接依法查处；广东不常理出牌，定期把关键平台叫来开会，针对多类违规问题进行靶向督促。
主流平台现在的反应是技术升级和主动整改。抖音、快手、微博、字节、百度、B 站、小红书、知乎、豆瓣、淘宝这些平台，一共发布了 46 项相关治理公告。技术侧主要做了三件事：升级多模态识别模型，动态扩展人脸库与声纹库，以及推出实时人脸治理系统。
源头治理卡住了两个环节。在大模型侧，豆包、元宝、通义千问、文心一言这些模型，现在严格管控原创文本的输入审核，并且全面落实 AI 生成内容的标识，也就是水印或标签。应用商店侧，华为、小米、OPPO、vivo 提高了开发者入驻标准，收紧了上架审核指标，开展高频次的抽检与复测，成功拦截了大量非法应用，防止它们进入市场。
网信办列举的典型案例，把 AI 滥用的具体形态看得很清楚。第一类是篡改经典作品，也就是所谓的“数字垃圾”。有人用 AI 技术恶意修改《三国演义》、《西游记》等经典名著，颠覆原著人物形象，编造低质猎奇剧情来博取流量。第二类是伪造社会热点与诈骗，合成虚假灾难现场或救援画面，利用 AI 数字人进行虚假带货和推销，受害群体主要是老年人。第三类是换脸换声低俗内容，利用“换脸”“换声”技术生成涉及名人的低俗舞蹈视频或亲密接触视频，用于营销敛财，严重损害公众人物形象。第四类是侵害未成年人，也就是“毒动画”，制造针对儿童的虚假场景，比如怀孕、打架，传播含有暴力恐怖或软色情的视频，严重伤害抹黑未成年人形象。此外还有网络水军与违规运营，用 AI“管理”软件模拟真人操作账号，生成同质化文案充当水军，部分智能体的封面及对话内容甚至涉嫌包含色情淫秽信息。
下一步，网信办明确表示会持续监测 AI 生成合成内容带来的新情况新风险，开展技术滥用情况的常态化预防，目标是构建清朗网络空间。
