首页 >行业资讯 >详情

561万条信息被清理之后:AI内容治理正在从“事后删除”转向“源头管住”

2026-10-11385浏览

中央网信办10月10日通报了“清朗·整治AI应用乱象”专项行动第二阶段的工作成效。累计清理违法违规信息561万余条,查处账号4.9万余个,处置违规网站、应用程序等2400余个。

 

这组数字放在今年4月以来的整条时间线上看,更能说明问题。专项行动4月启动,第一阶段累计清理违法违规信息600余万条,处置账号2.6万余个,下架违规AI商品1300余个、违规开源数据集9个。两个阶段加起来,清理信息超过千万条,处置账号超过7.5万个。从“技术源头”到“内容出口”,两轮治理覆盖了AI应用的整条链路。

 

两阶段治理的逻辑

 

这次专项行动的设计有一个值得关注的结构。

 

第一阶段聚焦的是AI应用服务的典型违规问题——大模型未按规定备案、安全审核能力不足、训练语料安全、AI数据投毒、生成合成内容标识落实不到位等。用中央网信办的话说,这叫“强化AI技术源头治理”。第二阶段才转向内容端,聚焦利用AI生成“数字泔水”、制作发布虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益、从事网络水军活动等问题。

 

先管住模型,再管住内容。这个顺序本身就是一个信号:AI内容治理如果只在传播端拦截,等于永远在追赶。只有把审核能力和标识机制前置到生成环节,才能从根上减少违规内容的产出。

 

有意思的是,第二阶段通报明确将“依法处置处罚违规账号、MCN机构和网站平台”写入整治范围。MCN机构被单独点名,意味着治理链条从单个账号延伸到了背后的组织化生产者。对于靠批量制作、多账号分发的矩阵模式运营的团队来说,这个信号的分量不轻。

 

被重点盯住的几类乱象

 

通报中的典型案例,基本覆盖了当前AI内容乱象的主要形态。

 

利用AI“魔改”经典是其中一类。微博、抖音、快手、微信等平台上的多个账号,滥用AI技术“魔改”《三国演义》《西游记》等经典名著,颠覆人物人设,虚构低质猎奇剧情博取流量,相关账号已被依法依约处置。

 

AI制作发布虚假信息的案例更值得关注。快手、小红书、抖音、微信上的多个账号,利用AI生成合成虚假灾害现场、救援画面,编造不实社会热点信息,甚至打造AI数字人进行虚假宣传带货,误导老年人,制造恐慌情绪。这类内容的危害不在于“假”,而在于它消耗的是公共信息系统的可信度。一个用户被AI生成的虚假灾害视频欺骗过一次,下次看到真实的灾情画面时,第一反应可能就是“等等看”。

 

AI假冒仿冒他人是第三类高发问题。利用AI“换脸”“换声”等技术假冒公众人物,生成低俗内容借机营销牟利,相关账号已被处置。批量发布暴力低俗内容的账号同样被清理,这些账号涉及恐怖诡异、暴力低俗画面的AI生成内容。

 

最让人不安的是涉及未成年人的一类。小红书、微信、抖音、快手等平台上的多个账号,发布AI生成合成未成年人怀孕、打架等与其年龄特点不符的内容,批量制作传播“毒动画”、儿童“虐向”“邪典”视频。有数据显示,2025年获颁发行许可证的国产网络剧片中,青少年题材占比仅约5.4%,优质儿童动画的供给缺口,客观上给“毒动画”留下了生存空间。

 

利用AI“托管”从事网络水军活动的案例则指向另一个灰色地带。微信、微博、抖音上的多个账号为AI“托管”软件引流,模拟真人运营账号、评论互动,生成大量低质同质文案。这是AI技术被用于操纵舆论生态的典型方式。

 

平台在做什么

 

专项行动期间,主要平台的应对措施在通报中有比较详细的披露。

 

抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣、淘宝等平台优化了多模态识别模型,动态扩充人脸库、声纹库和违规样本库,上线人脸实时治理系统,累计发布各类治理公告46期。豆包、元宝、千问、文心一言等大模型平台则从输入端入手,严把原始语料内容审核关,严格限制违规内容输出,强化AI生成合成内容标识要求的落地。华为、小米、OPPO、vivo等应用商店制定了严格的APP开发者准入规范,对在架APP进行抽检复测,拦截违规应用入库。

 

从技术路径来看,行业正在形成一套“生成端标识+传播端核验”的双轨机制。服务提供者在内容生成过程中同步嵌入标识信息,传播平台对AI生成内容进行技术检测并补充标识,对缺少标识的高风险内容采取必要措施。5月起,中央网信办还要求平台为用户提供6类“必选标签”——“含有虚构演绎内容”“含有AI生成内容”“含有营销信息”“内容为转载”“内容为个人观点”和“无需标注”,发布者必须选择一项才能发布短视频。

 

坦白说,标识制度的落地效果还需要观察。此前有一个案例值得注意:发布者在发布AI生成的虚假视频时,已经打上了“内容由AI生成”的声明,但依然被警方依法作出行政拘留6日的处罚。标注是告知义务的履行,不是免责的通行证。这个边界需要内容从业者想清楚。

 

合规成本正在成为分水岭

 

回到行业层面,这轮治理对内容公司的影响,可能比前几轮整治都更深远。

 

过去几轮“清朗”行动主要针对内容层面的违规,整改路径相对清晰——删掉违规内容、调整运营策略就能过关。但这次专项行动把大模型备案、语料合规、标识落实、审核能力建设都纳入了整治范围,意味着合规要求从“内容端”延伸到了“技术端”。

 

对于有技术储备的头部平台和MCN机构来说,合规成本是可控的。机器初审能把单部内容的合规成本压到个位数元级,而纯人工模式下这一成本高出两个数量级。但对于依赖AI批量生产、没有能力建设审核体系的中小团队来说,合规门槛的抬高可能直接决定生死。有分析指出,头部平台凭借更强的内容审核技术储备与专业团队,合规成本优势将进一步放大,中小创作者与MCN机构若合规投入不足,生存空间将被持续压缩。

 

另一条值得关注的线索是法律层面的进展。杭州中院近期披露了全国首例涉AI代写“种草笔记”不正当竞争案的判决,为生成式人工智能服务提供者划定了合理的注意义务边界。该案的核心争议在于,AI写作工具定向为特定社交平台提供“符合平台调性的分享文案”生成服务,是否构成对平台真实内容生态的破坏。法院的判决逻辑值得内容公司认真研究:当你的AI工具被用于批量制造虚假体验内容时,工具提供方是否需要承担责任。

 

对内容从业者的参考

 

有几个判断值得放在桌面上。

 

AI内容治理正在从专项行动转向常态化。专项行动通知本身就明确了“推动AI应用服务健康有序发展”的目标,第二阶段的通报最后也强调,下一步将“密切关注AI生成合成内容新情况新风险,及时采取有效措施防范AI技术滥用恶用”。这意味着合规不是一次性的应对,而是需要嵌入到日常内容生产流程中的长期机制。

 

内容标注是底线,不是护身符。打上“AI生成”标签不等于拿到了免罚牌。内容的真实性和合规性,依然是判断是否违规的核心标准。对于内容团队来说,与其在研究“怎么标注能规避审查”上花精力,不如把同样的精力放在内容的真实性把关上。

 

“技术合规”正在成为新的竞争维度。当审核能力、标识机制、语料合规成为硬性要求,那些提前在这些环节做了投入的团队,反而会在行业洗牌中获得竞争优势。对于文化传媒公司来说,在AI内容生产流程中前置合规审查环节,可能比事后补救更划算。

 

回到那561万条被清理的信息。它既是治理力度的证明,也是行业底线的刻度。AI让内容生产的门槛降到了历史最低,但内容合规的门槛正在升到历史最高。这两个趋势同时发生,才是当前内容行业最真实的面貌。

 

 

本文主要信息来源:

1. 中央网信办“清朗·整治AI应用乱象”专项行动第二阶段工作通报(据新华网、中国网信网报道,2026年9月2日)

2. 光明日报《规范AI动画生产,护佑儿童健康成长》(2026年10月10日)

3. 中央网信办“清朗·整治AI应用乱象”专项行动第一阶段工作通报(据科技日报、光明网报道,2026年7月6日)

4. 中央网信办“清朗·整治AI应用乱象”专项行动典型案例通报(据“网信中国”微信公众号,2026年9月)

5. 新华社《剑指生成“数字泔水”等AI应用乱象 中央网信办专项整治》(2026年4月30日)

6. 中央网信办规范短视频内容标注工作部署(据央视新闻、江西政法网,2026年5月)

7. 中央广播电视总台中国之声《全国首例AI代写“种草笔记”案宣判 为“数字泔水”治理划红线》(2026年5月12日)

8. 中央网信办“清朗·整治AI应用乱象”专项行动部署通知(据“网信中国”微信公众号,2026年4月30日)

9. DataEye《2026上半年AI剧漫剧数据报告》(据中国证券报、央视财经报道)

10. 内蒙古长安网《4.9万余个账号,被查处!》(2026年9月4日)

11. 飞艇影业《管理办法落地后,谁来当“守门人”:AI审核中台与视频溯源水印成标配》(2026年10月7日)

12. 财视中国《AI应用迈入强监管时代》(2026年6月30日)

免责声明: 本文为行业观察与趋势分析,仅供交流参考,不构成任何投资或经营建议。文中涉及的数据、案例均来源于公开报道,已尽力核实,如有出入以原始来源为准。本文不代表任何机构立场,亦不针对特定企业或个人作出评价。


我要评论
发表评论

评论(0条)

查看全部评论 >

相关资讯

营收翻倍、利润蒸发八成:两份财报,同一种“增长的坏味道”

80阅读

同一天,同一张脸,3.86亿和800万:十月影市把“确定性”卖出了什么价

120阅读

判赔3万,但音频平台的麻烦才刚开始

91阅读

拿“造爽剧”的尺子,量不出AI算力的全貌

111阅读

龙标后面多了一行字,但观众没有多买一张票

99阅读

连续播放和互动奖励,第一次被要求证明“对未成年人无害”

102阅读

金鸡奖的尺子没有坏,但或许它量的和观众看的不是同一个东西

108阅读

2万亿之后,广告业的增量不在流量里,在“合规的AI”里

106阅读

1元门票撬动7元消费,但这7元不是谁都能挣到

85阅读

酒店预订量超过上海:华晨宇在汤山住了5天,把“演唱会”这个词撑破了

70阅读

章小蕙:从“香港第一败家女”到200万人的“审美导师”,一个把“花钱”变成印钞机的传奇女人

126阅读

美ONE:从一个人到一套系统,连续两年登顶胡润百强榜首,矩阵直播间GMV已破十亿

155阅读

董洁:从“冷清秋”到小红书“带货一姐”,一场关于“慢”的逆袭

200阅读

小潮院长:从“无节操解说”到B站1555万粉的“快乐厂长”,一个把“给人快乐”做成正经事业的大连小伙

131阅读

派芽星球:近千位美食达人、S级MCN,这家杭州机构把“做饭”做成了数据驱动的营销基建

180阅读

乡村小乔:从苏北农家女到千万粉丝“乡村代言人”被官方“抢”着合作,2026藏着一个更大的野心

122阅读

奇东传媒:成立一年拿下S级、三年冲进胡润前十,这家北京MCN把“短视频营销”做成了系统

184阅读

帕梅拉PamelaReif:从“人形AI”到“东北秧歌代言人”,一个德国女孩如何成为1498万中国女孩的“电子私教”

143阅读

绵羊料理:从电视台编导到“料理界押韵狂魔”,一个把厨房变成实验室的“硬核吃货”

149阅读

老番茄:从“B站一哥”到“八年四皇”,一个复旦学霸如何用十年“无用技能”定义B站知识娱乐的天花板

164阅读

麦芽传媒:从MCN到微短剧大王,年入超25亿,海外下载量破1.3亿,这家重庆公司用内容为商业和社会赋能

567阅读

圆宵文化:专注二次元,做到抖音头部,签下832万粉“兔娘”,这家南京MCN27人背后是1.6亿粉丝的支持

370阅读

不尔视界:带着5万元从深圳回武汉,两年做到营收8000万,还拿了省级创业扶持

289阅读

华星璀璨:从4个“蓉漂”小伙伴到签约15万主播,这家成都MCN把旧仓库改成了400个“工业质感”的直播间

298阅读

初颂:不签最多的人,只签最对的人,方圆和迅猛龙特蕾莎都出自这家上海MCN

324阅读

小灿灿新媒体:从“5人1条狗”到全网6亿粉丝,捧出猴哥说车3891万粉,这家南京MCN还把公益做了十年

300阅读

奇光MCN:从《风起陇西》出品方到抖音TOP3,粉丝超10亿,还把这门生意做到了海外

304阅读

无忧传媒:从10个网友到签约10万达人,粉丝20亿,营收超100亿,连续78个月抖音MCN榜首

329阅读

缇苏:用10年把美妆种草做成一个王国,合作品牌超3000个

376阅读

仁汇网络:从西安后海到单日GMV7500万,木森大舞台把草根选秀做成了顶流

348阅读

差点红:这家广州MCN挤进胡润百强第27名,靠的居然是"不急着红",只是认真做着有趣的事

304阅读

最白的乌鸦:一个检察官助理,在修仙世界搞起了“法治建设”

237阅读

黄诗洋:写过《鬼吹灯》和鲁迅的中戏博士,把张桂梅最柔软的一场戏写哭了

198阅读

潘越飞:一个“懒人”如何建起视频号最大的创作者联盟

200阅读

毕心怡:一个画了十几年“人”的插画师,靠一群荡秋千的小动物拿了国际金奖

212阅读

万晓利:一个不爱说话的酿酒工,写了一首替所有人说话的歌

195阅读

丁宽:一个给AI“讲戏”的90后,拍出了中国第一部付费AI短剧

222阅读

奇迹山:签下300位创作者,全网5亿粉丝,奇迹山偏不叫MCN

301阅读

最美妆:捧红“全网Z帅的女人”,叫最美妆却做内容电商,这家南京MCN粉丝超6亿

284阅读

热熠精选

会员登录

公众号

官方客服