AI应用普及与内容安全挑战

生成式人工智能在降低内容生产门槛的同时，也使得虚假信息、身份冒用及违规内容的制作与传播变得更加容易。根据中国互联网络信息中心2026年2月5日发布的《中国互联网络发展状况统计报告》，截至2025年12月，我国生成式人工智能用户规模已达到6.02亿人，较2024年底增长141.7%，普及率达到42.8%。

随着AI应用的加速普及，网络内容安全治理面临深刻变化，风险不仅体现在信息数量的增长，还涉及内容生成机制、风险传播方式及治理对象的改变。

专项整治行动进展

2026年9月，中央网信办公布了“清朗·整治 AI 应用乱象”专项行动第二阶段的工作情况。相关数据显示，该阶段累计清理违法违规信息561万余条，查处账号4.9万余个，并处置了2400余个违规网站及应用程序。

在通报的典型案例中，涉及利用AI魔改《三国演义》《西游记》等经典作品的账号，以及利用AI合成虚假灾害现场、救援画面和编造社会热点的行为。

风险分析与治理模式转变

传统内容审核主要围绕已产生的信息进行规则识别、拦截或删除，但生成式人工智能改变了这一模式。风险可能出现在用户输入提示词、模型回答、素材合成及后续传播的各个环节。

  • 深度伪造风险： 冒用他人面容和声音的视频可能不含违规关键词，但可被用于诈骗或歪曲事实。
  • 企业应用风险： 风险延伸至智能客服答复失实、营销素材违反业务规范以及内部知识服务输出不当信息等场景。

因此，内容安全关注点已从内容本身扩展至生成方式、使用目的和传播影响。

制度建设与标识要求

在制度层面，我国已出台相关强制性标准与办法：

  • 2025年2月28日，国家市场监督管理总局、国家标准化管理委员会发布了强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》（GB 45438—2025）。
  • 2025年3月14日，国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布了《人工智能生成合成内容标识办法》。

上述两项文件于2025年9月1日同步施行，明确了人工智能生成合成内容的显式标识和隐式标识要求，旨在帮助公众更清楚地识别AI生成内容。但需要明确的是，标识解决的是来源识别问题，并不等同于真实性认证。