人工智能技术飞速迭代,在赋能生产生活、推动产业升级的同时,AI应用乱象也随之滋生蔓延——未备案大模型违规运营、AI数据投毒扰乱秩序、生成内容无标识误导公众、“数字泔水”污染网络生态、换脸拟声侵害他人权益等问题频发,仅重点平台就曾累计下架AI侵权视频超53.8万条、处罚违规账号4000余个,这些乱象严重损害公民合法权益,扰乱行业健康发展秩序。

为精准破解AI应用突出问题,2026年4月30日,中央网信办正式印发通知,在全国范围内部署开展为期4个月的“清朗·整治AI应用乱象”专项行动,以“源头治理+内容整治”双轮驱动,全面规范AI服务与应用,借鉴此前“清朗·整治AI技术滥用”专项行动的治理经验,为人工智能行业健康有序发展筑牢安全屏障。

本次专项行动分两个阶段精准推进,聚焦技术合规与内容生态两大核心,靶向整治14类突出乱象,实现全链条、全覆盖治理。结合过往专项行动成效来看,仅第一阶段就可实现处置违规AI产品数千款、清理违法违规信息数十万条的治理效能,彰显了清朗行动整治AI乱象的坚定决心。

第一阶段:强化技术源头治理,筑牢AI合规底座

第一阶段为“清朗·AI应用服务典型违规问题”专项治理行动,紧盯大模型备案、数据安全、内容标识等核心环节,从技术源头堵塞漏洞,重点整治7类问题,参考过往同类型专项行动数据,该阶段可实现累计处置违规小程序、应用程序、智能体等AI产品3500余款的治理成效:

1. 大模型备案缺失:未按《生成式人工智能服务管理暂行办法》履行备案程序,存在“应备未备”情形,违规提供生成式AI服务。以上海地区为例,专项整治中曾对3款未履行备案或登记程序且存在风险的应用,依法约谈并给予行政处罚,同时推动82款大模型完成备案、87款应用完成登记。

2. 安全审核能力薄弱:模型底层安全缺失、价值导向偏差,缺乏安全围栏机制,审核过滤不足,易生成违法不良信息及违规链接。此前专项行动中,浙江各平台仅拦截清理各类违法违规信息及相关提问就达2550万余条,凸显出部分平台安全审核能力的短板与整治必要性。

3. 训练语料安全隐患:语料审核不严、含违法不良信息,数据来源不合规、盗用未经授权素材,且高质量语料匮乏、覆盖面不足。目前已有通义等平台围绕数据生命周期建立安全管理体系,重点加强训练语料采集、训练、使用全流程管理,弥补语料安全漏洞。

4. AI数据投毒乱象:篡改训练数据、伪造权威信息,利用GEO技术恶意营销,兜售投毒教程工具,信源引用无验证、无标注。此类乱象不仅扰乱AI技术发展秩序,更可能误导公众认知,是第一阶段源头治理的重点攻坚方向。

5. 生成内容标识不规范:未落实《人工智能生成合成内容标识办法》,标识缺失、不规范,跨平台互认不到位,还存在违规去标识服务。以上海地区整治为例,通过组织法规宣贯、专题交流,属地内重点企业已基本完成显式标识规范上线,有效解决标识乱象问题。

6. AI技术滥用侵权:借助AI实施网络攻击,未经授权提供换脸拟声服务,盗用他人形象开展直播、专业服务,窃取用户隐私数据。仅抖音平台2026年以来就累计处置AI肖像、AI声音类侵权内容8.5万条,有效遏制了AI侵权乱象蔓延。

7. 开源模型管理缺位:开源社区无有效身份认证与安全机制,数据集、模型代码审核不严,风险内容未及时清理处置。此前专项行动中,各地网信部门联合重点平台,持续清理开源社区违规内容,逐步完善开源模型安全管理机制。

第二阶段:净化内容传播生态,清理违法不良信息

第二阶段为“清朗·整治AI信息内容乱象”专项行动,聚焦AI生成内容传播环节,坚决清理违法违规信息,依法处置违规账号、MCN机构及平台,重点整治7类问题,参考过往治理数据,该阶段可实现清理违法违规信息96万余条、处置相关账号3700余个的成效:

1. 生成“数字泔水”:歪曲解构传统文化、恶搞经典作品,批量生产价值空洞、逻辑混乱、误导认知的低质不良内容。此类内容不仅污染网络生态,更会扭曲文化认知,专项行动将重点清理此类AI生成内容,规范内容创作导向。

2. 制作传播虚假信息:生成涉时政、民生、突发事件等领域谣言,假冒官方发布假新闻,传播医疗、金融等领域伪科学信息。此前专项行动中,各平台通过技术监测与人工核查,持续清理此类虚假信息,有效遏制谣言传播,提升网络信息真实性。

3. 假冒仿冒他人权益:利用换脸换声假冒公众人物牟利、造谣,未经授权合成他人影像,违规“复活逝者”侵害相关权益。抖音平台曾针对AI仿冒蹭热行为,下架相关视频超36万条,从严处罚涉事账号,切实维护他人合法权益。

4. 散播暴力低俗内容:制作暴力血腥、诡异猎奇画面,生成低俗擦边图文视频及色情暗示内容,违背公序良俗。各地网信部门联合重点平台,持续清理此类低俗不良内容,推动网络生态向上向善。

5. 侵害未成年人权益:生成恶搞、伤害未成年人的内容,制作儿童邪典视频,无底线二创版权动画,误导未成年人认知。深圳等地在专项整治中,构建内容分级+人脸识别+家长监护三重防护机制,强化未成年人网络保护。

6. AI驱动网络水军:通过AI托管批量注册运营账号、发布低质文案,利用群控软件刷量控评,制造虚假流量与舆论热点。此类行为扰乱网络舆论秩序,专项行动将依法处置相关违规账号与工具,规范网络流量生态。

7. AI产品违规运营:传播仿冒套壳AI应用,提供色情陪聊、一键脱衣、违规算命等服务,为违规AI产品引流炒作。上海等地曾集中清理此类违规AI产品及相关推广信息,下线违规智能体2700余个,有效规范AI产品运营秩序。

中央网信办有关负责人强调,各地网信部门要压实属地管理责任,督导网站平台全面自查自纠、排查漏洞,完善长效治理机制,提升技术防控能力,确保专项行动取得实效——正如过往专项行动所展现的,通过上下联动、多方协同,可实现违规内容处置响应时间缩短、智能识别率提升至98.7%的治理效能,切实维护网民合法权益,推动AI行业在规范中健康发展。

人工智能是赋能未来的关键技术,规范与发展并行才能行稳致远。此次“清朗·整治AI应用乱象”专项行动,既是对行业乱象的集中整治,更是对AI健康生态的长期守护。未来,在监管引导、平台自律、社会监督的合力下,AI技术必将回归向善本质,延续专项行动以来“违规乱象持续减少、网络生态持续净化”的良好态势,为网络空间注入更多正能量,为数字经济高质量发展提供坚实支撑。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐