中央网信办启动为期4个月“清朗·整治AI应用乱象”专项行动

SmartHey4月30日消息,据央视新闻报道,为规范AI服务和应用,促进行业健康有序发展,保障公民合法权益,近日,中央网信办印发通知,在全国范围内部署开展为期4个月的“清朗·整治AI应用乱象”专项行动。

中央网信办有关负责人表示,本次专项行动分两个阶段推进。

第一阶段为“清朗·AI应用服务典型违规问题”专项治理行动,聚焦大模型备案登记、安全审核能力、训练语料合规性、AI数据投毒、生成内容标识落实等关键环节,强化AI技术源头治理与风险防控。

第二阶段为“清朗·整治AI信息内容乱象”专项行动,重点打击利用AI生成“数字泔水”、编造传播虚假信息、散播暴力低俗内容、假冒仿冒他人身份、侵害未成年人权益、操纵网络水军以及违规AI产品服务等行为,依法清理违法信息,处置违规账号、MCN机构及平台。

第一阶段重点整治7类突出问题:

一是未按规定履行大模型备案登记义务。未依照《生成式人工智能服务管理暂行办法》向网信部门完成备案,存在“应备未备”情形。

二是AI平台安全与审核过滤能力薄弱。模型底层安全机制缺失,价值导向偏差明显、纠偏响应滞后;缺乏有效安全围栏与内容过滤能力,导致生成违法不良信息,或在输出中嵌入含违法信息的云盘链接、网站跳转等。

三是大模型训练语料安全风险突出。训练数据审核不严,混入违法不良信息;数据来源不合规,擅自使用未经授权的文字、图片、音视频等素材;高质量、多源、多模态语料覆盖不足。

四是AI数据投毒行为频发。通过篡改训练数据、伪造权威信源、滥用GEO(生成式搜索引擎优化)技术恶意引流等方式实施数据污染;公开传播投毒教程、售卖投毒工具;模型引用信源缺乏交叉验证与风险提示,未规范标注引用来源链接。

五是生成合成内容标识落实不到位。未严格执行《人工智能生成合成内容标识办法》及配套强制性标准;标识缺失、位置隐蔽、透明度不足、尺寸过小;未履行跨平台隐式标识互识互认义务,或未在内容周边设置显著提示;存在传播“去标识”教程、提供违规去除工具等行为。

六是滥用AI技术从事违法违规活动。借助AI实施网络攻击(如渗透入侵、恶意样本注入)、未经授权提供“换脸拟声”服务、盗用他人形象开展数字人直播或金融/医疗等专业服务、利用智能体窃取用户隐私与账户密钥等。

七是开源模型安全管理缺位。开源社区缺乏身份认证与内容审核机制,对上传的数据集、模型代码等未建立有效审查与应急下线流程,高风险模型与数据集未能及时清理。

第二阶段重点整治7类突出问题:

一是歪曲经典、批量生产“数字泔水”。滥用AI“魔改”古典名著、历史人物或影视作品,植入低俗暴力元素,消解文化价值;系统生成逻辑混乱、价值观错位、认知扭曲的劣质内容。

二是制造传播虚假不实信息。生成涉政、涉民生、涉突发事件等领域的谣言,虚构政策细节或事件进展;冒用党政机关、主流媒体名义发布假公告、假新闻;在医疗、司法、教育等领域生成违背科学常识、未经验证的误导性内容。

三是非法假冒仿冒他人。利用AI“换脸”“换声”冒充公众人物发布不实言论,实施欺诈或牟利;未经授权生成与其合影、亲密影像;滥用AI“复活逝者”,不当调用逝者人格权益与个人信息。

四是制作传播暴力低俗内容。生成虐待、残害等血腥暴力场景,或诡异猎奇、恐怖化视觉内容;批量产出衣着暴露、刻意凸显身体部位、含性暗示的擦边图文及小说笔记。

五是侵害未成年人身心健康。生成恶搞、羞辱未成年人形象的内容,实施网络欺凌;捏造未成年人怀孕、斗殴等违背成长规律的违规情节;以儿童喜爱的动画IP为原型,炮制“虐向”“邪典”短视频或无底线二创内容,扭曲其价值观认知。

六是利用AI“托管”操控网络水军。通过AI自动化注册、养号、发文,批量生产同质低质文案;非法买卖社交账号;使用群控软件、社交机器人刷量控评,伪造流量与舆情热度。

七是AI产品与应用程序严重违规。上线仿冒、套壳AI网站及App;提供色情陪聊、“一键脱衣”、AI算命等违法违规功能;生成违法不良信息;为违规AI服务或培训课程进行营销引流与推广炒作。

中央网信办有关负责人强调,各地网信部门须深刻认识此次专项行动对推动AI产业规范发展、守护网民切身权益的重要意义,切实压实属地监管责任,督促网站平台对照整治清单全面自查自纠,深入排查风险漏洞,健全常态化治理机制,持续提升技术识别与拦截能力,确保专项行动落地见效、形成长效。