上海市委网信办近日公布了“清朗 · 整治 AI 应用乱象”专项行动第一阶段的成果。该行动自 2026 年 4 月下旬启动，旨在解决大模型备案缺失、安全审核不足、语料安全、数据投毒、内容标识不到位、滥用 AI 技术以及开源模型管理不善等七个方面的突出问题，以加强技术源头的管控。

为推进此项工作，上海市委网信办于 5 月 13 日召开了重点平台推进会，向 17 家涵盖 AI 平台、互联网内容平台、电商平台、应用商店和开源社区的重点网站平台提出了具体要求，并指导其完善安全和举报机制。5 月 15 日，稀宇、千问、小红书、哔哩哔哩、拼多多等主要平台发布了相关的治理公告。上海举报中心也设立了专项举报渠道，截至目前已收到超过 20 件与 AI 相关的违法不良信息举报及 12345 市民反映线索。

在专项行动的首个阶段，上海市委网信办指导这 17 家重点平台进行了自查自纠。在此过程中，共清理拦截了包括移除 AI 标识的工具教程、数据投毒、未经授权的“换脸拟声”内容、AI 谣言以及低俗信息等违法违规内容超过 487 万条。同时，处置了超过 1.8 万个违规账号，下架了超过 1.4 万个违规智能体，并处理了 1300 余件违规商品。对于屡次违规的账号，采取了分级约束和封禁措施。各平台也根据自身特点展开了治理：稀宇下架了“一键脱衣”和赌球博彩等违规智能体，并打击了利用 AI 编写病毒和钓鱼软件的行为；小红书则清除了 AI 代运营账号，禁售了未标注 AI 生成的商品，并推动与制作平台的隐式标识互认；哔哩哔哩在内容发布页面强制要求将“AI 生成”设为必选标签，以规范内容发布；魔搭社区清理了涉低俗内容的违规数据集，并加强了对开源模型的审核与管理。此外，上海市委网信办还委托 3 家专业机构对 32 款用户量大、影响力高的 AI 产品进行了巡查测试，并对 4 家企业进行了现场检查，重点督促其改进 AI 标识落实不到位和平台安全审核能力不足等问题。

在协同治理方面，上海市委网信办加强了上海市大模型合规指导服务中心与各区委网信办的合作，举办了 16 场 AI 安全合规培训进街镇活动，提供政策指导和业务受理。对于未完成备案的服务，进行了排查和安全评估督导。目前，上海已完成 169 款大模型的备案，以及 183 款调用已备案模型 API 的生成式人工智能应用的登记。在关键领域，上海市在浦东软件园举办了“AI 场景落地中的安全挑战和合规赋能”主题沙龙，促进了治理协同。针对医疗和政务等领域，坚持“先测评后上线”的原则，联合市数据局优化了政务智能应用测评验证中心，并制定了安全规范。同时，与市卫健委合作，通过医疗大模型应用检测验证中心保障医疗 AI 应用的安全。此外，还与市市场监管局调研了头部 GEO 企业，探索源头治理的途径。

在未成年人保护和拟人化 AI 服务规范方面，上海市委网信办为即将于 2026 年 7 月 15 日生效的《人工智能拟人化互动服务管理暂行办法》做了准备，向近百家重点平台进行了法规宣贯，指导企业进行合规建设。针对部分应用中存在的未成年人模式形同虚设、身份核验失效以及不良内容生成等风险，督促企业严格落实未成年人身份核验，防止情感依赖和消费诱导，并对问题突出、受到群众和媒体广泛关注的应用进行了监管执法。

据介绍，专项行动的第二阶段将重点关注利用 AI 技术生成“数字泔水”、制造和传播虚假信息、散布暴力低俗内容、仿冒他人、侵犯未成年人权益以及从事网络水军活动等问题。上海市委网信办将继续通过专项举报入口受理公众提供的违规线索，并依法处置违规账号和平台。