AI换脸、声音克隆等合成技术滥用

让“耳听眼见”未必为实

这是配音演员孙晨铭的原声，而这段，是某自媒体账号通过AI克隆其声音生成的配音作品。如果没有提示，谁能分辨出两者之间的差异呢？也是在最近，孙晨铭还发现，一家房产公司同样未经授权，就对他的配音作品进行了AI克隆，用在了公司的企业宣传片中。

声音被AI克隆，并被用于各种各样的商业场景，对于孙晨铭和同行们来说，已经不是什么新鲜事儿。有人给孙晨铭发来民法典的法条，声音权和肖像权一样，是公民不可侵犯的权益。于是，不少配音演员自发到那条企业宣传片的评论区集体留言，压力之下，这家房产公司，向孙晨铭支付了版权费用。

本周，本台也曝光了利用AI技术仿冒奥运冠军全红婵进行带货的案例。这种AI伪造技术，已让不少名人深受其害。微信平台今年1月的公告显示，一个月内，就处置了1.2万条利用AI仿冒名人进行违规拼接、不当营销和恶意博取流量的内容，关闭了3281个相关账号。

近日，北京互联网法院也审结一起案件，被告擅自使用大学教师李女士的肖像和AI合成声音进行图书宣传，最终法院判定，该行为侵犯了李女士的肖像权和声音权益。

北京互联网法院综合审判三庭（少年法庭）庭长 颜君：往往这种案件的受侵害的一方都是有一定社会知名度的名人，因为他会带来相应的社会认可度、认知度，他的声音和他的肖像有一定的商业利用价值。更重要的是如果这个带货的内容，比如说带的是伪劣产品或者是虚假宣传的内容，有可能极大的消解这位名人他的社会认知度、认可度和信任度。

这段AI视频，生成于两年前，当时的技术，人脸画面还显得僵硬与不自然；而到了去年7月，南京玄武区法院审理的案件中，一名男子通过AI换脸软件，就成功突破了某支付平台的人脸识别系统。人工智能技术的飞速发展，已经使真与假之间的界限，开始变得难以分辨。

配音演员 武扬：从今年开始，我确实发现一些宣传片，他们AI的训练可以达到以假乱真的程度，在70%到80%的平稳叙述的范畴里面，AI都是可以处理得很好的，甚至我本人去听也需要长时间辨别，是不是我本人录的。

中国信通院人工智能所安全部高级业务主管 陈文弢：其实对于生成一个肉眼分辨不出来的这种视频，在前几年来说，难度是比较高的，需要一定的技术门槛，但是这几年出现了一些这种简捷化的工具，可以从开源社区上直接下载。它可以用消费级的笔记本单机来部署，一张照片就能够完成实时换脸。

耳听为虚，眼见为实，这句古话正面临巨大挑战。AI换脸、声音克隆等合成技术的滥用，让“耳听眼见”都未必为实。对于配音演员孙晨铭来说，AI滥用直接影响到他的生计，赖以谋生的声音，正成为被随意复制的免费素材。迎面而来的AI时代，让他看不清自己的未来将通向何方。

我们正在进入“全民AI时代”

监管能不能够跟得上呢？

如今，AI合成视频已经能做到以假乱真，不得不需要新的技术来辨别。技术成熟的速度令人惊叹，而使用门槛也大幅降低。一部手机、几个软件，普通人就能轻松生成文字、图片、音频、视频等各类内容。可以说，我们正在进入一个“全民AI时代”。

然而，技术的普及势必会带来AI的滥用：从人脸和声音被合成冒用，到各类低俗猎奇视频的传播，再到漫天谣言的背后，AI都成了核心“推手”。每隔一段时间，新的问题就会涌现。所以，在技术开始狂奔的局面下，我们需要关注监管，能不能够跟得上呢？

精致的五官、灵动的眼神、流畅的动作，如果没有相关标注，你是否能分辨出，这是一个完全由AI生成的数字人？在短视频平台，类似的视频比比皆是，还有不少视频，直接提供免费的AI软件以及使用教程。

一部手机、两三个 AI 软件，几分钟就能制作一段时长五秒左右的美女跳舞视频。AI生成合成技术的飞速发展，正在累积着治理风险。去年，抖音安全中心曾发布公告，表示已发现多种不当使用AI技术生成虚拟人物的行为，其中就包括利用AI生成俊男美女虚假形象，骗取互动，将用户导流至私人聊天工具，甚至进行诈骗。根据抖音平台本周五提供的数据，他们最近一周处置的AI虚假违规内容量，相比2025年第一周，增长了62%。

事实上，从2023年开始，抖音等多家平台陆续要求，发布人工智能生成内容时，需添加“内容由AI生成”的标识，并且也会进行监测和处置。但是，执行效果并不尽如人意。并且有自媒体博主表示，一些平台的监测手段可以破解，比如一些AI工具配置有镜像文件，其一键生成的虚拟人像，就能规避平台的监测。

自媒体博主：很少。你看我作品我十四个里面就一两个会有。如果它给你出判定为AI作品，你可以把作品下架，然后再重新发一个。

中国信通院人工智能所安全部高级业务主管 陈文弢：如果说打上了这个标识，你只看可能就觉得它是由AI生成的，可能就不是特别的可信，所以这是从用户的角度，他是不愿意打这个标的。从技术的这个角度来看，如果说想完全满足监管的这个要求，把所有的生成合成的视频都识别出来，这个其实难度还是很大的。

相比视频、图像，在专家看来，AI生成的文字谣言，监管起来其实更加困难。去年，江西南昌就破获一起AI造谣案件，相关机构利用AI软件，一天最多能生成4000—7000篇谣言文章，工作量惊人。更让人担忧的是，AI算法还能匹配用户喜好，定制化的生成谣言，使AI谣言变得越来越真假难辨。今年3月，某自媒体账号发布全国首例“AI医疗误诊”诉讼案开庭的文章，时间、地点、人物甚至庭审争议焦点等细节满满，不过，经过记者与法院核实，所有内容都是AI编造的假信息。

目前，尽管一些平台设置了相应“谣言库”，通过设置热点关键词来屏蔽谣言。但一些机构利用AI模型针对性地进行对抗训练，使用近义词或类似表达，就可以绕过筛查。

今年4月以来，中央网信办开展了为期三个月的“清朗·整治AI技术滥用”专项行动，AI换脸拟声、AI内容标识缺失等乱象，都是整治重点。6月，网信办公布专项行动第一阶段成果，累计处置违规小程序、应用程序、智能体等AI产品3500余款，清理违法违规信息96万余条，处置账号3700余个。如今，三个月的专项行动已经结束，但监管与AI滥用之间的拉锯战，显然才刚刚开始。

联合国高级别人工智能咨询机构中方专家 中国政法大学数据法治研究院教授 张凌寒：我们可能更要设定一个目标，就是能够在AI应用爆发之后，我们在这几年要把整个AI滥用生成虚假内容实现在一个可控的范围之内。这个可控的范围是指说我们不能够让广大老百姓因为这个去发生重大的人身财产的损失，同时也要尽量减少这种AI的内容虚假宣传造成社会舆论的动荡。这是我们的一个红线和底线。

“内容由AI生成”

能改变AI滥用的现状吗？

人工智能，正以前所未有的速度改变世界，它不仅是科技创新的前沿，更是国家间战略博弈的新高地。相关产业的发展固然重要，但通过监管和立法为它划定边界，也同样显得十分紧迫。因为科技的进步本身并不足以确保人类的进步，更重要的是通过规则为它校准方向。

说到规则，关于AI合成内容，几天后的9月1日，网信办等四部门印发的《人工智能生成合成内容标识办法》将开始施行，它明确规定服务提供者，应当对文本、音频、图片、视频等生成合成内容，在适当位置添加显式标识，也就是说今后所有AI作品必须亮明身份，标注是AI生成。它的实施，能改变当下AI出现滥用的现状吗？

在某短视频平台上，一条生成式视频的左下角“标注着”作者声明：内容由AI生成，而这样的标注义务，在即将于9月1日实施的《人工智能生成合成内容标识办法》中，得以进一步明确，在人工智能生成合成内容的全生命周期，都要履行标识义务。

北京抖音信息服务有限公司副总编辑 全森：这个标识办法要求AI技术服务提供者，对文件（元数据）内容进行隐式标识。这样一个核心的链路解决了最大的卡点，这个卡点就是技术服务平台与内容传播平台之间，数据难以互通的一个卡点。解决了这个卡点之后，我们预计很大程度上解决了这个AI难以识别的问题。

马上就要实施的这个《标识办法》，从人工智能生成合成内容的生产、传播和使用等环节入手，对标识制度进行了系统性的细化和规范。而随着深度合成技术日益逼真，逃避审查的手段不断升级，人工识别的难度越来越高，相应的法规和机制，也需要不断应对挑战。

推进生成式人工智能标识制度的建立，已经成为世界各国的共识。而在专家看来，中国在该领域的立法起步相对较早，2023年施行的《互联网信息服务深度合成管理规定》，就在世界范围内，在相关法规中首次明确提出生成式人工智能标识义务。

在专家看来，即将实施的《标识办法》，还只是一个规范性文件，在整个立法体系中位阶较低。如果站在更高的维度观察人工智能立法，安全、隐私、公平等都是必须直面的核心问题。今年，人形机器人行业进入快车道，机器人逐渐与人实现面对面，甚至是接触式交流。在深圳的一家养老机构，养老机器人，不仅可以带老人跳舞，扶着走路，还能陪打乒乓球、递水等，可谓多才多艺。面对着养老新朋友，有老人既兴奋又担心，机器人真的安全吗？

经过多年探索，我国已初步构建起涵盖多层次、多维度的人工智能法律框架，但仍需要一部具有统领性的人工智能高位阶立法，予以统一规范。在国务院公布的2024年度立法工作计划中，曾明确“预备提请全国人大常委会审议人工智能法草案”，而《全国人大常委会2025年度立法工作计划》的相关表述则是，“人工智能健康发展等方面的立法项目，由有关方面抓紧开展调研和起草工作，视情安排审议”，显然，一部中国的人工智能法，正在加紧推进之中。

对于人工智能，有人把它比作是潘多拉魔盒，在释放出无限可能的同时，也会带来难以预知的风险。

而前不久在上海举办的世界人工智能大会上，图灵奖得主辛顿的演讲，也在提醒所有人，要对AI保持足够的警觉。他把人类与AI的关系，比作饲养一只老虎，老虎长大后可能轻易超越人类，而且人类没有摆脱和消除它的选项，人类想要生存，必须找到办法训练AI。而如何训练出比人更聪明的“好AI”，是我们从来没有遇到过的巨大的机会和挑战。

正如中国那句老话，“人无远虑，必有近忧”，在AI的问题上，我们必须要看得更远，才能走得更好。