AI换脸生成说话视频仅需几十元

近日，中央网信办启动为期两个月的“清浪2023暑期未成年人网络环境整治专项行动”，重点排查“人工智能换脸”、“人工智能画图”等新技术新应用风险。 问题。 南都记者调查发现，随着AI技术的普及，其带来的隐患在网络中广泛存在。 其中，AI画图不仅可以轻松生成涉及未成年人的低俗色情图片和视频，AI换脸只需几十元就能生成有声视频。 这些新技术的出现，正在给未成年人带来看不见的隐患和风险。

一些“AI绘图”涉及轻微的软色情内容

2019年，国家网信办发布的《儿童个人网络信息保护条例》于同年10月1日起实施，其中对儿童个人网络信息保护做出了详细规定。 其中，儿童个人信息影响最严重的是儿童色情信息的持有和传播。

南都记者注意到，近期有网友反映，国内一些视频网站出现了涉嫌儿童色情的AI画图内容，称有博主训练AI把女孩的脸摆成各种挑逗动作，让她们的幼童把她举起来裙子对着镜头，穿着“下半身缺失的裙子”，并附有图片和文字。 微博上，一篇强烈批评AI画图生成的“少女二维孕照”的热门帖子已获得数万网友点赞。

南都记者进一步调查发现，一些视频网站正在为此类人工智能生成的未成年人软色情图片、视频提供传播渠道。 在实际搜索测试中，记者能够轻松搜索到许多由人工智能生成的衣着暴露、性暗示姿势的女性图像。 如果关键词再详细一点，就不乏软色情生成的未成年少女图片。 有的发布视频的人甚至在评论区留下图片链接，以换取观众的点赞和关注； 有的还留下了自己的QQ号和联系方式来“接单”，声称如果有具体需求，可以在画模型上设置详细描述词生成。

卧底调查中，记者还发现，在电商平台上，可以发现大量打着“AI画画”“AI换脸”旗号生成美女视频的店铺。 “傻瓜式操作，初学者轻松上手，免费使用海量关键词描述”，一家店铺在上述标语中这样写道，只需要输入一系列关键词，就能智能生成你想要的图片。

尝试购买后，客服会向您发送云链接和提取码。 销售内容包括SD模型包、涂装快速修复、变现方式、安装说明等。 对方发送的图片材料和描述性文字中，不少涉及低俗色情内容，很容易生成未成年少女的软色情图片。 此外，评论区还发布了许多人工智能生成的学生照片。 这些女孩看起来很幼稚，她们的姿势表明她们是未成年软色情。

不少商家在页面上声称支持一步变脸。

“AI脱衣”技术瞄准学生

今年3月，一则“女子地铁照片被AI一键脱掉衣服”的新闻登上微博热搜。 照片中的女人是一位博主。 她在社交平台上晒出了一组在地铁上拍摄的穿搭照片，却有人利用AI软件一键“脱衣服”，故意在网上传播。 对此，该博主表示将采取相应措施维护自己的权利，并希望引起人们对隐私权和个人形象保护的重视。

事实上，“AI脱衣”的危害甚至波及未成年人。 记者通过商家了解到，部分AI绘图软件还支持一键脱衣。 一位卖家声称自己“资源很多”，不仅卖画图软件，还卖大量图片素材。 在网页上，他将图集详细分为“二次元”、“国风”、“动画”、“机甲”等类别。 对方介绍的图片材料中，出现了“姑娘”“姑娘”等多个词语。 有商家称，他们专门销售“AI画校服照片”图片素材，图片中的女学生穿着校服，衣着暴露，表情挑衅。

有商家出售“AI绘画校服照片”图片素材，图片中是一名穿着校服的女学生。

其中一些提供“人工智能脱衣”相关技术或服务的商家会通过隐藏地址逃避监管，输入验证码后再查看； 其他人需要先关注公众号，然后发送密码才能获取验证码； 或者通过客服咨询。 通话过程中，对方提供网页链接，并通过该链接下载最新版本的APP。 记者实际测试发现，未成年人下载这些软件时无需表明身份。 他们可以通过输入关键字轻松操作来查找频道。

生成换脸说话视频仅需数十元

这些新技术除了产生低俗的色情图片、视频外，还往往会给其他渠道带来风险和隐患。

随着“AI换脸”传播范围越来越广，不少网友警告称，人贩子盗取父母的脸部和语音信息，在未成年人单独行动时利用可视电话AI换脸冒充父母，引导后代。 成年人有可能脱离人群实施绑架。 记者在短视频平台搜索时，会弹出大量相关短视频广告，并附有AI换脸软件的链接。 链接到一款名为“AI Shooting”的软件后，主页上出现了各种名人和素人的短视频。 只需观看25秒的广告，您就可以使用此APP免费制作十几秒的视频。 通常，这些短视频都附有下载链接，具有可观的广告流量。 许多视频有上千条评论和上万次分享。

此外，记者在电商平台上搜索，发现多个支持人脸一步转换的商户页面，月销售额数百甚至上千。 有客服告诉记者，他们销售一款支持图片和视频一键换脸的软件，价格只要几十元。

专家：强化平台主体责任，探索消费者集体诉讼制度

对此，中国互联网协会法律事务委员会副秘书长胡刚认为，人工智能，特别是以ChatGPT为代表的生成式人工智能，引发了新一轮颠覆性技术革命，带来了巨大机遇和挑战。全人类的机会。 强烈的挑战。 近年来，我国先后发布了《生成式人工智能服务管理暂行办法》、《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》等等，都是人工智能法律体系的细化和完善。

中国社科院大学互联网法研究中心执行主任刘晓春认为，传统对软色情等不良信息的治理更多是基于对传播端的控制，如禁止或限制传播等。 。 有专门的内容生产者，用户只需获取进一步的信息即可。 传播。 “现在的问题恰恰是，AI技术可以让内容生产变得非常简单，不需要专业人士或机构，每个人都可以成为发电机。那么之前对通讯链路的控制就有些失控了。”

刘晓春表示，现在要做的不仅是继续传统的对不良信息传播端口的控制，还要转变为对技术工具本身，包括技术工具的发展过程的干预和控制。 “例如，在一些高风险场景下，这些人工智能工具需要提供标签来标记生成的图片和视频中的合成图像和非真实图像，或者在人工智能工具中插入隐式标签来追踪特定的工具和用户。” 治理的重点是对一些关键环节进行干预，比如电商平台、APP应用市场，包括可以获取这种不良信息的直播间，严格管控并给予相应处罚，并整顿平台责任方。

中央网信办专项行动七大重点之一就是解决新技术新应用的风险问题，包括利用“AI换脸”、“AI画图”、“AI一点击脱衣”等技术生成涉及未成年人的图像。 低俗色情图片、视频。 “这说明问题已经凸显出来，引起了相关部门的重视，并成为重点打击对象。” 刘晓春表示，希望有关部门能够有一些更加创新的治理举措，采取有针对性的措施，“我认为总体还是可控的”。

对于国内人工智能治理和维权，胡刚表示，要深化消费者权益保护组织和检察机关的消费者公益诉讼机制，探索建立消费者集体诉讼制度，进一步完善消费者权益诉讼制度的衔接和协调。行政监察、民事公益诉讼、民事私益诉讼、综合调解。 建立及时、高效、一体化、网络化的消费纠纷解决机制。

来源 南方都市报

值班编辑｜邓闯

值班主管｜陈建春

值班编委｜杨建林

南国金宝全媒体产品传播中心出品