新闻

报料热线:81850000

您当前的位置 : 中国宁波网  >  新闻中心  >  社会
一张图片就能“活化”成视频?警惕AI深度合成技术
2022-06-10 11:03:01 稿源: 半月谈微信公号  

一段视频、一段语音,未必是真人拍摄或录制,在你不知道的手机App后台、支付界面、门禁闸机,或许有人正在盗刷你的脸。随着人工智能(AI)深度合成技术日益精湛,合成的音频、视频等伪造内容越来越能以假乱真。毫无疑问,我们生活的现实世界正在面临技术滥用的风险与挑战。

盗刷人脸、篡改声音,那都不叫事儿

近两年来,在浙江、安徽、江苏等地,多名盗取个人信息的犯罪嫌疑人被公安部门抓获。犯罪嫌疑人作案流程极为雷同:先是非法获取他人照片或有偿收购他人声音等“物料”,然后利用人工智能技术将照片“活化”、合成动态视频,之后或直接骗过社交平台、支付宝账户的人脸核验机制,进行非法获利;或骗过手机卡注册过程中的人工审核环节,继而利用他人名下的手机号进行电信网络诈骗、网络赌博等,使被收集信息的人遭受安全威胁和财产损失。

一张陌生人的图片,如何“活化”成为视频?

记者在清华大学人工智能研究院实验室的演示电脑前看到,一张刚从微信朋友圈中下载的陌生人的正脸静态照片导入电脑后,在技术人员的操作下,照片上的人物可瞬间“活”起来,根据指令做出相应的眨眼、张嘴、皱眉等精细动作和表情变化,并在短短十几秒内生成流畅视频。

“完成由静到动这一驱动操作的技术叫深度合成技术,是人工智能内容合成技术的一种。”清华大学人工智能研究院工程师萧子豪说,深度合成技术已经衍生出包括图像合成、视频合成、声音合成、文本生成等多种技术。

在技术加持下,盗刷人脸不再是难事。在手机卡注册、银行卡申请、支付软件登录等需要人脸动态识别的环节,这些伪造的合成视频可协助不法分子通过后台审核验证。

技术人员向记者演示了声音合成的操作。几段60秒的陌生人语音通过深度合成技术,即可生成“不用打卡,直接微信转账给我吧”“今天你不用去接孩子了。我就在学校附近,顺路去接孩子”等语音,效果如同真人发出的声音。这种声音合成令人“细思极恐”。

深度合成正瓦解“眼见为实”

在国内外内容平台、社交平台上,深度合成内容呈现“量质齐升”。其中合成的影视剧片段、话题人物的换脸视频等因具有较强娱乐性而被大量传播。

清华大学人工智能研究院、北京瑞莱智慧科技有限公司、清华大学智媒研究中心、国家工业信息安全发展研究中心、北京市大数据中心联合发布的《深度合成十大趋势报告(2022)》显示,2017年至2021年国内外主流音视频网站、社交媒体平台上,深度合成视频数量的年均增长率超过77.8%。2021年新发布的深度合成视频数量是2017年的11倍。与此同时,深度合成内容的曝光度、关注度、传播力也呈指数级增长,2021年新发布深度合成视频的点赞数已超3亿次。

“网上流传的视频、语音,未必是真人拍摄或录制。”浙江大学网络空间安全学院院长任奎说,是全脸合成、音频合成,还是真实拍摄录制,许多时候凭借人眼难以分辨。

清华大学计算机系教授、人工智能研究院基础理论研究中心主任朱军认为,深度合成技术正在改变信息传播内容信任链的底层逻辑和复杂程度,风险隐患在迅速加大。一方面,“眼见为实”的定义发生改变。尽管公众对照片等静态信息易被篡改已有认知,但对视频、声音等动态信息仍持有较高信任度,深度合成技术再次瓦解了“眼见为实”的信任逻辑。二是短视频的广泛传播,使深度合成技术的滥用产生了较大范围的影响力和破坏力。

清华大学苏世民书院院长、教授薛澜认为,当深度合成等人工智能技术走向“滥用”,就会带来一系列的伦理和治理问题:轻则侵犯个人财产安全、伤害个人尊严和隐私,重则威胁国家安全、影响社会稳定。

引导技术向善,完善AI风险治理体系

技术是一把双刃剑。用好这把双刃剑,既不能让技术成为脱缰的野马,也不能让技术创新原地踏步。

从善用技术的角度,中国工程院院士、信息技术专家邬贺铨提出,对于技术的新应用、新发展,不能“一刀切式”地禁止和干预,以免阻碍其创新。而应当从源头上解决技术衍生的安全问题,利用技术创新、技术对抗等方式,持续提升和迭代检测技术的能力。

朱军认为,当前针对深度合成应用的检测技术仍处于探索阶段,手段尚不成熟。建议充分发挥科研院所、科技企业等力量,尽快形成有效、高效的深度合成应用技术检测能力,以在舆论战、信息战中争取技术优势。

从风险治理的角度,国家工业信息安全发展研究中心副总工程师邱惠君指出,近年来的数字化转型倒逼多国人工智能安全风险治理落地。欧盟率先在人工智能领域开展了立法,基于风险分析的方法,重点明确针对高风险人工智能系统的监管框架。

“人工智能安全包括数据安全、框架安全、算法安全、模型安全、运营安全等组成部分。对此,我们应当构建‘规定+标准+法律’的一体化治理规则体系,出台风险治理的指南、标准、评估规范,在条件具备时完善立法。”邱惠君建议,重点围绕数据、算法、模型和运维的角度,一是构建数据采集质量规范;二是根据应用场景对人工智能进行系统风险分级分类;三是建立安全责任体系,明确设计开发单位、运维单位、数据提供方的各自责任。

中伦律师事务所合伙人陈际红表示,打击“变脸”诈骗犯罪,应从技术的合法使用边界、技术的安全评估程序、滥用技术的法律规制等方面予以规范,提高技术滥用的违法成本。

朱军提示,公众应当对深度合成新技术、新应用形成正确认知,对其不良应用提高防范意识,保护好个人声纹、照片等信息,不轻易提供人脸、指纹、虹膜等个人生物信息给他人。

编辑: 杜寅纠错:171964650@qq.com

扫一扫,中国宁波网装进手机

中国宁波网手机版

微信公众号

中国宁波网(宁波甬派传媒股份有限公司)版权所有(C)

Copyright(C) 2001-2022 cnnb.com.cn All Rights Reserved

互联网新闻信息服务许可证:3312017004 信息网络传播视听节目许可证:1104076

违法和不良信息举报电话:0574-81850000 举报邮箱:nb81850@qq.com

一张图片就能“活化”成视频?警惕AI深度合成技术

稿源: 半月谈微信公号 2022-06-10 11:03:01

一段视频、一段语音,未必是真人拍摄或录制,在你不知道的手机App后台、支付界面、门禁闸机,或许有人正在盗刷你的脸。随着人工智能(AI)深度合成技术日益精湛,合成的音频、视频等伪造内容越来越能以假乱真。毫无疑问,我们生活的现实世界正在面临技术滥用的风险与挑战。

盗刷人脸、篡改声音,那都不叫事儿

近两年来,在浙江、安徽、江苏等地,多名盗取个人信息的犯罪嫌疑人被公安部门抓获。犯罪嫌疑人作案流程极为雷同:先是非法获取他人照片或有偿收购他人声音等“物料”,然后利用人工智能技术将照片“活化”、合成动态视频,之后或直接骗过社交平台、支付宝账户的人脸核验机制,进行非法获利;或骗过手机卡注册过程中的人工审核环节,继而利用他人名下的手机号进行电信网络诈骗、网络赌博等,使被收集信息的人遭受安全威胁和财产损失。

一张陌生人的图片,如何“活化”成为视频?

记者在清华大学人工智能研究院实验室的演示电脑前看到,一张刚从微信朋友圈中下载的陌生人的正脸静态照片导入电脑后,在技术人员的操作下,照片上的人物可瞬间“活”起来,根据指令做出相应的眨眼、张嘴、皱眉等精细动作和表情变化,并在短短十几秒内生成流畅视频。

“完成由静到动这一驱动操作的技术叫深度合成技术,是人工智能内容合成技术的一种。”清华大学人工智能研究院工程师萧子豪说,深度合成技术已经衍生出包括图像合成、视频合成、声音合成、文本生成等多种技术。

在技术加持下,盗刷人脸不再是难事。在手机卡注册、银行卡申请、支付软件登录等需要人脸动态识别的环节,这些伪造的合成视频可协助不法分子通过后台审核验证。

技术人员向记者演示了声音合成的操作。几段60秒的陌生人语音通过深度合成技术,即可生成“不用打卡,直接微信转账给我吧”“今天你不用去接孩子了。我就在学校附近,顺路去接孩子”等语音,效果如同真人发出的声音。这种声音合成令人“细思极恐”。

深度合成正瓦解“眼见为实”

在国内外内容平台、社交平台上,深度合成内容呈现“量质齐升”。其中合成的影视剧片段、话题人物的换脸视频等因具有较强娱乐性而被大量传播。

清华大学人工智能研究院、北京瑞莱智慧科技有限公司、清华大学智媒研究中心、国家工业信息安全发展研究中心、北京市大数据中心联合发布的《深度合成十大趋势报告(2022)》显示,2017年至2021年国内外主流音视频网站、社交媒体平台上,深度合成视频数量的年均增长率超过77.8%。2021年新发布的深度合成视频数量是2017年的11倍。与此同时,深度合成内容的曝光度、关注度、传播力也呈指数级增长,2021年新发布深度合成视频的点赞数已超3亿次。

“网上流传的视频、语音,未必是真人拍摄或录制。”浙江大学网络空间安全学院院长任奎说,是全脸合成、音频合成,还是真实拍摄录制,许多时候凭借人眼难以分辨。

清华大学计算机系教授、人工智能研究院基础理论研究中心主任朱军认为,深度合成技术正在改变信息传播内容信任链的底层逻辑和复杂程度,风险隐患在迅速加大。一方面,“眼见为实”的定义发生改变。尽管公众对照片等静态信息易被篡改已有认知,但对视频、声音等动态信息仍持有较高信任度,深度合成技术再次瓦解了“眼见为实”的信任逻辑。二是短视频的广泛传播,使深度合成技术的滥用产生了较大范围的影响力和破坏力。

清华大学苏世民书院院长、教授薛澜认为,当深度合成等人工智能技术走向“滥用”,就会带来一系列的伦理和治理问题:轻则侵犯个人财产安全、伤害个人尊严和隐私,重则威胁国家安全、影响社会稳定。

引导技术向善,完善AI风险治理体系

技术是一把双刃剑。用好这把双刃剑,既不能让技术成为脱缰的野马,也不能让技术创新原地踏步。

从善用技术的角度,中国工程院院士、信息技术专家邬贺铨提出,对于技术的新应用、新发展,不能“一刀切式”地禁止和干预,以免阻碍其创新。而应当从源头上解决技术衍生的安全问题,利用技术创新、技术对抗等方式,持续提升和迭代检测技术的能力。

朱军认为,当前针对深度合成应用的检测技术仍处于探索阶段,手段尚不成熟。建议充分发挥科研院所、科技企业等力量,尽快形成有效、高效的深度合成应用技术检测能力,以在舆论战、信息战中争取技术优势。

从风险治理的角度,国家工业信息安全发展研究中心副总工程师邱惠君指出,近年来的数字化转型倒逼多国人工智能安全风险治理落地。欧盟率先在人工智能领域开展了立法,基于风险分析的方法,重点明确针对高风险人工智能系统的监管框架。

“人工智能安全包括数据安全、框架安全、算法安全、模型安全、运营安全等组成部分。对此,我们应当构建‘规定+标准+法律’的一体化治理规则体系,出台风险治理的指南、标准、评估规范,在条件具备时完善立法。”邱惠君建议,重点围绕数据、算法、模型和运维的角度,一是构建数据采集质量规范;二是根据应用场景对人工智能进行系统风险分级分类;三是建立安全责任体系,明确设计开发单位、运维单位、数据提供方的各自责任。

中伦律师事务所合伙人陈际红表示,打击“变脸”诈骗犯罪,应从技术的合法使用边界、技术的安全评估程序、滥用技术的法律规制等方面予以规范,提高技术滥用的违法成本。

朱军提示,公众应当对深度合成新技术、新应用形成正确认知,对其不良应用提高防范意识,保护好个人声纹、照片等信息,不轻易提供人脸、指纹、虹膜等个人生物信息给他人。

编辑: 杜寅

纠错:171964650@qq.com