1.韩国近期曝出恶性“Deepfake”事件,涉及多名女性受害,引发关注。
2.Deepfake技术可生成伪造的人脸图像、语音和虚假视频,被用于色情、隐私和诈骗等领域。
3.由于此,韩国国会已通过《Deepfake性犯罪防止法》,加强对此类犯罪的打击力度。
4.与此同时,中国也在应对Deepfake犯罪问题上取得进展,出台相关法规。
5.然而,技术滥用所引发的诸多棘手问题仍需人类与技术共同应对。
以上内容由腾讯混元大模型生成,仅供参考
图文|南京大学“数据新闻”课程
2024秋季学生
高 磊 贾希亚
孙怡洋 杨 溢
传播策划|高 磊
责编|高 磊 黄玺澄
指导老师|陈志聪 王辰瑶
(上述按姓氏首字母排序)
本文首发于微信公众号“家书工作室”,原标题为《Deepfake狂潮警告:你做好准备了吗?》。
“大家好,我是住在韩国的少女。现在韩国的情况太严重了。现在无法预测有多少女性因Deepfake而受害……中国女性朋友们,拜托你们把这件事传出去吧。”这是一名韩国女性(账号名nosunae_520)在微博平台发布的求助帖。
2024年8月,韩国曝出恶性的“Deepfake”事件,韩国网民在即时通讯应用“电报”(Telegram)上发现大量聊天群,其中有成员创建和分享露骨的色情“深度伪造”图像,对象涉及未成年女孩。
8月26日开始,来自韩国的多名女性开始通过小红书、微博等社交平台发出求助帖,试图向韩国之外的其他地区广泛传播消息,Deepfake相关话题多次登顶热搜,在中文互联网引起轰动,使得Deepfake技术与犯罪进入中国民众视野。
什么是Deepfake?Deepfake技术如何演进?Deepfake犯罪又是怎么一回事?在deepfake技术犯罪泛滥的今天,人类能够做些什么?
我们试图从数据中找到答案。
Deepfake:人工智能时代的黑魔法
Deepfake,即“深度伪造”,简称“深伪”,是英文“deep learning”(深度学习)和“fake”(伪造)的混成词,指基于深度学习等人工智能技术,生成伪造的人脸图像,语音,以及将伪造图像和语音结合在一起的虚假视频。
在中国知网发布的专业文献的基础上,我们把25项人脸和38项语音方面的生成式人工智能技术研究成果汇总在一条时间线上。
人脸生成技术多被运用在影视、游戏、动画等娱乐产业的角色塑造和视觉效果提升、广告营销、人脸识别算法优化,以及日常图像编辑和表情包制作等方面。
语音生成技术主要在辅助视障人士获取信息、自动语音播报应答、军事通信加密伪装以及语言学习和语音矫正等领域发挥作用。同时,人脸与语音生成技术也逐渐融合发展,拓展出虚拟主播等新应用场景。
但当一项新技术的魔盒被打开,难免会被心怀不轨的人利用。加速迭代的人脸和语音生成式人工智能技术被Deepfake音视频制造者使用,使Deepfake犯罪变得更加多样和隐蔽。
Deepfake犯罪重灾区:色情、隐私、诈骗
美国安全服务机构Security Hero发布的2023年Deepfake技术现状报告显示,2023 年在线Deepfake视频的总数为 95,820 个,比 2019 年增长了 550%。Deepfake色情内容占所有在线Deepfake视频的98%。
而去年7月至8月期间,在10个Deepfake性犯罪网站和YouTube等视频共享平台上的85个Deepfake频道上发布的95820个视频中出现的人像有 53% 是韩国人,该报告指出,韩国是受到Deepfake性剥削内容攻击最严重的国家。今年10月16日,韩国警察厅表示,2024年1月1日至10月14日,共受理并调查了921起利用深度伪造技术实施的性犯罪案件,逮捕474名嫌疑人。
近年来,韩国多个地区频繁发生多起 Deepfake 犯罪事件,并有愈演愈烈之势。
(新闻数据包括朝鲜日报,世界日报,Eday,文化日报,韩国经济日报,釜山日报社,东亚日报,Nocut News,Digital Times,首尔新闻,蔚山报纸等14家韩国本土主流媒体)
上图呈现的是2017年至2024年韩国各地区Deepfake犯罪事件逐年曝光情况。我们在韩国大法院判例检索系统和韩国法令信息中心上检索到涉及Deepfake犯罪事件共9起,考虑到部分案件尚未公开判决,我们同时在BIG KIND网站上搜索韩国多家主流媒体截至2024年10月31日报道的Deepfake相关新闻,提取出43起Deepfake犯罪事件。排除未说明具体案发地区的案件,呈现在地图中的共有42起。这42起Deepfake犯罪事件中,主要涉及性犯罪,诈骗,损毁名誉,侵犯版权四种类型,其中性犯罪事件占比高达85.7%。
尽管从2017年到2024年Deepfake犯罪事件曝光数量越来越多,也有越来越多的民众意识到Deepfake这一潜在的危险,但正如在小红书发帖的韩国女生恩敏所言,还有很多受害人的声音被淹没,还有很多Deepfake犯罪者潜藏在暗处。根据韩国妇女人权研究所公布的数据,从今年1月1日到8月25日,共有781名Deepfake受害者在线求助,其中288名(36.9%)是未成年人。
除了韩国,Deepfake犯罪事件也正在其他国家悄然上演和扩散。在中国已公示的判例和新闻报道中,侵犯肖像权和利用Deepfake进行电信诈骗的案件较多,其中电信诈骗涉案金额最高达1.84亿。
如何对抗Deepfake?公民发声!
从8月26日韩国女生在推特发帖被删,到多名女性用不同语言,在不同国家,不同平台坚持发声。接着,中国网友乃至全球女性的相继发声,微博热搜登顶,相关话题也登上推特首页实时趋势。9月23日韩国国会常任委员会通过了以加强对利用Deepfake技术的数字性犯罪的处罚为主要内容的《Deepfake性犯罪防止法》,9月26日韩国国会全体会议通过持有或观看性剥削Deepfake(深度伪造)视频的行为将被判处3年以下有期徒刑的法案(待总统签署)。Deepfake受害群体的控诉、越发警觉公众舆论,正在强化针对deepfake的监管和打击。
Deepfake犯罪类型往往与女性安全问题相关,我们以“Deepfake”为关键词爬取2024年8月1日至11月1日的所有微博帖子和评论,共计6万余条,发现参与讨论、发声的女性数量远高于男性,情感倾向总体偏负面。
在应对这类技术犯罪威胁的过程中,跨国界的团结显得尤为珍贵。经过情感分析可以得知,虽然负面情绪较多,但与此同时,也存在着颇为显著的团结之声。诸如 “抱抱”“希望”“支持”“加油” 等饱含情感的词汇,展现出了一种团结互助的积极态度,尤其体现在中国网友对韩国受害女性群体所做出的鼓励与回应上。
如何对抗Deepfake?用魔法打败魔法
2024年9月6日下午,外滩大会AI创新赛·全球Deepfake攻防挑战赛在上海举办,汇聚了来自中国、美国、日本等26个国家和地区的2200多名选手和1500多支队伍。这一次“人工与AI的交锋”要求参赛团队开发检测模型,精准辨识深度伪造的图像、音频及视频内容,旨在加速Deepfake检测专利的革新步伐,构筑起抵御技术滥用的坚固防线,推动技术向善的方向发展。
(图源:Inclusion外滩大会公众号)
事实上,早在2018年,中国专利信息网就公开了第一个中国人自主研发的Deepfake产物检测专利。多年来,众多高校、研究机构和企业坚持深耕Deepfake产物检测领域,不断提升检测模型性能和准确度,拓展检测范围,推动Deepfake检测技术快速迭代。
我们以“Deepfake”“深度伪造”“换脸”为关键词检索并统计了2018年以来中国专利信息网公示的能够检测Deepfake产物的专利,共计375条。
从2018年公示的1条到2023年公示的71条,这些专利记录表明科研界正在对Deepfake犯罪问题投入越来越多的关注。
专利申请人包括高校、研究机构、企业和政府,其中高校为相关专利研发的主力军。除了深度伪造的图像,音频、视频和人脸模型等都有相应检测专利,以深度伪造视频为检测对象的检测专利最多。
我们整理了2024年1月至10月中国知网上发布的Deepfake检测专利论文,并剔除了部分没有呈现检测模型准确度的文章,共计14篇。今年发布的检测模型准确率最高已达99.56%。
全球Deepfake攻防挑战赛参赛选手张欣怡将参加挑战赛的AI模型免费向全球开源,希望以此降低Deepfake对抗的使用门槛。这一举动让她走红网络。这位来自中国科学院的“95后”女性算法工程师曾在微博发声:“这个世界有黑暗,也有照亮黑暗的光。如果一个人的火把太小,我们就把火把传给世界的每一个人。”
如何对抗Deepfake?法律武器!
光靠关注、发声与技术对抗,想要抵挡Deepfake犯罪是远远不够的。
面对Deepfake技术滥用引发的犯罪问题,法律是直接且有效的防卫手段。
韩国在遭遇大规模Deepfake性犯罪危机后已在2024年通过了一系列法律修订,加强对相关犯罪行为的打击力度。其中,《性暴力犯罪处罚特例法》(韩国)修正案明确将Deepfake伪造行为纳入处罚范围,即使没有传播目的,也可对制作者进行惩罚,最高可判处7年有期徒刑。
然而,从全球范围来看,只有极少数国家或地区出台了专门针对Deepfake的法律。
美国各州立法体现了地域特色,例如加利福尼亚州自2019年以来多次修法,明确针对利用Deepfake伪造选举或名誉损害的行为;田纳西州率先通过了保护个人声音和图像权利的法案。欧盟则着眼于深度伪造技术的全面治理,2024年出台《人工智能法案》,设定更严格的技术责任标准。
值得关注的是,各国立法在具体侧重点上也有所不同。例如,美国并没有联邦立法,而是各州根据实际情况立法,倾向于保障公民个人权利。韩国更注重打击性剥削相关犯罪,而阿联酋则强化对生成式人工智能系统设计者的约束,要求他们承担相应的道德与法律责任。
在这一全球趋势下,中国也迈出了重要步伐。2023年,我国陆续出台了《深度合成管理规定》和《生成式人工智能服务管理暂行办法》。这些法规不仅明确提出“不得侵害他人肖像权、名誉权、隐私权和个人信息权益”,还针对AI提供商和系统开发者设定了法律责任框架。这一系列举措显示出我国在应对Deepfake犯罪问题上的法治化和规范化进展。
2024 年,Deepfake 俨然成为备受瞩目的热点话题之一。然而,技术滥用所引发的诸多棘手问题并不会随着时间更迭而自行消散,人类与技术的赛跑还在继续,在对抗Deepfake犯罪的路上,我们还有很长的路要走。
*参考资料及数据来源:
1.韩国大法院判例检索系统:https://glaw.scourt.go.kr/
2.韩国法令信息中心:https://www.law.go.kr/LSW/main.html)
3.美国安全服务机构: https://www.securityhero.io/state-of-deepfakes/
4.北大法宝:https://www.pkulaw.com/
5.慧科新闻数据库:https://wisesearch6.wisers.net/
6.韩国BIG KIND新闻数据库:https://www.bigkinds.or.kr/
7.中国知网:https://www.cnki.net/
8.中国专利信息网:https://www.patent.com.cn/
9.https://www.kwm.com/cn/zh/insights/latest-thinking/deepfake-and-right-to-personalimage.html
10.https://www.lexology.com/library/detail.aspx?g=e4cf0fef-8aa1-46ca-81b6-3a0995374cc2 11.Mania, Karolina. "Legal protection of revenge and deepfake porn victims in the European Union: findings from a comparative legal study."Trauma, Violence, & Abuse25.1 (2024): 117-129.
本文为南京大学新闻传播学院“WeChina微观中国”项目、未来编辑部一流课程的学生实践作品。
欢迎您通过投稿、提供线索等方式,和我们一起,在宏大叙事里找到微观中国!联系方式:wechinatengxun@163.com。