划重点
01西藏日喀则市定日县发生6.8级地震后，一张戴帽子的小孩被重压在倒塌建筑物下的AI生成图片在社交媒体上疯传。
02事实上，AI生成的图像已越来越接近真实，难以辨别真伪，引发对虚假信息的担忧。
03为此，各大科技公司采取措施，如C2PA、OpenAI的双重保护机制、Google的SynthID水印技术等，以防范AI生成的虚假内容。
04然而，目前人类仍面临三道防线：电子标签、传播途径中的关卡和法律防线，但都存在薄弱环节。
05在后真相时代，主动守护真相成为人类区别于机器的本质特征之一，检查信源应成为日常习惯。
以上内容由腾讯混元大模型生成，仅供参考
腾讯科技特约作者 郝博阳 郭晓静
编辑 郑可君
1月7日9时05分，西藏日喀则市定日县发生6.8级地震。
一张戴帽子的小孩被重压在倒塌的建筑物下的图片，在某平台上疯传开来。
至少有10个以上的账号发布这张图片，并和西藏日喀则地震进行关联，有些甚至获得上万的转评赞。
腾讯新闻较真平台查证了相关图片，证实这组牵动了如此多网友的心的照片，其实是由AI生成。
图：腾讯新闻较真平台的查证报道
在这样重大的灾难面前，AI造成的误解，也暗含了正在快速增长的隐忧。
2023年3月，一张由Midjourney生成的教皇方济各身着巴黎世家羽绒服的照片在社交媒体获得超百万点击，许多人误以为是真实照片。
图：AI生成的教皇身着白色羽绒服的图片
2023年4月，社交媒体上出现了AI生成的中国四川山火照片，由于画面极其逼真，一度引发公众恐慌，直到官方媒体出面澄清。
上左、上右为AI生成图，下排图为原图 2019年云南丽江火灾救援
2023年8月，在美国夏威夷毛伊岛发生严重山火期间，社交媒体上又出现了AI生成的纽约市被洪水淹没的照片，这些虚假场景再次引发了人们对气候灾难的恐慌。
2023年12月，甘肃积石山地震期间，大量AI生成的地震现场照片混杂在真实灾情照片中传播，严重干扰了灾情信息的准确传递。
这是AI生成的内容对人类社会影响的一个切面，是可能影响最严重的部分。在灾害、战争等场景中制造半真半假的信息。
和之前的情况不同，过去我们个人有防范的手段。但随着技术的进步，AI生成的拟真已经越来越接近奇点，难辨真伪了。
一、真假难辨的AI
以上这几张图片，你能分出来哪张是由AI生成的吗？
全部都是。
这就是2024年AI文生图模型的能力。这些AI生成的人像已泛滥在赛博空间，你在刷小红书时也许就可以碰到，但你不一定能认得出来。
在上述地震中的小朋友图片中，我们还可以从手部六个指头看出AI的端倪。但这是因为图片制作者并未采用最先进的大模型技术。
早在2023年3月，图像生成领域的领头羊Midjourney在其v5版本中就已经解决了手指数量的问题。他们通过海量手指标注数据，成功对模型进行了微调，让模型能够至少知道手指的样貌。
图：从V3-V5，手指表现的改进
但到此时，AI生成的手指还有一些瑕疵，比如它的肌肉纹理并不自然。
图注：V5生成的手，有时候用力过猛
到了2024年7月，最新版的Midjouney V6.1已基本解决手指问题了，甚至将手部细节做到相当完美逼真了。
虽然AI生图的真实度一直在加强，但它也不是完全完美的。只是普通人想识别出它的异样，还是有点难。
比如在2024年6月，美国西北大学专门出了一份54页的手册，帮你辨别AI生成内容。
在手册中，他们提到了五种核心辨别AI造假的方法。首先是解剖学上的不合理，比如手部的不自然、骨骼惊奇、牙齿奇怪。
第二是风格化，如果画面看起来太干净、或者过分有电影感，这都可能是AI造假的。
第三是功能上的不合理，AI对很多功能性产品的理解有限，因此会常常表现很模糊，或者不对劲。比如把镜子放在床后面，正常人都不会干这事儿。而且目前能够正确显示汉字的AI生成模型还寥寥无几。
第四是违反物理规则，比如反光和影子不正常，镜中倒影也不对劲。
第五是文化或常识上不合理，比如川普加入黑人女性排队（川普是个白人种族主义者，不可能加入女黑人的派对），或者穿着泳衣去葬礼。
然而，整本手册一直在提醒我们注意，这些错误在多次生成、或者降低Prompt复杂度的情况下是可被避免的。
那些有意产生看起来足够逼真AI画面的人，还是可以通过反复生成，调整提示词来扬长避短，“欺骗”你的眼睛。
而且部分细节上的“不对劲”，如果不是仔细看，人类是无法分辨的。
对于这一点，美国甚至政府部门都上阵做了考察。
早在今年三月，美国政府战略研究中心网络安全计划就做了一项研究。他们发现，人们识别AI生成内容（包括图像、视频和声音）的综合准确率仅有51.2%，接近随机掷骰子的水平。
在所有类型的AI生成内容中，图像是最不容易识别的，准确率仅有49.4%，比瞎猜都差。
而其中人脸图像更难识别，正确率仅有46.6%。而且这还是上一代图像和视频生成模型下的结果。看看下面这些具体的图像，和当前的AI生成技术水平还是有点距离。
图注：具体图像的识别准确率
可以说，图片造假早已经超越了人类的识别线。而且不管你是不是专业人士，你都看不出来。在论文中，熟悉AI的人和完全不熟悉的人，准确率只差了0.8%。
而且如今，随着Sora、可灵等AI生成视频模型的更新，视频这个赛道也早就变得更加真实了。
比如在本周，Heygen（目前全球最知名的AI 视频虚拟数字人生成平台）和Sora合作的数字人计划，已经完全自然到普通人难分真假的水平了。
对于个人而言，现在还剩下的唯一一条路径就是用机器对抗机器。当你觉得不对劲时，可以用AI探查网站去验证图片或视频的真伪，这些工具利用了计算机视觉技术分析像素模式，判断图像由 AI 生成的可能性。
比如AI or not，它是一款提供简单“是”或“否”答案的工具，我们尝试了 10 张图片，获得了 80%的成功率，虽不完美但尚可。
二、作为人类，目前我们还有三道防御AI的防线
当AI发展到普通人类的肉眼无法识别的时候，人类还有什么防御手段？从目前来看还有三道墙。
第一道，各大科技公司让“AI的生成品”走出家门的时候，大部分还是会对AI打上一定的电子标签的，让它们有一个可以被识别的电子身份证。
在这里，首先要提到C2PA，它是由Adobe、Arm、英特尔、微软和BBC等科技与媒体巨头早在2021年2月共同发起的开放技术联盟，为了建立统一的内容认证标准，通过开发开源技术规范来解决数字内容的可信度问题。
到了今天，AI生成内容爆发式增长，这个标准也在持续被科技公司采用。
比如，OpenAI采用了双重保护机制：在图像处理中采用C2PA标准水印，并在元数据中嵌入生成信息，这种数字水印无法篡改，可以记录创作时间、使用模型等信息；另外在图像右下角添加标识，相当于一个电子签名。
这种方案虽然完整，但在图片经过多次转发或格式转换时，隐藏的元数据可能会丢失。
Google开发的SynthID水印技术相对解决了这个问题，这种水印对人眼完全不可见，却能在图片经过裁剪、压缩、滤镜处理甚至打印再扫描等多重操作后依然存在。验证时需要使用专门的检测工具，通过复杂的算法分析来确认水印的存在。
这种技术虽然具有极强的防篡改性，但检测过程相对复杂，很难实现即时验证。
作为图像处理软件的行业的龙头企业之一，Adobe推出了系统化的Content Credentials方案。就像给每张图片配备了一个可靠的"电子档案"，符合国际C2PA标准，还提供了面向大众的Verify验证平台。用户只需打开网页就能轻松查证图片来源，特别是在使用Photoshop等软件时，这个"电子档案"会自动生成，完全可以融入创作流程。
但是，还是有一些科技公司，在这道防线上不太负责任。
比如，在这波生成式AI创作的浪潮中最引人关注的两家图片生成公司Midjourney和Stability AI——Midjourney没有添加传统水印，社交媒体上戏称它的独特的艺术风格就是天然标识；而Stability AI更是直接把权利交给用户，可以根据需求决定是否添加水印，完全一副”人性本善，全靠自觉“的态度。
如果说，在这些AI内容生成的时候，依然有漏洞可钻，那么，人类还有第二道防线，就是在它们的传播途径中设关卡。
比如前面提到的科技巨头Meta，虽然动作有点缓慢，但是已经声称“正在为旗下社交平台开发新的标识系统，计划将可见标记和隐形水印结合起来。考虑到社交平台上图片传播频繁的特点，他们特别注重标识的持久性和跨平台兼容性，就像给每张图片配上了能随时核验的电子护照"。
另外，比如X平台（原Twitter），开发了自动检测的机制，可以识别AI生成的内容，如果验证了这是AI，就会在信息流中添加明显标识；还鼓励创作者主动标注自己使用AI辅助创作的内容。
TikTok的应对措施会更为严格，要求创作者必须披露使用AI生成的内容，并建立专门的举报通道，处理未标注的AI内容。
但是，平台是否应当承担管理责任，以及是否有能力承担管理责任，目前都是未知的。
在传播途径之外，人类还在努力建立第三道最强大的法律防线。
欧洲速度是相对较快的，2023年底，欧盟通过了具有里程碑意义的《AI法案》（AI Act），这被公认为全球首个全面的AI综合监管框架。
它的核心要求之一是所有AI生成的内容都必须清晰标识其人工智能属性，确保用户能够轻易识别内容的来源。为了确保法案的执行力度，欧盟还设置了严厉的处罚措施，违规企业最高可能面临全球营收7%的巨额罚款。
我们国家在去年9月就已经发布了《网络安全技术人工智能生成合成内容标识办法》强制性国家标准（征求意见稿）。
但是，由于生成式AI这两年的爆发式发展，法律制定的进程远慢于技术发展；而且各个国家的态度有所不同，都试图在监管和创新发展中找一个好的平衡点，再加上AI领域的竞争与合作关系复杂，想建立一个全球统一的治理框架和标准难上加难。
综合来看，虽然人类存在三道防线，但是这三道防线都有自己很明显的薄弱环节。所以才让各种AI Deepfake内容这样容易的入侵人类社会。
三、结语
在经历了漫长的技术进化后，AI终于撕开了人类感知能力的薄纱。这个发现令人不安 —— 它意味着我们正站在信息真实性的分水岭上。
AI谣言的"奇点"不是未来时，而是现在时。
然而，面对这场数字巨变，我们的社会防御体系仍显稚嫩。当下，我们正经历着类似的适应期：技术以指数级速度推进，而信任体系的重建却需要线性时间。这种不对称必然会导致一段信息生态的混沌期，就像任何重大社会变革一样，混乱在所难免。
在这个后真相时代，每个人都成了信息真实性的守门人。检查信源这件事应该成为一种日常习惯。这不仅是个人的责任，更是集体信任网络中的一环。
毕竟，在信息洪流中主动守护真相，不正是人类区别于机器的本质特征之一吗？
利用灾害博流量！“小男孩被埋图”涉案人员已被拘