这项由韩国光州科学技术院（GIST）与LIG国防航空（LIG Defense&Aerospace）联合开展的研究，发表于2026年第34届ACM国际多媒体会议（MM '26），会议时间为2026年11月10日至14日，地点为巴西里约热内卢。论文预印版于2026年7月22日公开，编号为arXiv:2607.19942v1。有兴趣深入了解的读者可通过该编号查询完整论文。
**一、从战场游戏到科研利器——问题的起源**
军事侦察机在高空飞行时，摄像头需要识别地面上的坦克、装甲车、直升机等目标。这听起来像是科幻电影里的场景，但其实这正是现代人工智能面临的一个真实挑战：如何让计算机在空中拍摄的照片中，准确找到并标注出各种军事目标？
这个问题之所以棘手，是因为从天上往下看和从地面平视完全不同。目标变得很小，背景错综复杂，而且随着飞行角度的变化，同一辆坦克在不同倾斜角度下看起来差异极大——正如你从正上方和从斜后方看一个苹果，形状会截然不同。更麻烦的是，现代侦察不仅要用普通相机（可见光，RGB），还要同时使用热成像相机（Thermal），因为热成像能在夜间或恶劣天气下捕捉到目标散发的热量。这两种图像需要完美对齐配合，才能发挥最大效用。
然而，要收集真实的训练数据，研究人员面临的障碍令人头疼。真正驾驶无人机反复飞越同一区域并拍摄数据，需要大量的飞行许可、昂贵的设备和无数人工小时来手动给每张图片画框标注。更糟糕的是，可见光摄像头和热成像摄像头受物理安装位置限制，两者拍到的画面往往存在微小的错位，这种不完美的对齐会严重干扰AI的学习效果。
面对这些现实困境，研究团队想到了一个出人意料的解决方案：用电子游戏来造数据。
**二、为什么是《武装突袭3》——选择游戏平台的逻辑**
这里的核心比喻可以用"建造一个完美的练兵场"来理解。现实中搭建真正的练兵场耗资巨大，但如果有一款游戏恰好已经建好了包含各种地形、各种武器装备的虚拟世界，直接拿来用岂不是事半功倍？
研究团队选中的游戏叫做《武装突袭3》（Arma3），这是一款由波西米亚互动公司开发的大型战术模拟游戏。这款游戏拥有开阔的户外环境、数百种可控制的军事实体模型，以及可通过脚本语言精确控制的虚拟摄像机。更关键的是，它天然支持同时生成可见光图像和热成像图像——这正是研究所需要的两种模态。
与此相比，另一款更常被用于生成数据的游戏《GTA V》（侠盗猎车手5）主要只能生成可见光图像，无法原生提供热成像，因此不适合这项研究的需求。而使用Unity或虚幻引擎等专业游戏引擎虽然更灵活，但需要从零开始建模每一辆坦克、每一架直升机，成本极高。《武装突袭3》则直接提供了513种已建模完毕的军事装备模型，省去了大量的资产制作工作。
于是，这套名为G-MAD（意为"基于游戏的多视角航空目标检测数据生成器"）的开源框架应运而生。
**三、G-MAD的工作方式——三步造出一个完整的训练数据集**
可以把G-MAD的工作流程比喻成拍摄一部电影的过程。第一步是写剧本，第二步是布置场景并开拍，第三步是做后期标注。
剧本阶段，用户只需设定一些高层次的"拍摄要求"，而不需要手动摆放每一辆坦克。这些要求包括：要出现哪些类别的装备（比如装甲车、飞机、雷达等），每个场景里最少和最多放几件装备，天气条件是晴天还是阴天，拍摄时间是上午还是下午，使用哪张地图（Arma3提供了多张不同风格的地图），以及摄像机的高度、视角范围、用RGB还是热成像还是两者都要、图片分辨率多大，最后还要设定总共生成多少个场景。把这些参数配置好，剩下的事情就交给G-MAD自动完成。
布景和拍摄阶段最为精妙。G-MAD会自动在地图的感兴趣区域随机摆放装备，每件装备还会被赋予随机的朝向角度以增加多样性。陆地装备只会出现在陆地上，舰船只会出现在海上，互相之间不会重叠。更重要的是，G-MAD会同时从多个不同角度拍摄同一个场景——就像围绕同一个场景架设了好几台摄像机。对于每个场景，系统默认从0度（正俯视）、10度、20度、30度、40度和50度六个不同倾斜角度同时拍摄，每个角度都同时输出一张可见光图像和一张热成像图像，形成完美配对的多视角、多模态数据。
关于摄像机的运动方式，框架提供了两种默认模式。一种叫"空对地"模式，摄像机会沿弧形轨迹从高处向地面目标靠近，模拟俯冲侦察的效果；另一种叫"空对空"模式，摄像机保持相对稳定的高度横向移动，产生扫掠式的俯视观察效果。研究人员还可以自行在代码中加入自定义的摄像机运动路径，比如圆形环绕轨道或特定任务场景下的侦察路径，灵活性相当高。
后期标注阶段是G-MAD相较于前人工作最大的技术突破。传统的基于Arma3的数据生成工具为了给目标加上边界框标注，采用的是一种叫"图像差分"的笨办法：先拍一张有目标的图，再拍一张完全相同场景但没有目标的图，通过对比两张图的差异来确定目标位置。这种方法对于单个目标还勉强凑合，一旦场景里有多个目标交叠，就会产生大量错误标注。
G-MAD则完全不同——它直接从游戏引擎内部提取目标的三维边界框信息。具体来说，系统调用Arma3的内置函数，获取每个目标在三维空间中的精确尺寸，生成该物体局部坐标系下的8个角点坐标，再通过坐标变换将这8个点投影到游戏世界的全局坐标系，最后再映射到当前相机视角下的二维图像平面。由于中间还涉及Arma3内部的安全区坐标系换算，系统会进行专门的补偿处理，确保最终得到的像素坐标与实际图像完全吻合。
得到这8个投影点之后，可以用两种方式生成标注框。水平边界框（HBB）最简单，就是取所有点横纵坐标的最大最小值围成一个正矩形。定向边界框（OBB）则更精确，先用格雷厄姆扫描算法计算这8个点形成的最小凸多边形轮廓，再用旋转卡壳算法找到能包住这个轮廓的面积最小的矩形，这个矩形可以斜着放，因此能更贴合目标的实际形状——对于斜放的坦克来说，一个倾斜的矩形框显然比正轴矩形框要精确得多。
此外，G-MAD还会自动剔除被其他物体完全遮挡的目标：如果从摄像机到某个目标之间存在遮挡物，就认为该目标不可见，不生成对应的标注，这样可以有效避免产生"幽灵框"——那种目标明明看不见却还贴着标签的噪声数据。
**四、与前人工作的差距——G-MAD在同类工具中的定位**
在G-MAD出现之前，已经有两款开源的Arma3数据生成工具存在，但与G-MAD相比，它们的局限性相当明显。
前两款工具最大的硬伤是每张图最多只能放一个目标，这与真实侦察场景中多辆坦克混杂在一起的情况完全不符。G-MAD则支持在单张图中同时出现8到14个不同类别的目标，还能通过约束条件智能地分配它们的位置。
在摄像机设置上，旧工具要么使用固定轨道，要么完全随机放置摄像机，缺乏针对特定研究目的的有序控制；G-MAD则提供了可定制的采样模型，用户能精确控制观察角度的分布。
标注方式上，旧工具依赖图像差分法且只能生成水平边界框，而G-MAD直接调用引擎内部数据，同时支持水平框和定向框。
在工程实现层面，旧工具需要通过点击GUI界面来操作游戏，容易因界面状态变化或用户误操作而中断，而G-MAD实现了完全无GUI的自动化启动和执行。旧工具还依赖MATLAB或Python等特定环境，而G-MAD只需Python，并且支持在数据生成过程中同时使用计算机做其他工作，生成结束后还会自动清理临时文件。G-MAD还支持多张地图背景的切换，以及图像超采样（即先生成高分辨率图再缩放，使边缘更平滑），这些在旧工具中均不可用。
**五、AMOD数据集——用这套框架造出的大规模军事目标检测基准**
研究团队不仅开源了G-MAD框架，还用它实际构建了一个名为AMOD（航空军事目标检测多视角RGB-T数据集）的大规模基准数据集，并将其一同公开发布。
AMOD包含12个目标类别，分别是：装甲车、自行火炮、直升机、登陆艇（LCU）、多管火箭炮（MLRS）、飞机、雷达、地对空导弹系统（SAM）、自走炮、支援车辆、坦克和运输竖立发射车（TEL）。这12个类别的设计直接源于Arma3游戏内置的军事装备分类，总共使用了513个独立的3D模型，其中258个来自东方阵营，255个来自西方阵营。
数据集的规模在同类数据集中名列前茅。总图像数量达到73920张，总标注实例数超过38.3万个，每张图像的分辨率为1920×1440像素，约等于277万像素，这在同类数据集中是最高分辨率之一。所有标注均为定向边界框（OBB），相比普通矩形框更精确地反映目标的朝向。
每个感兴趣区域会同时从6个观察角度拍摄，6个角度全程保持同步，每个角度都同时生成可见光和热成像两张配对图像。这种设计使得同一目标在不同视角下的图像拥有一致的对象ID，为未来研究跨视角目标追踪和多视角融合提供了天然的数据基础。
为了保证地理多样性，训练集和验证集使用了Altis、Malden、Stratis、Tanoa和Weferlingen五张地图，测试集则使用了Malden和Livonia两张地图，确保测试时模型面对的是部分未见过的地理背景。拍摄时间段设定在每天9点到18点之间，以涵盖不同光照条件；由于Arma3在夜间拍摄的可见光图像几乎全黑无法使用，夜间数据未被纳入。相机高度固定在120米，这是一个经过权衡的选择——高于120米时Arma3场景中阴影会大幅消失，损失重要的视觉细节，而阴影在航空图像的目标识别研究中具有重要价值。
数据集按照64.68%/16.21%/19.11%的比例分为训练、验证和测试三个子集，各子集的类别分布保持相似。由于各类别的可用模型数量不均衡（比如有的类别只有十几个模型，有的有几十个），团队在后处理阶段对数据进行了平衡调整，使得每个类别的实例数量与该类别对应的模型数量之比尽量一致，避免训练时模型对某些类别过度偏向。
AMOD数据集还展现出一些有趣的内在挑战。在类间相似性方面，坦克、装甲车和自走炮从俯视角度看外形非常相似，仅凭图像很难区分，这给细粒度识别带来了挑战。在类内多样性方面，同为"雷达"类别的目标却包含了形状差异极大的各种雷达系统，有的是碟形天线，有的是阵列天线，视觉差异极大。这两类挑战都是现实目标检测中真实存在的难题，数据集因此具有实际研究价值。
**六、实验结果——多视角训练和预训练迁移的效果**
研究团队以Oriented R-CNN（方向感知区域卷积神经网络）配合Swin-S骨干网络作为基线检测器，在AMOD数据集上进行了系统性实验。
第一组实验验证了多视角训练的价值。团队分别训练了只使用单一角度数据的模型（0度、10度、20度、30度、40度、50度各训练一个），以及使用全部6个角度数据的综合模型，然后在6个角度上分别评估每个模型的表现。结果显示，当训练角度和测试角度越接近，单视角模型的表现越好，但一旦测试角度偏离训练角度，性能迅速下滑。最明显的例子是，用0度数据训练的模型在0度测试时AP50:95得分为51.16，但在50度测试时直接跌到26.60，跌幅接近一半。相比之下，用全部角度训练的模型在6个角度上的平均得分达到50.96，比最好的单视角模型高出6.39个百分点，且每个角度的得分都明显优于对应的单视角模型。
为了排除"综合模型只是因为训练数据更多才表现更好"这一疑虑，团队专门做了一组对照实验：在控制数据总量不变的前提下，比较只用单一角度数据训练与使用多角度混合数据训练的差异。结果发现，数据总量确实是性能提升的主要驱动因素，但在相同数据量的条件下，角度多样性本身也带来了可测量的性能提升，并且明显降低了模型在不同观察角度间的性能波动，使得检测更稳定可靠。
第二组实验验证了AMOD作为预训练数据源的迁移价值。研究人员先用AMOD的RGB版本预训练模型，再在真实世界的可见光航空目标检测基准DIOR-R上微调；同时用AMOD的热成像版本预训练，再在真实世界热成像无人机检测数据集HIT-UAV上微调。与直接用ImageNet图像分类数据集进行预训练的标准做法相比，AMOD预训练在DIOR-R上的平均AP50从63.14提升到69.83，提升了6.69个百分点；在HIT-UAV上从74.57提升到77.08，提升了2.51个百分点。其中飞机类别的提升最为显著，AP50从71.88跳升到79.71，提升近8个百分点。
在真实世界推断测试中，研究团队还进行了一项颇为大胆的实验：将仅用AMOD合成数据训练（无任何微调）的检测器，直接用于识别俄乌战争期间公开新闻报道中发布的真实卫星照片。结果显示，模型仍然能够识别出照片中的军事目标，虽然这不是严格意义上的精度评测，但足以说明合成数据训练出的模型具备一定的真实场景泛化能力。
**七、从合成到真实——跨域迁移的技术细节**
从游戏里生成的图像毕竟和真实世界拍摄的照片存在风格差异，就像用蜡笔画的苹果和真实苹果照片之间的差距——颜色、质感、背景细节都不一样。这种差距在学术上被称为"域间隔"。
为了弥合这一差距，研究团队在预训练流程中加入了图像风格迁移步骤，使用UNIT（无监督图像到图像转换网络）将AMOD的合成图像转换成视觉上更接近目标真实数据集风格的图像，再用转换后的图像进行预训练。转换效果可以理解为：把游戏截图"翻译"成看起来像卫星照片或无人机拍摄照片的风格，同时标注信息不变。
针对热成像域迁移还有一个额外的挑战。热成像图像本质上是一对多的映射：同一个可见光场景在不同温度环境、不同传感器灵敏度下可能对应截然不同的热成像结果。这意味着任何确定性的图像转换模型都无法完全覆盖真实热成像的多样性。研究团队因此提出了一种叫做"随机边界平滑"（Stochastic Boundary Smoothing, SBS）的数据增强方法。
SBS的设计灵感来自于一个物理现象：真实热成像传感器由于热对比度不足或传感器平滑效应，往往会导致目标边缘变得模糊，而合成生成的热图像边缘则过于清晰锐利。SBS在预训练的每次迭代中，以一定概率（50%）对图像中目标的边缘区域施加高斯模糊处理，让那些过于清晰的边缘模糊起来，更接近真实热成像的外观。每个目标的模糊区域宽度是随机选取的（在2到5像素之间），由Segment Anything Model（SAM）自动提取目标轮廓后确定边缘位置。这种随机化处理使模型接触到了更多样的热边缘外观，提升了对真实热图像的适应能力。
实验数据表明，在相同AMOD预训练条件下，加入SBS后，HIT-UAV基准上的平均AP50从75.70进一步提升到77.08，三个类别中有两个出现明显提升，尤其是"其他"类别从58.51跳升至61.40。
**八、这项研究的意义与边界**
由此可见，G-MAD和AMOD的意义不仅仅在于提供了一批可用的训练数据，更在于为一系列具体的研究问题搭建了有效的实验平台。
多视角学习方向上，由于G-MAD可以精确控制每个场景的观察角度，研究人员可以系统地研究观察角度变化对检测性能的影响，这在现实数据集中几乎不可能做到——你不可能让真实无人机在完全相同的场景下反复飞行并精确改变俯仰角。
跨模态学习方向上，由于RGB和热成像图像来自同一个虚拟场景的同一个摄像机位置，两者在像素级别上完全对齐，不存在任何错位，这为研究可见光与热成像的融合检测方法提供了理想的配对数据，避免了现实双摄系统中因镜头物理间距带来的视差问题。
合成到真实的迁移研究方向上，AMOD可以作为预训练数据源，为缺少标注数据的军事目标检测任务提供有效的初始化权重，实验已经证明这种迁移是有益的。
当然，这套框架也有明显的局限性。由于Arma3本质上是一款军事游戏，其内置资产主要是军事装备，AMOD因此几乎完全专注于军事目标。不过研究团队指出，Arma3支持用户导入自定义模型，G-MAD框架完全可以用于生成非军事领域的民用设备数据集，这一扩展留给未来的工作。
另外值得一提的是版权和伦理问题。G-MAD只提供外部脚本，用户需要自行安装正版Arma3才能使用；研究团队在论文中明确声明不重新分发游戏文件，且该框架仅供非商业学术研究使用。团队所属机构LIG国防航空在声明中专门指出，商业软件开发使用的是经过正式授权的VBS4专业军事仿真平台，Arma3仅用于学术发表目的。
归根结底，这项研究打开了一扇门：通过把一款军事游戏改造成结构化的科学数据生产线，研究人员得以低成本、高效率地生成原本极难获取的多视角、多模态、精确标注的航空目标检测数据，进而系统研究从各种角度、各种传感器视角下识别目标的AI技术。这件事本身的意义或许远不止于军事领域——它提示我们，大量现有的复杂仿真环境，无论是游戏还是其他类型的模拟器，都可能蕴含着尚待开发的科研价值。下一个被改造成科研平台的游戏会是什么，也许正由某个研究团队在计划之中。
---
Q&A
Q1：G-MAD框架生成的热成像数据和真实热成像数据有多大差距？
A：G-MAD使用Arma3内置的热成像引擎生成白热模式的热图像，与真实热成像传感器存在视觉风格差异，这被称为"域间隔"。为了弥合这一差距，研究团队在预训练流程中使用UNIT图像转换网络将合成热图像转换为更接近真实热图像的风格，并额外提出了随机边界平滑（SBS）增强方法来模拟真实热传感器的边缘模糊效果。经过这些处理后，在HIT-UAV热成像数据集上的平均AP50达到77.08，比直接用ImageNet预训练提升了2.51个百分点。如果需要特定波段（如中波红外MWIR）的热图像，研究团队建议进一步使用图像到图像转换方法进行光谱转换。
Q2：AMOD数据集的12个类别具体包括哪些，数据规模有多大？
A：AMOD包含装甲车、自行火炮、直升机、登陆艇、多管火箭炮、飞机、雷达、地对空导弹系统、自走炮、支援车辆、坦克和运输竖立发射车共12个类别，总计使用513个Arma3三维模型。数据集共73920张图像，超过38.3万个标注实例，图像分辨率为1920×1440像素。每个场景同时从0度到50度共6个观察角度拍摄，每个角度同时提供可见光和热成像配对图像，全部使用定向边界框标注。数据集按约65%/16%/19%分为训练、验证和测试三个子集。
Q3：G-MAD框架和之前已有的Arma3数据生成工具相比主要强在哪里？
A：相比之前两款开源Arma3工具，G-MAD的核心改进体现在四个方面。标注质量上，G-MAD直接从游戏引擎读取三维几何信息生成标注，而非依赖容易出错的图像差分法，且同时支持水平框和定向框。场景多样性上，G-MAD支持单张图中出现多个目标（8到14个），支持多张地图背景，而旧工具每张图最多只能放一个目标。操控灵活性上，G-MAD提供用户可自定义的摄像机运动模型，而旧工具只有固定轨道或完全随机两种选项。工程健壮性上，G-MAD支持无界面自动化启动，生成过程中计算机可同时使用，生成完毕自动清理临时文件，这些在旧工具中均不支持。