8.4 变尺度的客观多维度综合评测系统
针对不同类型自动驾驶车辆在多种复杂度场景下的测试需求，我们结合场景复杂度量化指数和多准则决策的思想，提出了一种用于自动驾驶汽车在线自动化测试的变尺度的客观多维度综合评测（Objective Multi-DimensionalComprehensive Evaluation，OMDCE）方法[1]，实现了对自动驾驶车辆多维综合性能的实时在线客观量化评分。该方法首先设计了一种场景复杂度量化指数作为可缩放性度量，以减少不同测试场景对测试结果的影响。客观多维度综合评测系统涵盖测试场景选取、场景复杂度量化指数计算模型构建、仿真测试平台搭建、评测指标体系开发以及自动化评测系统构建，有效减少了人工主观评测的影响，加速了评测进程。
8.4.1 系统架构
为了全面、客观地评测自动驾驶汽车的多维综合性能，我们提出了一种集测试场景生成、场景复杂度量化、智能驾驶算法嵌入和自动化量化评测算法于一体的方法论。智能驾驶测试多维综合集成架构主要包括测试场景库、全局场景复杂度量化模型、仿真测试平台和自动化评测系统四个模块，如图8-9 所示。
第一个模块是测试场景库，它可为智能驾驶测试提供不同类型的仿真测试场景。这些测试场景可以通过本书第2 章到第4 章中的方法生成，数据来源通常包括标准法规、交通事故数据集、自然驾驶数据以及专家经验数据等。从静态和动态场景中优化场景参数和动态交通参与者的行为，生成不同复杂程度的测试场景，最终构建一个完整、全面的仿真测试场景库。
基于生成的大规模测试场景库，我们进一步提出了场景复杂度量化指数的概念。为了刻画测试场景的全局复杂度，我们引入了势场理论。测试场景中的目标被抽象为正点电荷或均匀带电导线，从而量化它们对被测自动驾驶车辆的全局复杂度的影响。此外，还全面考虑了天气条件对全局场景复杂度的影响。场景复杂度量化指数被设计为一个可缩放性度量，以此来让评测结果的量化得分更加一致和稳定。
在仿真测试平台模块，建立了一个联合仿真测试平台，以实现高逼真度的仿真测试和智能驾驶算法嵌入。此外，它还为自动化评估和测试奠定了基础。高性能联合仿真测试平台的具体介绍请参见本书的5.3 节。
在自动化评测系统模块，构建了一套多维度综合评测指标体系。此外，还设计了客观的评测指标权重计算方法和综合评测算法。多维度综合评测指标体系从两个维度、五个方面对智能驾驶性能进行了综合且全面的刻画。然后，通过基于指标去除效应的方法计算评测指标权重，得到一组客观的性能评测指标权重。通过定义理想自动驾驶车辆和非理想自动驾驶车辆，对被测自动驾驶车辆进行折中量化评分，并结合相应测试场景的场景复杂度量化指数，从而实现对不同自动驾驶车辆的实时综合量化评分，最后自动计算输出客观且全面的综合评测分数。
8.4.2 场景复杂度量化指数计算模型
场景复杂度量化指数计算模型的核心是基于场理论而建立。该模型将与被测自动驾驶车辆相关的场景中的目标抽象为均匀带电的导线或正点电荷。根据场理论，场景中的目标会在区域空间中产生与距离成反比的电势场，该电势场的强度和范围由物体的类别决定。整体环境势场可以通过组合和叠加不同的势场来捕捉场景的全局复杂度。场景复杂度量化指数计算模型的整体架构如图8-10 所示。
该场景复杂度量化指数计算模型由静态场景复杂度、动态场景复杂度和天气环境复杂度三部分综合组成。场景复杂度量化指数计算模型的核心思想是在被测自动驾驶车辆周围的一定区域内建立一个势场。周围其他场景元素和背景交通参与者对被测自动驾驶车辆产生势场力。势场力表示被测自动驾驶车辆的安全风险程度，安全风险越高，被测自动驾驶车辆受到的势场力就越大。势场力的具体大小由场景元素的属性、相对位置和相对速度决定。
以被测自动驾驶车辆（红色车辆）为本车视角，仿真测试中的混合交通流场景和驾驶场景复杂度可视化结果如图8-11 所示。图8-11 中用不同颜色来表示当前测试场景的全局势场的场强分布，该场强分布可用于直接评测不同交通参与者对驾驶安全的影响。颜色越深，表示该位置的驾驶场景越危险。可以发现，由于不同交通参与者的特性和运动状态不同，其势场强度和影响范围也不同。每个峰值由相应的环境因子产生，峰值高度根据环境目标类型计算得出。
峰值半径由相应的环境目标的大小决定，车辆的峰值半径明显大于自行车和行人的峰值半径。车辆、自行车和行人产生的峰值高度高于其他环境物体。这与我们对实际驾驶场景复杂度的认知是一致的。
利用场景复杂度量化指数计算模型计算得到的驾驶场景复杂度量化结果如图8-12 所示，其中，图8-12a 为VTD 自动驾驶车辆[30] 的场景复杂度量化计算结果，图8-12b 为DPA 自动驾驶车辆[31] 的场景复杂度量化计算结果。从场景Ⅰ到场景Ⅳ，驾驶场景复杂度逐渐增加。尽管场景Ⅳ对于VTD 自动驾驶车辆具有更高的整体复杂度，但场景Ⅲ对于VTD 自动驾驶车辆的瞬态复杂度更高。此外，VTD 自动驾驶车辆和DPA 自动驾驶车辆在相同场景下的实时场景复杂度变化趋势也不同。
8.4.3 客观的评测度量权重计算方法
多维度综合评测体系的评测度量权重采用基于指标去除效应的方法[32] 来进行计算。基于指标去除效应的方法是一种客观权重计算方法，核心思想是通过综合分析各评测度量对智能驾驶测试过程中自动驾驶车辆的整体性能的影响来计算得到具体的评测度量权重。
在基于指标去除效应的客观评测度量权重计算方法中，我们首先将不同量纲的评测数据统一归一化，以确保所有指标均可通过对数平均公式计算出每次测试的整体性能得分；随后，针对每一个评测度量，依次将其从归一化矩阵中剔除并重新计算无该指标时的得分，由此得到去除每个评测指标前后得分的绝对偏差累加值，该偏差反映了该指标对整体性能评估的边际影响；最后，各指标的累积偏差标准化为权重，权重大小与其对应的“去除效应”成正比，从而实现在完全基于数据的客观基础上，科学严谨地量化每一评测度量在智能驾驶测试体系中的相对重要性。
8.4.4 智能驾驶自动化评测系统
智能驾驶测试的量化评分基于场景复杂度量化指数和折中量化评分算法[33]，其核心流程如图8-13 所示。折中量化评分算法的核心思想是计算当前智能驾驶测试结果相对于理想自动驾驶车辆和非理想自动驾驶车辆的折中综合评
分。建立智能驾驶测试数据与参考数据（理想自动驾驶车辆和非理想自动驾驶车辆）之间的关系模型是折中量化评分算法的基础。根据已建立的关系模型，确定智能驾驶测试的效用函数，并根据收益矩阵对理想自动驾驶车辆（IdealAutonomous Vehicles，IAV）和非理想自动驾驶车辆（Anti-Ideal AutonomousVehicles，AIAV）进行分级。然后，利用效用函数来定义决策偏好，决策偏好代表被测自动驾驶车辆相对于理想自动驾驶车辆和非理想自动驾驶车辆的性能。最佳自动驾驶车辆是测试结果最接近理想自动驾驶车辆且最远离非理想自动驾驶车辆的测试车辆。
利用折中量化评分算法可以计算得到自动驾驶车辆在每次测试之后的多维度量化评分。为了减少不同场景的复杂度差异对最终评测得分的影响，利用8.4.2 节中提出的场景复杂度量化指数对测试评估得分进行自适应缩放，从而得到不同测试场景下自动驾驶车辆的最终得分。我们提出的客观多维度综合评测算法能够全面、客观地量化评估自动驾驶车辆的性能。它可以横向评估不同自动驾驶车辆的性能差异，发现自动驾驶车辆可能存在的性能缺陷，从而针对该性能缺陷改进和提升自动驾驶算法。客观多维度综合评测算法也适合作为自动驾驶车辆算法竞赛的评分标准。此外，客观多维度综合评测算法不仅可以对自动驾驶车辆的综合性能进行量化评分，还可以对有人驾驶车辆的驾驶性能进行量化评分，也可以量化自动驾驶车辆的进化程度和智能程度。
《AI汽车：场景生成与测评》目录
点击以下链接购买
作者简介
王琳，上海交通大学教授、博士生导师，上海市曙光学者，长期从事网络化系统的控制、优化与博弈研究。
本书聚焦智能网联汽车研究领域的关键环节——测试场景生成与多维度综合测试评价方法，详细阐述了智能网联汽车静态交通场景的生成技术，并探讨了智能网联汽车关键测试场景的生成策略，充分挖掘了智能驾驶系统在极限条件下的性能表现，通过深入剖析智能网联汽车仿真场景库的构建，为智能驾驶车辆的测试提供了丰富且多样化的虚拟场景基础。本书还系统介绍了软件在环测试（SIL）、实车在环测试（VIL）以及实车测试三种主要测试模式，它们相互补充、相互验证，构建起一个完整的智能驾驶车辆测试链条。此外，本书还构建了一套多维度评价体系和评测方法，综合考量智能驾驶车辆在不同测试场景下的表现，为技术评估、产品认证以及市场准入提供客观、公正的依据。
本书由机械工业出版社出版，本文经出版方授权发布。