美国安全与新兴技术中心发布！《人工智能安全与自动化偏见：人机交互的风险》

在有关当代人工智能的讨论中，一个常被忽视但关键的问题是自动化偏见，即人类用户过度依赖人工智能系统的倾向。如果不加以解决，自动化偏见可能而且已经对人工智能和自主系统的用户以及无辜的旁观者造成了伤害。自动化偏见给人工智能在现实世界中的应用带来了巨大挑战，尤其是在国家安全和军事行动等高风险领域。

人工智能系统的成功部署有赖于人工智能系统与负责操作这些系统的人员之间复杂的相互依存关系。所以，要确保成功、合乎道德和安全地部署人工智能，就必须解决自动化偏见问题，特别是在过度依赖或滥用人工智能可能引发严重后果的情况下。因此，随着人工智能逐步融入社会各系统，决策者应提前做好准备，以降低与自动化偏见相关的风险。

自动化偏见可以在用户、技术设计和组织层面表现出来，也可以被拦截。本文提供了三个案例研究，解释了这些因素如何或多或少地导致自动化偏见，总结了经验教训，并给出了缓解这些复杂问题的可能策略。

自动化偏见是指人类用户过度依赖自动化系统的倾向，反映了人类与人工智能系统交互过程中产生的认知偏见。

受自动化偏见的影响，用户往往会降低对自动化系统及其正在执行的任务的警惕性。相反，他们会过度信任系统的决策能力，并不恰当地将超出系统设计能力的更多责任委托给系统。在严重的情况下，即使面对相互矛盾的证据，用户也会倾向于听从系统的建议。

自动化偏见主要表现为两种形式：一是疏忽错误，即自动化系统未提醒导致人类未采取行动（如车辆案例研究所示）；二是行为错误，即人类遵循了自动化系统的错误指令。自动化偏见并不总是导致灾难性事件，但它会增加此类结果发生的可能性。减少自动化偏见有助于改善人工智能系统的人为监督、操作和管理，从而降低与人工智能相关的一些风险。

随着越来越复杂的人工智能系统和工具在警务、移民、社会福利、消费品和军事等不同应用领域的引入，自动化偏见的挑战与日俱增。在部署人工智能、算法和自主系统时，未对用户进行充分培训，未就其能力和局限性进行明确沟通，也未制定指导其使用的政策，已经发生了数百起事件。

虽然自动化偏见是一个具有挑战性的问题，但它也是一个可控的问题，可以在整个人工智能开发和部署过程中加以解决。自动化偏见的表现途径——即用户、技术和组织层面——也是减轻自动化偏见的干预点。

技术必须符合目的，用户必须了解这些目的，才能适当地控制系统。此外，知道何时信任人工智能，何时以及如何密切监控人工智能系统的输出，对其成功部署至关重要。在操作员的心目中，信任和依赖人工智能的因素有很多，一般可分为三类（但每一类都可能受交互环境的影响，如极度紧张或疲劳等）：

1.人类用户的内在因素，如偏见、经验和对使用系统的信心；

2.人工智能系统的固有因素，例如其故障模式（可能出现故障或性能不佳的具体方式）以及如何呈现和传达信息；以及

3.由组织或监管规则和规范、强制程序、监督要求和部署政策形成的因素。

实施人工智能的组织必须避免只专注于技术方面，以确保人工智能的成功部署。对这些系统中人的方面的管理同样值得考虑，管理策略应根据具体情况进行调整。

认识到自动化偏见的复杂性和潜在隐患，本文针对影响自动化偏见的三个可控因素（用户、技术、组织）进行了案例研究，这些因素与上述影响人机交互动态的因素相对应（见表1）。

时间限制、任务难度、工作量和压力等额外的任务特定因素会加剧或减少自动化偏见。这些因素应在系统设计、培训和组织政策中加以适当考虑，但不在本文讨论范围之内。

案例研究1：用户的惯性思维如何导致自动化偏见

在与人工智能系统的互动中，每个人都会带着自己的个人经历和偏见。研究表明，对自动驾驶汽车和自动驾驶汽车技术更熟悉的人更有可能支持自动驾驶汽车的发展，并认为它们可以安全使用。相反，行为科学研究表明，缺乏技术知识会导致恐惧和排斥，而对某项技术稍有了解则会导致对其能力过于自信。越来越多的“无人驾驶”汽车案例说明了用户的个人特征和经历如何影响他们的互动和自动化偏见。此外，正如下面关于特斯拉的案例研究所揭示的，面对个人的偏见，即使是旨在降低自动化偏见风险的系统改进，其效果也可能是有限的。

特斯拉的自动驾驶之路

随着时间的推移，汽车的自动化程度越来越高。除了车道偏移系统和盲点传感器等其他功能外，制造商和工程师们还推出了巡航控制系统和大量其他高级驾驶辅助系统（ADAS），旨在提高驾驶安全性和减少人为错误的可能性。美国国家公路交通安全管理局认为，全自动驾驶有可能“在其成熟阶段提供变革性的安全机会”，但同时也警告说，这只是一种未来技术。正如他们在其网站上用大写粗体字明确指出的那样，汽车可以“执行驾驶任务的所有方面，而作为驾驶员的您可以根据要求接管驾驶........目前在美国消费者购买的汽车还不具备这种功能”。即使这些汽车可以使用，也必须考虑到这样一种可能性，即虽然自动驾驶可能会消除某些类型的事故或人为错误（如分心驾驶），但也有可能产生新的事故或人为错误（如过度信任自动驾驶）。

研究表明，驾驶员采用ADAS往往是机会主义行为，只是车辆升级的副产品。驾驶员以临时方式了解车辆的功能，有时只是收到附带书面说明的空中软件更新。这些更新不需要考试或认证。

研究还表明，如果ADAS系统的使用仅仅是经验性的，例如驾驶员在没有经过培训的情况下就使用自动驾驶汽车，那么仅在驾驶几次之后，就会出现人为误用或误解ADAS系统的情况。此外，至少有一项研究发现，驾驶员在与其他（可能功能较弱的）自动驾驶系统互动时，如果先接触功能较强的自动驾驶系统，往往会建立起信任基线。这种对ADAS车辆的信任和信心可能会表现为分心驾驶，以至于驾驶员忽视警告，花更长时间对紧急情况做出反应，或冒在没有自动驾驶系统的情况下不会冒的风险。

案例研究2：技术设计因素如何导致自动化偏见

对航空业坠机事故的回顾表明，即使用户在经过严格培训、受到积极监控、对技术的功能和局限性有透彻了解、并能确保不会误用或滥用技术的情况下，设计不当的界面也可能导致自动化偏见发生。

人因工程和用户界面/用户体验设计等旨在优化用户与系统之间联系的领域，致力于将有关人类能力、局限性和心理的知识整合并应用到技术系统的设计和开发中。物理细节，从按钮的大小和位置到控制杆或选择菜单的形状，再到闪烁的灯光或图像的颜色，看似微不足道。然而，这些细节却能在人与技术的互动中发挥关键作用，并最终决定系统的实用性。

在这些系统的设计和运行过程中，考虑人与人之间互动的重要性怎么强调都不为过——在设计中忽视人的因素，轻则导致效率低下，重则造成不安全和危险状况。例如，夏威夷曾意外发布大范围紧急警报，警告即将遭到弹道导弹袭击，其核心原因就是界面设计不当，其特点是下拉菜单功能简单，缺乏明确的区分。

设计选择有意或无意地塑造了人类操作和依赖系统的行为路径。换句话说，这些设计选择可以直接嵌入和/或加剧某些认知偏见，包括自动化偏见。这些设计选择对危险警报（如视觉、触觉和听觉警报）的影响尤为明显。商业航空业说明了自动化偏见如何直接受到系统设计的影响：

人机界面：空客和波音的设计理念

自飞机诞生以来，自动化一直是其发展的核心——从首次动力飞行到自动驾驶仪的最早迭代，只用了不到十年的时间。此后，飞机飞行管理系统（包括人工智能系统）的能力也在不断提高。如今，飞机飞行的大量日常工作都由自动化系统处理。然而，这并没有使飞行员被淘汰。相反，飞行员现在必须结合飞机系统对外部条件的解释和反应，才能确定最合适的应对措施，而不是直接与周围环境打交道。虽然总体而言，由于自动化，飞行变得更加安全，但自动化偏见是一个始终存在的风险因素。早在2002年，美国联邦航空局（FAA）与业界的一项联合研究就警告说，航空业面临的重大挑战将是如何制造出不易出错的飞机和设计出更能抵御故障后人类错误响应的程序。

虽然有国际标准，飞机制造商也普遍认为机组人员是飞机安全运行的最终责任人，但美国两大商用飞机供应商空客公司和波音公司却以截然相反的设计理念而闻名。它们之间的差异说明了应对自动化偏见挑战的不同方法。

在空客公司的飞机上，自动化系统的设计目的是使飞行员和机组人员免受人为错误的影响。飞行员的控制权受到“硬”限制的约束，允许对飞行控制进行操作，但禁止改变高度或速度，例如会导致飞机结构损坏或失控的改变（换句话说，禁止超出制造商规定的飞行包线）。

与此相反，在波音飞机上，飞行员是绝对和最终的权威，可以利用系统的自然动作来“坚持”某种行动方针。这些“软”限制的存在是为了警告和提醒飞行员，但可以被覆盖和忽略，即使这意味着飞机将超出制造商的飞行包线。

这些设计上的差异可能有助于解释为什么一些航空公司只运营单一机型的机队；飞行员通常会坚持使用一种机型，交叉培训飞行员是可能的，但成本高昂，因此并不常见。

尽管在设计理念上存在分歧，但这两种机型都保持着很高的受欢迎程度和安全性，“西方世界几乎所有的大型客机”都是由空客或波音制造的，这证明了在设计、培训和运营过程中始终如一地采用各自的方法是非常有效的。然而，这两种方法都无法避免事故或故障的发生，尤其是在违反这些理念或没有向用户充分传达变化的情况下。

案例研究3：组织如何将自动化偏见制度化

虽然法航447空客事件是人为因素设计选择方面的一个案例研究，但事后报告也解释说，“事件发生时观察到的行为往往与特定的文化和工作组织相一致，或者说是其延伸”。影响自动化偏见的组织因素包括正式的指导文件、制度流程、采购指南、审计或检查、激励计划和明确的优先事项，以及非正式的规范或培训预期。这些因素既是风险的来源，也是防止人类或技术出错的保障。降低风险的组织政策和流程在职业安全和网络安全等领域得到了广泛应用。医疗保健领域对“高可靠性组织”的构成因素进行了广泛研究。这些组织控制措施的前提是，如果“我们无法改变人类的状况，我们可以改变人类工作的条件”。

不同组织的自动化方法：美国陆军与海军

美国军方提供了一个很有见地的案例研究，说明一个组织可以如何塑造自动化偏见。美国军方能够通过组织政策和近一个世纪以来为军人部署高度自动化防御系统的经验，对其用户实施重大控制。在美军内部，陆军和海军部署了非常相似的自动化导弹防御系统，但采用了两种截然不同的方法。

美国海军的AEGIS武器系统和陆军的“爱国者”系统都是分级自主系统，可扫描来袭的空中威胁（导弹或飞机），利用功能强大的雷达对其进行跟踪，并引导导弹（AEGIS系统为“标准导弹”或SM；“爱国者”系统为“爱国者先进能力”或PAC）对来袭威胁实施打击。这些系统能够在无人干预的情况下进行自主操作，包括发射防御导弹。自20世纪80年代末以来，人们普遍认为这两种系统是成功的防御系统，尽管两者都曾发生过明显的灾难。

虽然这两个系统的功能非常相似，但美国陆军和海军在管理方式上却采用了不同的方法，为研究组织如何塑造用户互动提供了有益的参考。

自动化偏见如果得不到解决，就会导致灾难性事故的发生。从这些过去的事故案例研究中，我们发现了影响用户自动化偏见的三个重要因素：人类用户固有的因素，如个人偏见、经验和对使用系统的信心；人工智能系统固有的因素，如如何操作或如何呈现信息；以及组织因素造成的因素，如标准流程和程序。

在设计和部署人工智能系统时，需要重点关注这些影响人工智能应用风险的因素，尤其是在安全至关重要的情况下。根据从三个案例研究中吸取的经验教训，报告建议从以下几个方面着手减轻风险：

1.创建并维护用户理解的资格标准。在每一个案例研究中，我们都了解到，用户的误解往往是导致事故发生的原因，有的是一般原因，有的是由于最近的特定系统变更或升级造成的。由于用户的理解对安全操作至关重要，系统开发商和供应商必须投资于有关其系统的清晰沟通，组织和政府可能需要建立适合技术及其使用的资格认证或再认证制度。

2.重视并执行一致的设计和设计理念，尤其是对于可能升级的系统。必要时，说明偏离设计理念的理由，并让传统用户了解所做的选择。在可能的情况下，制定通用的设计标准、规范和期望，并对其进行一致的宣传（通过组织政策或行业标准），以减少混淆和自动化偏见的风险。

3.在组织使用自主系统的情况下，设计并定期审查组织政策，使其与技术能力和组织优先事项保持一致。随着技术的变化更新政策和流程，以最好地考虑新的能力并降低新的风险。寻找机会，围绕一线人工智能部署管理，实施高可靠性组织原则。

人工智能系统发生事故或误用的风险将随着技术、人机交互设计和用户理解的发展而变化。人工智能的成功、安全和合乎道德的部署不仅依赖于其与人类用户无缝协作的能力，还依赖于监督、监测、管理、使用并最终依赖于这些系统的人类的能力和责任。如果“在环”中的人类要发挥有效作用，就必须学会何时以及如何将认知任务卸载给人工智能系统。