+关注

手机看

微信扫一扫，随时随地看

谁来定义 AI“危险程度”？【AI战略洞察】

清华大学人工智能国际治理研究院

2025-04-02 21:50发布于北京清华大学人工智能国际治理研究院官方账号

+关注

前言

OpenAI “超级对齐组”的解散，曾一度引发了全球对AI对齐问题的广泛关注与深入思考。AI对齐并非仅仅是技术难题，更涉及深刻的哲学问题。不同的国家对AI“红线”的判断存在显著差异，反映出不同文化背景和发展战略下的治理思路。在AI发展的浪潮中，伦理建设的重要性不言而喻，但同时也面临着诸多挑战。

Part1

什么是超级对齐问题（Superalignment）

Part2

OpenAI为何曾设立“超级对齐组”？又为何解散？

2.1 OpenAI设立“超级对齐组”的原因

2.2 解散原因

2.3 超参数优化和过拟合陷阱

Part3

AI对齐与AGI控制既是技术难题，也是哲学问题。

3.1 从技术角度看，面临诸多挑战

3.2 从哲学角度看，涉及诸多深层次的问题

3.3 在AI对齐与AGI控制的探索中，技术与哲学的融合显得尤为关键

Part4 不同国家对 AI“红线”的判断

一、什么是超级对齐问题（Superalignment）？

超级对齐问题（Superalignment）是指确保超智能（比人类智能更高的AI系统）能够遵循人类意图的过程。随着人工智能技术的飞速发展，尤其是通用人工智能（AGI）和超级智能的逐渐临近，这一问题变得尤为关键。AGI 不仅能够执行多种复杂的任务，还可能在某些领域超越人类智能，其行为和决策的不可预测性引发了广泛的关注和担忧。超级对齐问题的核心在于如何引导和控制这些远比人类聪明的AI系统，防止它们走向失控，从而避免人类失去掌控甚至面临生存威胁。

图源：网络

OpenAI的超级对齐团队目标是，在未来4年内解决控制超级智能AI的核心技术挑战。他们计划通过开发可扩展的训练方法、验证模型以及进行压力测试等方式，确保AI系统的行为与人类的目标保持一致。开发可扩展的训练方法包括使用AI系统来辅助评估其他AI系统的任务，并控制模型在无法监督的任务上如何推广。通过这些方法，团队试图建立一个大致达到人类水平的自动化对齐研究员，利用大量计算资源进行扩展，以此逐步对齐超智能。

二、OpenAI为何曾设立“超级对齐组”？又为何解散？

OpenAI设立“超级对齐组”的原因

一方面，随着人工智能技术的飞速发展，尤其是向人工通用智能（AGI）和超级智能迈进的过程中，潜在风险不断增加。OpenAI认识到，超级智能将是人类有史以来最具影响力的技术，它不仅可以帮助解决许多重大问题，但其巨大力量也可能带来巨大风险，甚至可能导致人类被剥夺权力或更严重的后果。因此，设立“超级对齐组”是为了提前研究和解决这些风险，确保AI系统能够安全、可控地发展。

另一方面，公众和学术界对AI安全的关注度日益提高。OpenAI需要展示其对AI安全问题的高度重视，以增强社会对其技术发展的信任。通过成立专门的团队，OpenAI能够向公众和利益相关者表明其在AI安全领域的积极态度和责任感。OpenAI希望通过“超级对齐组”的研究，在AI技术发展的早期阶段掌握关键的对齐技术，为未来的AGI开发奠定基础。该团队的目标是在四年内解决超级智能对齐问题，计划先训练一个大致与人类水平相当的AI自动对齐研究员，再借助其解决超级智能对齐问题。这不仅有助于OpenAI在技术竞争中占据有利地位，也体现了其对人类未来的责任感。

解散原因

OpenAI的“超级对齐组”解散背后的原因是多方面的，主要涉及资源分配问题、内部矛盾与信任危机，以及研究难度与进展缓慢等关键因素。

首先，资源分配问题成为制约超级对齐团队发展的关键瓶颈。一方面，计算资源的不足严重限制了团队的研究进展。尽管超级对齐团队曾被承诺获得 OpenAI20% 的计算资源，但实际操作中却难以得到充分支持。在AI研究中，尤其是面对复杂的对齐问题时，计算资源是不可或缺的，缺乏足够的计算能力使得研究工作举步维艰。另一方面，OpenAI内部的优先级冲突也对团队产生了负面影响。公司面临着巨大的商业化和产品开发压力，这导致安全研究的重要性相对被边缘化。一些员工指出，公司的领导层更关注产品的快速推出和市场表现，而对潜在的安全风险缺乏足够的警惕。

图左为Jan Leike 右为 Ilya Sutskever

图源：网络

其次，内部矛盾与信任危机进一步加剧了团队的困境。领导层之间的分歧是问题的核心之一。超级对齐团队的核心领导者 Ilya Sutskever 和 Jan Leike 与公司其他高层之间存在明显的分歧，这种分歧不仅体现在对AI安全的重视程度上，还涉及到公司的发展方向和战略决策。此外，自 2023 年 11 月的“董事会风波”以来，OpenAI内部的信任逐渐崩塌。一些员工对 CEO Sam Altman 的领导方式和决策过程表示不满，认为他未能充分重视AI安全问题。这种信任危机最终导致了多位安全团队成员的离职。

再者，超级对齐问题本身的技术难度和研究进展缓慢也是团队解散的重要原因之一。超级对齐问题是一个极具挑战性的技术难题，目前的研究进展相对缓慢，未能取得预期的突破。这使得公司对其研究的价值产生了怀疑。与此同时，随着AI技术的不断发展，OpenAI可能认为超级对齐团队的研究方向需要调整。公司决定将对齐研究整合到其他研究小组中，以更灵活的方式应对AI安全问题，从而更好地适应技术发展的需求。

三、AI对齐与AGI控制既是技术难题，也是哲学问题。

从技术角度看，面临诸多挑战

首先，AI系统的行为需要与人类的意图和价值观保持一致，但人类的意图往往难以被准确理解和传达。例如，通过强化学习让AI学习人类的意图时，可能会导致AI学到人类的偏见，或者只是“假意逢迎”，而无法真正理解人类的核心意图。当AI的能力超越人类时，人类将难以提供有效的监督，如何确保AI仍符合人类价值观和意图成为亟待解决的问题。

与此同时，现代AI系统，尤其是基于深度学习的模型，其内部结构和决策过程高度复杂，难以理解和解释。这种复杂性使得研究人员难以预测AI系统在特定情况下的行为，增加了对齐的难度。AI系统的决策过程往往是“黑箱”，其内部的逻辑和推理机制难以被人类直观地理解，这不仅影响了对齐的可靠性，也限制了人类对AI系统的信任。

此外，AI系统还可能面临来自外部的对抗性攻击，这些攻击可能会导致模型的行为偏离预期。为了提高模型的鲁棒性，研究人员需要进行对抗性训练和测试，但目前的技术手段仍难以完全防御所有类型的对抗性攻击。这种脆弱性不仅威胁到AI系统的安全性，也对AI对齐的目标构成了潜在的风险。

从哲学角度看，涉及诸多深层次的问题

人类的价值观是多元化的，不同的人群、文化和社会可能对AI系统的目标有不同的期望。如何确定一个统一的价值观标准，让AI系统能够遵循，是一个复杂的哲学问题。同时，人类的价值观也在不断演变，这意味着AI系统在设计之初所依据的价值观可能会在未来被更新或修订，从而影响其行为与决策。当AI系统的行为出现问题时，如何确定责任和问责。由于AI系统的行为是由其设计者、开发者和使用者共同影响的，责任的界定变得非常复杂。这种复杂性不仅增加了AI系统的治理难度，也引发了关于人机关系的深刻思考。

随着AI技术的发展，其能力可能超越人类的理解和控制。一旦AI获得更高的智能，可能会发展出意想不到的策略，甚至抵御人类的干预。这引发了关于人类是否应该放弃对AI的控制权，以及如何在保持人类自主性的同时，利用AI的能力的哲学思考。这些问题不仅关系到AI的技术发展，更关系到人类社会的未来走向。

在AI对齐与AGI控制的探索中，技术与哲学的融合显得尤为关键

一方面，技术手段需要接受哲学的审视。在价值对齐的路径上，无论是自上而下的规范性方法，还是自下而上的数据驱动方法，都存在各自的局限性。这就要求我们寻找一个更合理的融合点，作为价值对齐的基准，从而确保技术手段能够真正符合人类的伦理和价值观。

另一方面，哲学思考也为AI对齐的技术实践提供了重要的指导。借助伦理学理论，如伦理学、道义论、功利主义等，可以在有限的情境下用数学语言精确表达，并将其限制应用于AI系统。通过这种方式，哲学思考能够帮助技术实践更好地应对复杂的伦理问题，确保AI系统的行为符合人类的道德标准。

此外，AI对齐与AGI控制问题的解决离不开跨学科的合作。这需要计算机科学、伦理学、哲学、社会学等多个学科的共同参与。通过跨学科的研究和合作，可以更全面地理解AI技术的潜在影响，并制定出合理且有效的对齐策略。这种跨学科的视角不仅有助于解决技术难题，还能为AI的发展提供更坚实的伦理和哲学基础。

四、不同国家对 AI“红线”的判断

不同国家对 AI“红线”的判断存在显著差异，尤其在监管框架、重点领域和价值取向等方面有所不同。以中国和美国为例，两国的AI监管政策呈现出不同的特点。

在中国，AI监管政策采取了较为全面和系统的框架，不仅关注技术的安全性和可靠性，还强调社会效益和伦理责任。中国政府发布了一系列政策文件，明确了AI发展的指导原则和监管要求。这些政策文件涵盖了AI技术的全生命周期，从研发、部署到应用，要求企业在研发阶段加强伦理审查和技术评估，在部署和应用阶段确保AI系统的安全性和可靠性，并保护用户的隐私和权益。此外，中国政府特别强调AI发展的伦理和社会责任，要求AI系统的设计和应用符合人类的价值观和伦理原则，充分考虑对社会公平、隐私保护和环境可持续性的影响。

相比之下，美国的AI监管政策则更为灵活，主要侧重于促进技术的创新和发展，同时确保AI系统的安全性和可靠性。美国政府发布了一系列指导文件，强调AI系统的透明度、可解释性和公平性。其监管重点主要集中在一些关键领域，如自动驾驶、医疗保健和金融服务，这些领域中AI的决策可能会对人类的生命和财产产生重大影响，因此需要进行严格的安全评估和监管。此外，美国政府鼓励AI行业的自律和合作，通过与企业的合作来制定行业标准和最佳实践。

从中美监管情况的对比中，可以发现以下几点差异：首先，监管重点方面，美国的监管重点更多地集中在技术层面和关键领域，强调AI系统的安全性和可靠性；而中国的监管重点则更加全面，涵盖了AI技术的全生命周期，并强调伦理和社会责任。其次，监管方式方面，美国的监管方式较为灵活，注重行业自律和企业合作；而中国的监管方式则更加系统和严格，通过政策文件和法规来规范AI发展。最后，在伦理关注点方面，美国的伦理关注点主要集中在AI系统的透明度、可解释性和公平性；而中国的伦理关注点则更加广泛，包括社会公平、隐私保护和环境可持续性等。

五、AI发展过程中，伦理是否总是“先建好大坝，再说拦洪”？

在AI发展过程中，伦理是否总是“先建好大坝，再说拦洪”这一问题引发了诸多思考。

一方面，AI发展中的“先建大坝”体现在积极的预防与规划上。许多国家、国际组织以及科技公司早已意识到AI技术可能带来的伦理问题，并积极制定相关的伦理准则。这些伦理准则如同“大坝”，试图在AI技术广泛应用之前，为其发展划定边界，确保其符合人类的价值观。OpenAI在2024年底虽然解散了“超级对齐组”，但在此之前，该团队一直致力于研究如何控制超强 AI，确保其行为与人类目标一致。许多国家和地区都在积极推动AI相关法律法规的制定，为AI的发展提供了明确的法律框架，试图在技术广泛应用之前，规范其发展路径，避免潜在的法律风险。

然而，AI发展中也存在“后建大坝”的滞后应对情况。尽管有许多积极的尝试，但AI技术的发展速度极快，往往超出了伦理和法律建设的速度。例如，深度伪造技术（Deepfake）在短时间内迅速发展并被广泛应用，而相关的伦理规范和法律法规却未能及时跟上。这导致了在一段时间内，该技术被用于制造虚假信息、侵犯他人隐私等问题，引发了社会的广泛关注和担忧。在AI的商业应用中，企业往往受到利益驱动，可能会忽视伦理和法律的约束。一些企业为了追求更高的利润，可能会在AI产品中采用一些有争议的技术，而没有充分考虑其潜在的社会影响。这种利益驱动与伦理责任的冲突，导致了在某些情况下，AI的发展并没有“先建好大坝”，而是在问题出现后才被迫应对。

在AI发展的实践中，动态平衡逐渐成为一种重要的趋势。AI的发展是一个动态的过程，伦理、法律和技术标准也在不断调整和迭代。随着AI技术的发展，一些原本被认为合理的伦理准则可能需要重新审视和调整。同时，法律法规也在根据技术发展的实际情况进行修订和完善。这种动态调整和迭代的过程，使得AI的发展既不是完全“先建好大坝”，也不是完全“后建大坝”，而是在发展过程中不断平衡预防和应对的关系。为了更好地应对AI发展中的风险，许多国家和地区正在构建多层次的治理框架。这种框架包括政府监管、行业自律、企业责任以及公众参与等多个层面。这种多层次的治理框架使得AI的发展能够在不同层面进行预防和应对，既“建大坝”，也“拦洪”，公众对AI的认知和态度也在不断影响AI的发展。

展望未来，我们亟须加强伦理研究与教育，培养更多具备伦理意识的AI从业者，建立全球伦理共识，弥合不同国家和地区之间的伦理分歧，并强化伦理监管与问责机制，以确保AI技术的健康发展和人类社会的可持续发展。只有这样，我们才能在享受AI带来的巨大红利的同时，有效规避其潜在风险，让AI真正成为推动人类进步的强大力量。

主理人丨刘典

编辑丨赵嘉宸（对外经济贸易大学）

排版丨李森（北京工商大学）

审核丨梁正鲁俊群

信息来源：

European Commission. (2019). Ethics Guidelines for Trustworthy AI. https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai

The White House. (2023). Blueprint for anAIBill of Rights. https://www.whitehouse.gov/briefing-room/2023/10/04/blueprint-for-an-ai-bill-of-rights/

国家互联网信息办公室. (2024). 《生成式人工智能服务管理办法》. https://www.cac.gov.cn/202408/20/c_1692567475937644.htm

Deepfakes and Beyond: A Landscape of Manipulated Media. (2020). https://www.rand.org/research/gateways/deepfakes.html

AIand Ethics: The Role of Corporate Responsibility. (2021).

国家互联网信息办公室，《生成式人工智能服务管理办法》，2023.4.11

腾讯研究院，《万字长文详解：大模型时代AI价值对齐的问题、对策和展望》，2023.11.23

新智元，《OpenAI大逃亡，AGI安全团队半数出走！奥特曼：攘外必先安内》，2024.9.3

Samoyed，《OpenAI解散了其存在性人工智能风险团队》，2024.5.20

赵雨荷，《安全政策再遭质疑！OpenAI解散AGI筹备团队，主管离职》，2024.10.25

海外独角兽，《OpenAI将如何在 4 年内实现超级对齐》，2023.8.31

新浪财经，《又一安全团队被解散! 执着于创收的OpenAI似乎无暇顾及AI安全》，2024.10.25

免责声明：本内容来自腾讯平台创作者，不代表腾讯新闻或腾讯网的观点和立场。