收藏! Anthropic CEO烧脑雄文（略删减 ):5-10年，AI将扫除人类几乎所有疾病，寿命翻倍

AI先锋官官方

2024-10-13 15:00发布于北京

来源｜AI先锋官


美国知名AI公司Anthropic CEO Dario Amodei日前发表题为《慈爱的机器——人工智能如何使世界变得更美好》长文。

文中，他描绘了未来 5-10 年内，从

- 生物学和身体健康
- 神经科学和心理健康
- 经济发展和贫困
- 社会治理
- 工作与意义

等几个方面，强大的 AI 开启的一个充满希望的未来。

具体如引文，略有删减。

Dario Amodei拥有斯坦福、加州理工以及普林斯顿的学历背景，专业是物理学。Amodei对人体大脑功能充满好奇心，因此在博士后出站后，他加入了百度公司和谷歌大脑团队，并开发出了人类语音识别系统。2016年，他加入了OpenAI，并最终升至公司副总裁位置。2020年底，Amodei离开OpenAI，并于2021年2月与妹妹共同创立了Anthropic，担任首席执行官兼总裁。




以下为文章译文：



我经常思考和讨论日渐强大的AI的风险。我担任CEO的公司Anthropic，也进行了许多关于如何降低这些风险的研究。因此，有时人们会把我当成一个悲观主义者或“末日论者”，认为AI大多是坏的或危险的。


我完全不这么认为。

实际上，我专注于风险研究的一个主要原因，是因为我认为，“风险”只是唯一阻碍我们实现我认为的“最终积极未来”的障碍。大多数人低估了AI积极面的潜力，就像我认为大多数人低估了风险的严重性一样。

在这篇文章中，我试图勾勒出这些积极面可能是什么样子的——如果一切顺利，拥有强大AI的世界可能是什么样子。当然，没有人能以任何确定性或精确性预知未来，但强大AI的影响，可能比以往的技术变革，更不可预测。

我的目标至少是，提供有根据且有用的猜测——即使大多数细节最终被证明是错误的，也能捕捉到将要发生的事情的精髓。我主要提供许多细节，是因为我认为具体化的愿景比高度模糊和抽象的愿景更有助于讨论。

首先，我想简要解释为什么我和Anthropic没有太多谈论强大AI的优点，以及为什么我们可能会继续主要讨论风险。特别是，我做出这个选择是出于以下愿望：

- 最大化影响力。AI技术的基本发展及其许多（不是全部）益处似乎是不可避免的（除非风险破坏了一切），并且基本上由强大的市场力量驱动。另一方面，风险不是预先确定的，我们的行动可以极大地改变它们的可能性。

- 避免宣传的印象。AI公司谈论AI的所有惊人好处可能会被看作是为了宣传，或者好像他们试图分散人们对缺点的注意力。我还认为，原则上，花太多时间“谈论你的书”对你的灵魂是有害的。

- 避免自负。我经常对许多AI风险论公众人物（更不用说人工智能公司的领导者）谈论后AI世界的方式感到反感，好像他们的使命是，像先知引导他们的人民走向救赎一样单方面地实现它。我认为将公司视为单方面塑造世界是危险的，将实际的技术目标以宗教术语来看待也是危险的。

- 避免“科幻”包袱。尽管我认为大多数人低估了强大AI的积极面，但讨论激进AI未来的小圈子经常以过度的“科幻”语调进行（例如，以上传意识、太空探索或一般的赛博朋克氛围为特色）。我认为，这导致人们不太认真对待这些主张，并向它们灌输了一种不切实际的幻想。

需要明确的是，问题不在于所描述的技术是否可能，而更多是“氛围”内涵性地私藏了大量文化包袱和关于什么是理想未来、各种社会问题将如何发展的未声明假设等。结果往往读起来像是一个狭窄亚文化的幻想，同时对大多数人来说是不讨喜的。

尽管有上述所有担忧，我还是认为讨论“一个拥有强大AI的美好世界可能是什么样子”非常重要，同时尽我们最大的努力避免上述陷阱。

事实上，我认为拥有一个真正鼓舞人心的未来愿景是至关重要的，而不仅仅是一个灭火计划。强大AI的许多影响是对抗性的或危险的，但在这一切的最后，必须有一些我们为之奋斗的东西，有一些积极的结果，让每个人都更好，总有一些东西可以激励人们超越分歧，面对未来的挑战。

恐惧是一种动机，但这还不够：我们还需要希望。

强大的AI积极应用的清单非常长（包括机器人技术、制造业、能源等等），但我要专注于我认为最有可能直接提高人类生活质量的几个领域。我最兴奋的五个类别是：

- 生物学和身体健康
- 神经科学和心理健康
- 经济发展和贫困
- 社会治理
- 工作与意义

我的预测，按照大多数标准（除了科幻“奇点”愿景）被认为是激进的，但我是认真和真诚的。我说的一切很容易都是错误的（正如我上面所重复的），但我已经至少尝试将我的观点建立在半分析性的评估基础上，即各个领域的进步可能加快多少，以及这在实践中可能意味着什么。我有幸在生物学和神经科学领域有专业经验，并且是经济发展领域的见多识广的业余爱好者，但我肯定会犯很多错误。写这篇文章让我意识到，将一群领域专家（在生物学、经济学、国际关系等领域）聚集在一起，写一个更好、更知情的版本，比我在这里生产的要好得多。

基本假设和框架

为了使整篇文章更精确和有根据，有助于明确我们所说的强大AI（即5-10年倒计时开始时）的含义，并为思考这种人工智能一旦存在时的影响提供一个框架。

强大的AI（我不喜欢AGI这个术语）将是什么样子，以及它何时（或是否）会到来，本身就是一个宏大的话题。

我已经公开讨论过，并且可能会写一个完全独立的文章。显然，许多人怀疑强大的AI会很快被构建，有些人甚至怀疑它是否会被构建。我认为，它可能早在2026年就会到来，尽管也有办法可能会花更长的时间。但就本文而言，我想将这些问题放在一边，假设它会在合理的时间内到来，并专注于在那之后的5-10年里会发生什么。我还希望假设这样一个系统将是什么样子，它有什么能力，以及它如何互动，尽管在这方面存在分歧的余地。

通过强大的AI，我心中想的是一个AI模型——可能与今天的LLM在形式上相似，尽管它可能基于不同的架构，可能涉及几个相互作用的模型，并且可能以不同的方式进行训练——具有以下属性：

- 在纯粹的智能方面，它比大多数相关领域的诺贝尔奖获得者更聪明——生物学、编程、数学、工程、写作等。这意味着它可以证明未解决的数学定理，写出非常好的小说，从头开始编写困难的代码库等。

- 除了只是一个“你与之交谈的智能事物”之外，它还拥有人类虚拟工作时可用的所有“接口”，包括文本、音频、视频、鼠标和键盘控制以及互联网访问。它可以执行任何由这个接口启用的操作、通信或远程操作，包括在互联网上采取行动，给人类提供或接受方向，订购材料，指导实验，观看视频，制作视频等。它再次以超过世界上最能干人类的技能执行所有这些任务。

- 它不仅仅是被动地回答问题；相反，它可以被赋予需要数小时、数天或数周才能完成的任务，然后像一个聪明的员工一样自主地去做这些任务，并在必要时请求澄清。

- 它没有物理载体（除了生活在计算机屏幕上），但它可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上，它甚至可以为自己设计机器人或设备来使用。

用于训练模型的资源可以被重新用于运行它的数百万实例（这与2027年左右预测的集群大小相匹配），并且该模型可以以大约10倍-100倍于人类的速度吸收信息和生成行动。然而，它可能受到物理世界响应时间或与之互动的软件的限制。

这些数百万副本可以独立地在无关的任务上行动，或者如果需要，可以像人类一样协同工作，也许不同的子群体可以特别擅长特定任务。

我们可以将此总结为“数据中心的天才国家”。

显然，这样的实体将能够非常快速地解决非常困难的问题，但并不琐碎的是，要弄清楚它有多快。在我看来，两个“极端”的立场似乎都是错误的。首先，你可能会认为，世界将在几秒钟或几天的时间内瞬间转变（“奇点”），因为更高级的智能在此基础上构建并立即解决每一个可能的科学、工程和操作任务。这个问题在于，硬件建设或进行生物实验等实际物理和实践限制，即使是一个新的天才国家也会遇到这些限制。智能可能非常强大，但它不是魔法仙尘。

其次，相反，你可能会相信技术进步是饱和的，或者受到现实世界数据或社会因素的速率限制，而比人类更聪明的智能将增加很少。在我看来，这同样令人难以置信——我能想到数百个科学或甚至是社会问题，其中一大群真正聪明的人将极大地加速度前进，特别是如果他们不仅限于分析，还可以在现实世界中实现（我们的假设天才国家可以，包括指导或协助人类团队）。

我认为真相可能是这两种极端情况的某种混乱混合——根据任务和领域不同，细节非常微妙。我认为我们需要新的框架，来以一种生产性的方式，思考这些细节。

经济学家经常谈论“生产要素”：像劳动力、土地和资本这样的东西。“劳动力/土地/资本的边际回报”这个短语捕捉了这样一个想法，即在给定情况下，某个因素可能有或没有限制——例如，空军需要飞机和飞行员，如果你没有飞机，雇佣更多的飞行员并没有太大帮助。我相信，在AI时代，我们应该谈论智能的边际回报，并试图弄清楚其他因素是什么，这些因素与智能互补，并在智能非常高时成为限制因素。我们不习惯以这种方式思考——问“更聪明对这个任务有多大帮助，以及在什么时间尺度上？”——但这似乎是概念化一个拥有非常强大AI的世界的正确方式。

我对限制或与智能互补的因素的猜测清单包括：

外部世界的运行速度。智能代理需要与世界互动才能完成事情，并且也需要学习。但世界只能以一定的速度移动。细胞和动物以固定的速度运行，因此对它们进行实验需要一定的时间，这可能是不可简化的。这同样适用于硬件、材料科学、与人交流的任何事情，甚至我们现有的软件基础设施。此外，在科学中，许多实验通常需要顺序进行，每个实验都从前一个实验中学习或建立。所有这些都意味着完成一个重大项目——例如开发癌症治疗方法——可能具有不可简化的最低要求即使智能继续增加，也无法进一步减少。

对数据的需求。有时缺乏原始数据，在缺乏数据的情况下，更多的智能并没有帮助。今天的粒子物理学家非常聪明，已经开发了一系列理论，但由于粒子加速器数据非常有限，他们缺乏选择它们之间的数据。目前尚不清楚，如果他们拥有超智能，他们会做得大不相同——也许他们可以通过加速建造更大的加速器来做得更好。

内在复杂性。有些事情本质上是不可预测的或混乱的，即使是最强大的AI也无法比今天的人类或计算机更好地预测或解开它们。例如，即使是非常强大的AI也只能在一般情况下比今天的人类和计算机稍微更长远地预测混沌系统（如三体问题），并且只能稍微更好地预测。

来自人类的限制。许多事情不能在不违反法律、伤害人类或扰乱社会的情况下完成。一个对齐的AI不想做这些事情（如果我们有一个未对齐的AI，我们又回到了谈论风险的问题）。许多人类社会结构效率低下甚至积极有害，但很难在尊重法律对临床试验的要求、人们改变习惯的意愿或政府行为等约束的同时进行改变。包括核能、超音速飞行甚至电梯在内的技术进步，尽管在技术层面上表现良好，但由于法规或错误的恐惧，其影响已大大减少。

物理定律。这是第一点的一个更明显的版本。有一些物理定律似乎是不可打破的，比如不可能超过光速旅行、芯片在每平方厘米的晶体管数量在变得不可靠之前只能有这么多等。

还有一个基于时间尺度的变量。在短期内很难的事情，随着时间的推移，可能对智能更加可塑。例如，智能可能被用来开发一个新的实验范式，使我们能够在体外学习以前需要活体动物实验的知识，或者建造所需的工具来收集新数据（例如更大的粒子加速器），或者（在伦理限制内）找到绕过基于人类限制的方法（例如帮助改进临床试验系统，帮助创建临床试验官僚作风较少的新管辖区，或者改进科学本身，使人类临床试验不那么必要或更便宜）。

因此，我们应该想象一个画面，其中智能最初受到其他生产要素的严重瓶颈限制，但随着时间的推移，智能本身越来越多地绕过其他因素，即使它们从未完全消失（有些东西，如物理定律，是绝对的）。关键问题是一切都发生得有多快，以及以什么顺序发生。

考虑到上述框架，我将尝试回答引言中提到的五个领域的问题。

1. 生物学和健康

生物学可能是科学进步最有潜力直接和明确提高人类生活质量的领域。在上个世纪，一些最古老的人类疾病（如天花）终于被征服，但还有更多的疾病仍然存在，战胜它们将是一个巨大的人道主义成就。甚至超越治愈疾病，生物学可以在原则上改善人类健康的基础水平，通过延长健康的人类寿命，增加对我们自己生物过程的控制和自由，并解决我们目前认为是人类条件不可改变的部分的日常问题。

在上一节的“限制因素”框架中，直接应用智能到生物学的主要挑战是数据、物理世界的运行速度和内在复杂性（实际上，所有三个都相互关联）。人类限制在后期阶段也发挥作用，当涉及到临床试验时。让我们一一来看。

对细胞、动物甚至化学过程的实验，受到物理世界速度的限制：许多生物学协议涉及培养细菌或其他细胞，或者简单地等待化学反应发生，这有时需要几天甚至几周的时间，没有明显的方法可以加速。动物实验可能需要几个月（甚至更长时间），人类实验通常需要数年（甚至几十年用于长期结果研究）。与此有些相关的是，数据通常缺乏——不是数量，而是质量：总是缺乏清晰、明确的数据，这些数据将感兴趣的生物学效应与其他一万件正在发生的事情隔离开来，或者在给定过程中进行因果干预，或者直接测量某些效应（而不是以某种间接或嘈杂的方式推断其后果）。即使是大规模的定量分子数据，如我在使用质谱技术工作时收集的蛋白质组学数据，也是嘈杂的，遗漏了很多（这些蛋白质在哪些类型的细胞中？细胞的哪一部分？在细胞周期的哪个阶段？）。

部分原因是数据问题，内在复杂性：如果你曾经看过一个显示人类代谢生物化学的图表，你就会知道，隔离这个复杂系统的任何部分的效应非常困难，更不用说以精确或可预测的方式干预系统了。最后，超出在人类身上进行实验所需的内在时间，实际的临床试验涉及很多官僚主义和监管要求，（包括我在内，许多人的意见）认为这些要求增加了不必要的额外时间和延迟。

鉴于这一切，许多生物学家一直对AI和“大数据”在生物学中的价值持怀疑态度。

历史上，数学家、计算机科学家和物理学家在过去30年中将他们的技能应用于生物学，取得了相当的成功，但没有实现最初希望的真正变革性影响。一些怀疑因重大和革命性的突破而减少，如AlphaFold（刚刚理所当然地为其创造者赢得了诺贝尔化学奖）和AlphaProteo11，但仍有一种观念，即AI（并且将继续）只能在有限的情况下有用。一个常见的表述是“AI可以更好地分析你的数据，但它不能产生更多的数据或提高数据的质量。垃圾进，垃圾出”。

但我认为是悲观的观点错误地考虑了AI。如果我们对AI进步的核心假设是正确的，那么思考AI的正确方式，不是作为一种数据分析方法，而是作为一个虚拟生物学家，执行生物学家所做的所有任务，包括设计和在现实世界中运行实验（通过控制实验室机器人或简单地告诉人类应该运行哪些实验——就像主要研究者对他们的研究生那样），发明新的生物学方法或测量技术，等等。

正是通过加快整个研究过程，AI才能真正加速生物学。

我想重复这一点，因为这是我在谈论AI能改变生物学能力时最常出现的常见误解：我不是在谈论AI作为仅仅分析数据的工具。根据本文开头对强大AI的定义，我谈论的是使用AI来执行、指导和改进生物学家所做的几乎所有事情。

要更具体地说，我认为加速可能来自哪里，生物学的很大一部分进步来自一个真正微小的发现数量，通常与允许对生物系统进行精确但通用或可编程干预的广泛测量工具或技术有关。也许每年有这样的重大发现之一，总体来说，它们可能推动了生物学50%以上的进步。这些发现之所以如此强大，正是因为它们削减了内在复杂性和数据限制，直接增加了我们对生物过程的理解和控制。几十年来的一些发现，使我们对生物学的基本科学理解，并且推动了许多最强大的治疗方法。

一些例子包括：

CRISPR：一种允许活体生物中任何基因进行现场编辑的技术（用任何其他任意基因序列替换任何任意基因序列）。自从原始技术开发以来，一直在不断改进以针对特定细胞类型，提高准确性，并减少错误基因的编辑——所有这些对于人类安全使用都是必要的。

各种类型的显微镜，用于观察精确层面上的情况：先进的光学显微镜（具有各种荧光技术、特殊光学等），电子显微镜，原子力显微镜等。

基因组测序和合成，在过去几十年中，成本下降了几个数量级。

光遗传技术，通过在它上面照射光线，可以让你得到一个神经元发射。

mRNA疫苗，原则上允许我们设计针对任何事物的疫苗，然后快速适应它（mRNA疫苗当然在COVID期间变得出名）。

细胞疗法，如CAR-T，允许免疫细胞从体内取出并“重新编程”以攻击，原则上，任何事情。

概念性洞察，如疾病细菌理论和免疫系统与癌症之间的联系的认识。

我之所以不厌其烦地列出所有这些技术，是因为我想就它们提出一个关键主张：如果有更多有才华、有创造力的研究人员，我认为这些发现的速率可以增加10倍或更多。或者换句话说，我认为这些发现对智能的回报很高，生物学和医学中的其他一切都基本上跟随它们。

为什么我这么认为？因为我们在试图确定“智能的回报”时，应该习惯问一些问题的答案。首先，这些发现通常由极少数研究人员做出，通常是同一群人反复做出，这表明技能而不是随机搜索（后者可能表明漫长的实验是限制因素）。其次，它们通常“可以比它们早几年”被制造出来：例如，CRISPR是细菌中自然发生的免疫系统组成部分，自80年代以来就已经知道，但花了另外25年的时间人们才意识到它可以被重新用于一般基因编辑。它们也因科学界对有前途的方向缺乏支持而推迟了许多年（参见有关mRNA疫苗发明者的简介；类似的故事比比皆是）。第三，成功的项目通常是临时的或者是人们最初不认为有希望的附带项目，而不是大规模资助的努力。这表明，不仅仅是大规模资源集中推动发现，更多是聪明才智。

最后，尽管其中一些发现具有“序列依赖性”（你需要首先做出发现A，以便拥有工具或知识来做出发现B）——这可能会再次造成实验延迟——但许多，也许是大多数，是独立的，意味着许多可以同时进行。这两个事实，以及我作为生物学家的一般经验，强烈表明，如果科学家们更聪明，更擅长在人类拥有的大量生物学知识之间建立联系（再次考虑CRISPR的例子），就有数百个这样的发现等待被制造。AlphaFold/AlphaProteo在解决比人类更有效的问题的方面的成功，尽管在狭窄领域有一个狭窄的工具，提供了一个原则证明，应该指明前进的方向。

因此，我猜测强大的AI至少可以将这些发现的速率提高10倍，给我们在5-10年内带来下一个50-100年的生物学进步。

为什么不是100倍？也许这是可能的，但在这里，序列依赖性和实验时间变得重要：在1年内获得100年的进步，需要很多事情第一次就做对，包括动物实验和设计显微镜或昂贵的实验室设施这样的事情。我实际上对（听起来可能荒谬的）想法持开放态度，即我们可以在5-10年内获得1000年的进步，但我对在1年内获得100年持怀疑态度。另一种说法是，我认为有一个不可避免的恒定延迟：实验和硬件设计有一定的“延迟”，需要迭代一定数量的“不可约”次数，以了解不能逻辑推断的事情。但在那之上，大规模的并行性可能是可能的。

关于临床试验和社会障碍，值得明确的是，从某种意义上说，生物医学创新在成功部署方面有着异常强大的记录，与其他一些技术形成对比。如引言中所述，许多技术尽管在技术上表现良好，但受到社会因素的阻碍。这可能表明对AI可以完成的事情持悲观态度。但生物医学是独特的，尽管开发药物的过程过于繁琐，一旦开发出来，它们通常被成功部署和使用。

总结上述，我的基本预测是，AI支持的生物学和医学将使我们能够在5-10年内压缩人类生物学家将在下一个50-100年内取得的进步。我将这称为“压缩的21世纪”：在开发出强大的AI之后，我们将在几年内实现我们在整个21世纪将取得的所有生物学和医学进步的想法。

尽管预测强大的AI在几年内能做什么仍然本质上是困难和投机的，但询问“人类在接下来的100年里不借助外力能做什么？”有一些具体性。简单地看看我们在20世纪取得的成就，或者从21世纪的前20年进行外推，或者问“10个CRISPR和50个CAR-T的”会给我们什么，都提供了实际的、有根据的方式来估计，我们可能从强大的AI中期待的一般水平的进步。

下面我尝试列出我们可能期待的东西。这不是基于任何严谨的方法，几乎肯定会在细节上被证明是错误的，但它试图传达我们应该期待的一般水平的激进主义：

可靠的预防和治疗几乎所有自然传染病。鉴于20世纪对抗传染病的巨大进步，想象我们可以在压缩的21世纪“完成工作”并不激进。mRNA疫苗和类似技术已经指向了“针对任何事物的疫苗”。传染病是否完全从世界中根除（而不是只是在某些地方）取决于贫困和不平等的问题，第3节将讨论。

消除大多数癌症。过去几十年来，癌症死亡率每年下降约2%；因此，我们正以人类科学当前的步伐走上在21世纪消除大多数癌症的轨道。一些亚型已经被大量治愈（例如，一些类型的白血病通过CAR-T疗法），我对非常有针对性的药物感到更加兴奋，这些药物可以在癌症初期针对癌症，阻止它生长。AI还将使治疗方案能够非常精细地适应癌症的个体化基因组——这些在今天可能是可能的，但在时间和人类专业知识方面都非常昂贵，AI应该使我们能够扩展。减少95%或更多的死亡率和发病率似乎是可能的。话虽如此，癌症极其多样和适应性，可能是这些疾病中最难完全根除的。一些罕见的、难以治疗的恶性肿瘤可能会持续存在。

非常有效的预防和有效治疗遗传病。大大提高的胚胎筛查可能会使我们能够预防大多数遗传病，一些更安全、更可靠的CRISPR后代可能会治愈大多数现有人群中的遗传病。影响大部分细胞的全身性疾病可能是最后的顽固分子。

预防阿尔茨海默症。我们一直很难弄清楚阿尔茨海默病的原因是什么（它与β-淀粉样蛋白有关，但实际细节似乎非常复杂）。它似乎是可以用更好的测量工具解决的问题，这些工具隔离了生物学效应；因此，我对AI解决它持乐观态度。有机会通过相对简单的干预措施预防它，一旦我们真正了解发生了什么。话虽如此，已经存在的阿尔茨海默病的损害可能很难逆转。

改善大多数其他疾病的治疗。这是一个包括糖尿病、肥胖、心脏病、自身免疫疾病等在内的其他疾病的“大杂烩”类别。这些疾病中的大多数似乎“比癌症和阿尔茨海默病更容易解决”，在许多情况下，它们已经在急剧下降。例如，心脏病死亡率已经下降了50%以上，简单的干预措施，如GLP-1激动剂，已经对肥胖和糖尿病取得了巨大的进步。

生物学自由。在过去的70年里，我们在避孕、生育管理、体重管理等方面取得了进展。但我认为，AI加速的生物学将大大扩展可能的范围：体重、外貌、生殖和其他生物过程将完全受到人们的控制。我们将在“生物学自由”的标题下引用这些，这个想法是，每个人都应该有权选择他们想成为什么样的人，以及以最吸引他们的方式生活。当然，关于全球平等获取的问题；第3节将讨论这些。

人类寿命翻倍。这可能看起来激进，但在20世纪，预期寿命几乎增加了2倍（从大约40岁到大约75岁），所以“压缩的21世纪”再次翻倍到150岁是“趋势”。显然，减慢实际衰老过程所需的干预措施将与上个世纪防止（主要是儿童）过早死于疾病所需的干预措施不同，但变化的幅度并不是前所未有的。具体来说，已经存在一些药物，可以增加老鼠的最大寿命25-50%，副作用有限。一些动物（例如，某些类型的乌龟）已经活了200年，所以人类显然没有达到理论上的上限。至少，最需要的可能是可靠的、不可操纵的人类衰老生物标志物，因为这将允许在实验和临床试验上快速迭代。一旦人类寿命达到150岁，我们可能能够达到“逃逸速度”，购买足够的时间，使今天活着的大多数人能够活出他们想要的时间，尽管这在生物学上是否可能还远远没有保证。

值得看看这个列表，并反思如果所有这些都在7-12年后实现，世界将变得多么不同（这将符合AI的积极时间表）。毫无疑问，这将是一个难以想象的人文主义胜利，一次性消除了困扰人类数千年的大多数灾难。我的许多朋友和同事都有孩子，当这些孩子长大后，我希望任何提到疾病的事情对他们来说，就像对我们来说坏血病、天花或鼠疫一样。那一代人还将从增加的生物学自由和自我表达中受益，并且幸运的话，也可以活出他们想要的时间。

很难高估这些变化对每个人来说有多令人惊讶，除了那些预期强大的AI的小社区。

例如，在美国，成千上万的经济学家和政策专家目前正在辩论如何保持社会保障和医疗保险的偿付能力，更广泛地讨论如何降低医疗保健成本（这些成本主要由70岁以上的人消费，特别是那些患有绝症，如癌症的人）。如果所有这些都实现，这些计划的情况可能会根本改善，因为工作年龄与退休人口的比例将发生巨大变化。毫无疑问，这些挑战将被其他挑战所取代，例如如何确保广泛获取新技术，但值得反思即使生物学是唯一成功加速的领域，世界将发生多么大的变化。

2. 神经科学和心灵

在上一节中，我专注于身体疾病和生物学，并没有涵盖神经科学或心理健康。但神经科学是生物学的一个子学科，心理健康与身体健康一样重要。事实上，如果有什么的话，心理健康比身体健康更直接地影响人类的幸福感。数亿人由于成瘾、抑郁、精神分裂症、低功能自闭症、PTSD、精神病态或智力残疾等问题，生活质量非常低。还有数十亿人挣扎在通常可以被解释为这些严重临床疾病较轻微版本的日常问题中。并且像在一般生物学中一样，可能有可能超越解决问题，提高人类体验的基线质量。

我为生物学制定的基本框架同样适用于神经科学。该领域是由少数与测量或精确干预工具相关的发现推动的——在上面的列表中，光遗传学是神经科学发现，最近CLARITY和扩展显微镜是同一方向的进步，此外，许多一般细胞生物学方法直接适用于神经科学。我认为这些进步的速率将受到人工智能的类似加速，因此“100年的进步在5-10年内”的框架以同样的方式适用于神经科学，原因与生物学相同。像在生物学中一样，20世纪神经科学的进步是巨大的——例如，直到20世纪50年代我们甚至不了解神经元是如何或为什么发射的。因此，似乎合理的是，AI加速的神经科学将在几年内取得快速进步。

我们应该在这个基本画面中添加一件事，那就是我们在过去几年中从AI中学到的一些东西，可能会帮助推进神经科学——即使它继续只由人类完成。

可解释性是一个明显的例子：尽管生物神经元在表面上与人工神经元以完全不同的方式运作（它们通过尖峰和尖峰率进行通信，因此有一个时间元素不在人工神经元中，以及许多与细胞生理学和神经递质相关的细节大大修改了它们的操作），但“如何分布式、训练过的简单单元网络执行组合线性/非线性操作共同执行重要计算”的基本问题是一样的，我强烈怀疑个体神经元通信的细节将在大多数关于计算和电路的有趣问题中被抽象掉。作为这一点的一个例子，AI系统中的可解释性研究人员最近在小鼠大脑中重新发现了一种计算机制。

在人工神经网络上进行实验比在真实网络上进行实验要容易得多（后者通常需要切割动物大脑），因此可解释性可能会成为一种提高我们对神经科学理解的工具。此外，强大的AI本身可能会比人类更好地开发和应用这个工具。

超越可解释性，我们从AI中学到的关于智能系统如何被训练的知识应该（尽管我不确定它是否已经开始）在神经科学中引起革命。当我在神经科学工作时，很多人专注于我现在会认为是关于学习的错误问题，因为还没有出现规模假设/苦涩教训的概念。一个简单的目标函数加上大量数据，可以推动令人难以置信的复杂行为的想法，使得理解目标函数和架构偏见变得更有趣，而不是理解新兴计算的细节。

我近年来没有密切关注这个领域，但我有一种模糊的感觉，计算神经科学家还没有完全吸收这个教训。我对规模假设的态度一直是“啊哈——这是对智能如何工作以及它如何轻易进化的解释”，但我认为这不是普通神经科学家的观点，部分原因是规模假设作为“智能的秘密”甚至在人工智能内部也没有被完全接受。

我认为神经科学家应该将这种基本见解与人类大脑的特殊性（生物物理限制、进化历史、拓扑结构、运动和感觉输入/输出的细节）结合起来，试图解决神经科学的关键难题。有些可能是，但我怀疑这还不够，人工智能神经科学家将能够更有效地利用这个角度来加速进步。

我预计AI将通过四个不同的途径加速神经科学的进步，所有这些途径都可以有望共同工作，以治疗或预防大多数精神疾病，并改善功能：

传统的分子生物学、化学和遗传学。这基本上与第1节中的一般生物学相同，AI可能通过相同的机制加速它。有许多药物可以调节神经递质以改变大脑功能、影响警觉性或感知、改变情绪等，AI可以帮助我们发明更多。AI也可能加速对精神疾病遗传基础的研究。

精细的神经测量和干预。这是测量许多单个神经元或神经回路正在做什么的能力，并进行干预以改变它们的行为。光遗传学和技术神经探针是能够同时进行测量和干预活体生物体的技术，一些非常先进的方法（例如分子磁带以读取大量单个神经元的发射模式）也已经提出并原则上似乎可能。

先进的计算神经科学。正如上文所述，现代AI的具体见解和整体观念可能可以有效地应用于系统神经科学的问题，包括可能揭示复杂疾病如精神病或情绪障碍的真实原因和动态。

行为干预。我并没有太多提到这一点，因为重点是神经科学的生物学方面，但精神病学和心理学当然在20世纪开发了广泛的一系列行为干预措施；可以合理地假设AI也可以加速这些干预措施，无论是开发新方法还是帮助患者坚持现有方法。更广泛地说，一个“AI教练”的想法，总是帮助你成为最好的自己，研究你的互动并帮助你学会更有效，似乎非常有希望。

我猜这四个进步的途径共同工作，将像对待身体疾病一样，在接下来的100年内导致大多数精神疾病的治疗或预防——因此可能在5-10年内合理完成。

具体来说，我猜测会发生什么：

大多数精神疾病可能被治愈。我不是精神疾病的专家（我在神经科学上的时间花在构建用于研究小神经元群体的探针上），但我的猜测是，像PTSD、抑郁、精神分裂症、成瘾等疾病可以通过上述四个方向的某种组合来理解和非常有效地治疗。答案可能是“有些生化问题”（尽管可能非常复杂）和“神经网络出了问题，在高层次上”。也就是说，它是一个系统神经科学问题——尽管这并不否认上述讨论的行为干预的影响。测量和干预工具，特别是在活体人类中，似乎很可能导致快速迭代和进步。

可能更难以治疗的结构性状况。有证据表明，精神病态与明显的神经解剖学差异有关——精神变态者的某些大脑区域就是更小或发育不良。精神变态者也被认为是从小就缺乏同情心；无论他们的大脑有什么不同，可能一直都是这样。同样可能适用于某些智力残疾，也许还有其他状况。重塑大脑听起来很难，但它也似乎是一个对智能有很高回报的任务。也许有办法诱导成人大脑进入早期或更可塑的状态，使其可以被重塑。我对这有多大可能非常不确定，但我的直觉是对AI在这方面可以发明的东西持乐观态度。

通过遗传学有效预防精神疾病似乎是可能的。大多数精神疾病部分是遗传的，全基因组关联研究开始在识别相关因素方面取得进展，这些因素通常数量众多。通过胚胎筛查预防这些疾病中的大多数可能是可能的，与身体疾病的故事类似。一个区别是精神疾病更可能是多基因的（许多基因贡献），因此由于复杂性，有更大的风险在不知情的情况下选择反对与疾病相关的积极特征。奇怪的是，然而，近年来GWAS研究表明，这些相关性可能被高估了。无论如何，人工智能加速的神经科学可能帮助我们解决这些问题。当然，对复杂特征进行胚胎筛查引发了一些社会问题，并将引起争议，尽管我猜大多数人会支持筛查严重或致残的精神疾病。

我们不认为是临床疾病的日常问题也将得到解决。我们大多数人都有日常心理问题，通常不被认为是临床疾病的水平。有些人容易发怒，其他人难以集中注意力或经常困倦，有些人害怕或焦虑，或对变化反应不好。今天，已经存在帮助例如警觉性或专注力的药物（咖啡因、莫达非尼、利他林），但像许多其他以前的领域一样，更有可能的是可能的。可能存在许多尚未发现的这类药物，也可能存在全新的干预方式，如针对性光刺激（见上文的光遗传学）或磁场。鉴于我们在20世纪开发了多少种调节认知功能和情绪状态的药物，我对“压缩的21世纪”非常乐观，每个人都可以使他们的大脑表现得更好，拥有更充实的日常体验。

人类基线体验可以变得更好。再进一步，许多人都经历过启示、创造性灵感、同情心、成就感、超越、爱、美或冥想和平的非凡时刻。这些体验的特点和频率因人而异，在同一人的不同时间也有所不同，有时也可以通过各种药物触发（尽管通常有副作用）。所有这些都表明“可能体验的空间”是非常广泛的，更大的人的生活可能由这些非凡的时刻组成。它也可能改善各种认知功能。这可能是“生物学自由”或“延长寿命”的神经科学版本。

经常在科幻小说中出现的一个话题，但我在这里故意没有讨论的是“意识上传”，捕捉人脑的模式和动态并将它们实例化为软件的想法。这个话题本身就可以成为一篇论文的主题，但简而言之，尽管我认为原则上，意识上传无疑是可能的，但在实践中它面临着重大的技术和社会挑战，即使有强大的AI，也可能把它放在我们讨论的5-10年时间窗口之外。

总结来说，AI加速的神经科学可能会极大地改善治疗，甚至治愈大多数精神疾病，并极大地扩展“认知和心理自由”以及人类的认知和情感能力。

它将和上一节中描述的身体健康改善一样激进。也许世界在外表上不会明显不同，但人类所经历的世界将是一个更好、更人道的地方，也是一个为自我实现提供更多机会的地方。我还怀疑改善的心理健康将减少许多其他社会问题，包括那些看起来是政治或经济的问题。

3. 经济发展与贫困

前面的两节讨论了开发新技术以治愈疾病和改善人类生活质量。然而，从人道主义的角度来看，一个明显的问题出现了：“每个人都能获得这些技术吗？”

开发一种疾病的治疗方法是一回事，将这种疾病从世界上根除是另一回事。

更广泛地说，许多现有的健康干预措施尚未在世界各地得到应用，同样的情况也适用于（非健康）技术改进。换句话说，世界上许多地区的生活水平仍然极度贫困：撒哈拉以南非洲的人均GDP约为2000美元，而美国约为75000美元。

如果AI进一步增加了发达国家的经济增长和生活质量，而对发展中国家帮助甚少，我们就应该将其视为一个可怕的道德失败，以及对前两节中真正的人道主义胜利的玷污。理想情况下，强大的AI应该帮助发展中国家迎头赶上发达国家，即使它彻底改变了后者。

我对AI能够解决不平等和经济增长问题的信心，不如我对它能够发明基础技术的信心那么高，因为技术具有明显的高智能回报（包括绕过复杂性和缺乏数据的能力），而经济涉及很多人类约束，以及大量的内在复杂性。我不认为政府（或应该）将他们的经济政策交给这样一个实体，即使它能够做到。还有如何说服人们接受有效但他们可能怀疑的治疗方法等问题。

然而，我看到有充分的理由保持乐观。疾病已经被根除，许多国家已经从贫穷变为富裕，显然，这些任务中涉及的决策表现出高智能回报（尽管有人类约束和复杂性）。因此，AI可能会比目前的做得更好。也许还有一些针对性的干预措施可以绕过人类约束，AI可以专注于这些。更重要的是，我们必须尝试。AI公司和发达国家的政策制定者都需要尽自己的一份力量，确保发展中国家不会被遗漏；道德责任太大了。所以在这一部分，我将继续提出乐观的案例，但请记住，成功并不是有保证的，取决于我们大家的共同努力。

以下是我对强大AI开发后世界5-10年内可能发生的事情的一些猜测：

健康干预措施的扩散。

也许我最乐观的状态是，将健康干预措施分发到世界各地。

疾病实际上是通过自上而下的行动被根除的：天花在20世纪70年代被完全消灭，脊髓灰质炎和几内亚线虫病几乎被根除，每年少于100例。数学复杂的流行病学建模在疾病根除运动中发挥了积极作用，看起来非常有可能，比人类更聪明的AI系统能够比人类更好地完成这项工作。分发的物流也可能被大大优化。

我从作为GiveWell的早期捐赠者那里学到的是，一些健康慈善机构比其他的更有效；希望人工智能加速的努力会更有效。此外，一些生物进步实际上使分发的物流变得更容易：例如，疟疾很难根除，因为它需要每次疾病合约时都进行治疗；只需要接种一次的疫苗使物流变得更简单（事实上，目前正在开发针对疟疾的疫苗）。

更简单的分发机制是可能的：例如，通过针对它们的动物载体来根除一些疾病，例如释放感染了一种阻止它们携带疾病的细菌的蚊子（然后感染所有其他蚊子）或者简单地使用基因驱动器消灭蚊子。这需要一个或几个集中行动，而不是必须单独治疗数百万人的协调运动。

总的来说，我认为5-10年是一个合理的时间表，可以让AI驱动的健康益处的很大一部分（也许50%）传播到世界上最贫穷的国家。一个好目标可能是，发展中国家在强大AI之后的5-10年内至少比今天发达国家更健康，即使它继续落后于发达国家。实现这一点当然需要在全球卫生、慈善事业、政治倡导等方面付出巨大努力，人工智能开发者和政策制定者都应该帮助。

经济增长。

发展中国家能否在健康方面迎头赶上发达国家，并且在经济上全面赶上？

有先例：在20世纪最后几十年，几个东亚经济体实现了持续的约10%的年均实际GDP增长率，使它们赶上了发达国家。人类经济规划者通过拉动几个关键杠杆（如出口导向型增长的产业政策，以及抵制依赖自然资源财富的诱惑）实现了这一成功，而不是直接控制整个经济；“AI财政部长和中央银行家”有可能复制甚至超过这一10%的成就。

一个重要的问题是，如何让发展中国家政府在尊重自决原则的同时采纳它们——一些可能对此很积极，但其他可能持怀疑态度。

从乐观的方面看，前一点中的许多健康干预措施可能会自然增加经济增长：根除艾滋病/疟疾/寄生线虫将对生产力产生变革性影响，更不用说一些神经科学干预措施（如改善情绪和专注力），将在发达国家和发展中国家都带来经济利益。最后，非健康AI加速的技术（如能源技术、运输无人机、改进的建筑材料、更好的物流和分发等）可能会自然地渗透到世界各地；例如，即使在撒哈拉以南非洲，手机也通过市场机制迅速普及，而不需要慈善努力。在更负面的方面，尽管AI和自动化有许多潜在的好处，但它们也对经济发展构成了挑战，特别是对于那些尚未工业化的国家。找到确保这些国家在自动化时代仍然能够发展和改善其经济的方法，是经济学家和政策制定者需要解决的重要挑战。

总的来说，一个梦想场景——也许是一个目标——将是发展中国家的年均GDP增长率为20%，其中10%来自人工智能支持的经济决策，另外10%来自人工智能加速技术的自然传播，包括但不限于健康。如果实现，这将在5-10年内将撒哈拉以南非洲带到中国当前的人均GDP水平，同时将许多其他发展中国家提高到高于当前美国GDP的水平。再次强调，这是一个梦想场景，不是默认会发生的事情：这是我们所有人必须共同努力使更有可能的事情。

食品安全。像更好的肥料和农药、更多自动化和更有效的土地利用等作物技术的进步，在20世纪大幅度提高了作物产量，使数百万人免于饥饿。遗传工程目前正在进一步改善许多作物。找到更多这样做的方法——以及使农业供应链更加高效——可能会给我们带来AI驱动的第二次绿色革命，帮助缩小发展中国家和发达国家之间的差距。
缓解气候变化。气候变化将在发展中国家感受到更强烈的影响，阻碍其发展。我们可以预期，AI将带来改善减缓或预防气候变化的技术，从大气碳清除和清洁能源技术到减少我们对碳密集型工厂化养殖依赖的实验室养殖肉类。当然，正如上文讨论的，技术并不是限制气候变化进展的唯一因素——像文章中讨论的所有其他问题一样，人类社会因素也很重要。但有充分的理由认为，AI增强的研究将给我们提供使减缓气候变化变得更少成本和破坏性的手段，使许多反对意见变得无关紧要，释放发展中国家进行更多经济发展的潜力。

国家内部的不平等。我主要讨论了不平等作为全球现象（我认为这是其最重要的表现），但当然，不平等也存在于国家内部。随着先进的健康干预措施，特别是大幅度增加寿命或认知增强药物的出现，肯定会有关于这些技术“只针对富人”的担忧。我对发达国家内部的不平等特别乐观，原因有两个。首先，市场在发达国家运作得更好，市场通常擅长随着时间的推移降低高价值技术的成本。其次，发达国家的政府机构对民众的响应性更强，并且拥有更大的行政能力来执行普遍获取计划——我预计民众会要求获取如此根本性改善生活质量的技术。当然，这并不是说这样的需求就会成功——这里又是我们需要集体尽我们所能确保一个公平的社会的另一个地方。在财富不平等（与获取救命和增强生命的技术的不平等相比）方面存在一个单独的问题，这个问题似乎更难解决，我在第5节中讨论。

选择退出的问题。在发达国家和发展中国家都存在的一个担忧是人们选择退出AI带来的利益（类似于反疫苗运动或更普遍的卢德运动）。可能会出现负面的反馈循环，例如，最不能做出良好决策的人选择退出那些提高他们决策能力的技术开发，导致差距不断扩大，甚至创造出一个反乌托邦的下层群体。这将再次给AI的积极进步带来道德上的污点。这是一个难以解决的问题，因为我认为在伦理上不应该强迫人们，但我们至少可以尝试提高人们的科学理解——也许AI本身可以帮助我们解决这个问题。一个令人鼓舞的迹象是，历史上反技术运动往往雷声大雨点小：反对现代技术很受欢迎，但大多数人最终会选择它，至少当它是个人选择时。个人倾向于采纳大多数健康和消费技术，而真正受到阻碍的技术，如核能，往往是集体政治决策。

总的来说，我对迅速将AI的生物学进步带给发展中国家的人们持乐观态度。

我持谨慎乐观态度，但并不自信，认为AI也可以实现前所未有的经济增长速度，使发展中国家至少超越发达国家当前的水平。我担心发达国家和发展中国家都存在“选择退出”的问题，但怀疑随着时间的推移，这些问题将会逐渐消失，AI可以帮助加速这一过程。世界不会完美，落后的人不会完全赶上，至少在最初的几年内不会。但通过我们的努力，我们可以朝着正确的方向迅速前进。如果我们这样做，我们可以为每个人在地球上应得的尊严和平等的承诺做出至少一部分贡献。

4. 社会治理

假设前三个部分的一切都进展顺利：疾病、贫困和不平等显著减少，人类体验的基线大大提高。这并不意味着所有导致人类痛苦的主要原因都得到了解决。人类仍然是对彼此的威胁。

一些合理的理论表明，互联网技术实际上可能有利于威权主义，而不是最初认为的去中心化。

不幸的是，我没有充分的理由相信AI会偏好性或结构性地推进社会治理，就像我认为它将结构性地推进人类健康和减轻贫困一样。人类冲突是对抗性的，AI原则上可以帮助“好人”和“坏人”。如果有什么不同的话，一些结构性因素似乎令人担忧：AI可能会带来更好的宣传和监控，这两者都是社会治理工具包中的主要工具。

我认为问题有两个部分：国际冲突和国家内部社会治理。

在国际方面，当强大的AI被创造出来时，什么样的国家去充分利用或滥用将成为关键。社会治理上，比如，AI能否通过使决策和流程更加公正来改善我们的法律和司法系统？今天人们主要担心在法律或司法背景下，AI系统将成为歧视的原因，这些担忧是重要的，需要加以防范。一个真正成熟和成功的AI实现有可能减少偏见，对每个人都更公平。

几个世纪以来，法律系统面临着一个困境，即法律旨在是公正的，但本质上是主观的，因此必须由有偏见的人类来解释。试图使法律完全机械化没有奏效，因为现实世界是混乱的，不能总是用数学公式来描述。相反，法律系统依赖于臭名昭著的不精确标准，如“残忍和不寻常的惩罚”或“完全没有社会重要性”，然后人类以一种表现出偏见、偏袒或任意性的方式进行解释。加密货币中的“智能合约”并没有彻底改变法律，因为普通代码不足以裁决许多有趣的事情。但AI可能足够聪明：它是第一个能够以可重复和机械的方式进行广泛、模糊判断的技术。

我不是建议我们用AI系统取代法官，但公正性与理解和处理混乱的现实世界情况的能力相结合，感觉应该对法律和正义有一些严肃的积极应用。至少，这样的系统可以作为人类决策的辅助工具。在任何这样的系统中，透明度都很重要，成熟的AI科学可能提供它：可以对这些系统的培训过程进行广泛研究，并使用先进的可解释性技术查看最终模型内部并评估其是否有隐藏的偏见，这与人类是不可能的。这样的AI工具还可以用来监测司法或执法背景下对基本权益的侵犯，使法律更具自我执行性。

还有一个明显的机会，即使用AI帮助提供公共服务，例如健康福利或社会服务——原则上对每个人都是可用的，但实际上往往严重缺乏，并且在某些地方比其他一些地方更糟。这包括健康服务、车辆管理局、税收、社会保障、建筑法规执行等。有一个非常周到和了解的AI，其工作是让你以你能理解的方式获得政府法律上赋予你的一切——并且也帮助你遵守通常令人困惑的政府规则——将是一件大事。

所有这些都是一些模糊的想法，正如我在本节开头所说的，我对它们的可行性并不像我对生物学、神经科学和扶贫进展那样有信心。它们可能是不切实际的乌托邦。但重要的是要有一个雄心勃勃的愿景，愿意大胆梦想并尝试事物。

5. 工作与意义

即使前面的四个部分都进展顺利，至少还有一个重要问题仍然存在。“我们生活在这样一个技术先进的世界，以及一个公平和体面的世界，这很好，”有人可能会反对，“但是随着AI做所有事情，人类将如何拥有意义？顺便说一下，在经济上他们将如何生存？”

我认为这个问题比其他问题更难。我的意思是，它比预测宏观经济组织方式的问题更模糊和难以预测，因为这些问题往往只有在时间和分散的方式中才能解决。例如，历史上的狩猎采集社会可能想象没有狩猎和各种与狩猎相关的宗教仪式，生活就没有意义，他们可能想象我们这个饮食充足技术先进的社会缺乏目的。他们也可能不理解我们的经济如何为每个人提供服务，或者人们在机械化社会中可以有效地提供什么功能。

然而，值得至少说几句话，同时要记住这一节的简短，绝不是说我不认真对待这些问题——相反，它是缺乏明确答案的标志。

关于意义的问题，我认为很可能是一个错误的信念，即如果你承担的任务没有意义，仅仅因为AI可以比你做得更好。大多数人在任何事情上都不是世界上最好的，这似乎并没有特别困扰他们。

当然，今天他们仍然可以通过比较优势做出贡献，并且可能从他们创造的经济价值中获得意义，但人们也非常享受不产生经济价值的活动。我花很多时间玩视频游戏、游泳、在外面走动和与朋友交谈，所有这些都不产生经济价值。我可能花一天时间试图在视频游戏中变得更好，或者在山上骑自行车更快，而且真的有人比这些事情做得更好，对我并不重要。

无论如何，我认为意义主要来自人际关系和联系，而不是来自经济劳动。

人们确实想要一种成就感，甚至是一种竞争感，在AI之后的世界里，完全可以花几年时间尝试一些非常困难的任务，有一个复杂的策略，类似于人们今天开始研究项目、试图成为好莱坞演员或创立公司时所做的事情。（a）一个人工智能在某个地方原则上可以做这个任务更好，以及（b）这个任务不再是全球经济中一个经济回报的元素，对我来说似乎并不重要。

实际上，经济部分对我来说似乎比意义部分更困难。在这一部分中，我所说的“经济”是指，大多数或所有人类可能无法在足够先进的AI驱动的经济中，做出有意义贡献的潜在问题。这是一个比不平等的单独问题更宏观的问题，特别是不平等获取新技术，我在第3节中讨论过。

首先，短期内，我同意比较优势将继续使人类保持相关性并实际上增加他们的生产力的论点，甚至在某些方面平衡了人类之间的竞争环境。只要AI只在某个工作的90%方面比人类更好，剩下的10%就会导致人类变得高度杠杆化，增加报酬，实际上创造了许多新的人类工作，补充和放大AI擅长的事情，使“10%”扩展，继续雇佣几乎所有人。

事实上，即使AI可以比人类更好地完成100%的工作，但如果它在某些任务上仍然效率低下或昂贵，或者如果人类和AI的资源输入显著不同，那么比较优势的逻辑继续适用。人类可能在相当长的时间内保持相对（甚至绝对）优势的一个领域是物理世界。

因此，我认为即使在我们达到“数据中心的天才国家”之后，人类经济可能仍然有意义。

然而，我确实认为从长远来看，AI将变得如此广泛有效和便宜，以至于这将不再适用。在这一点上，我们目前的经济设置将不再有意义，将需要更广泛的社会对话，讨论经济应该如何组织。

虽然这听起来可能很疯狂，但事实是，文明在过去成功地经历了重大的经济转变：从狩猎采集到农业，从农业到封建主义，从封建主义到工业主义。我怀疑需要一些新的、更奇怪的东西，这是没有人今天做得很好的愿景。它可以像为每个人提供大型普遍基本收入，尽管我怀疑这只是解决方案的一小部分。它可以是AI系统的资本主义经济，然后根据AI系统认为合理奖励人类的一些次要经济（最终基于人类价值观的判断）向人类分配资源（大量的资源，因为整体经济蛋糕将是巨大的）。也许经济运行在Whuffie点上。或者也许人类最终在某些预料之外的方式上在经济上仍然有价值，这通常不是由普通经济模型所预期的。所有这些解决方案都有大量可能的问题，而且不知道它们是否合理，除非进行大量的迭代和实验。像其他一些挑战一样，我们可能不得不为好的结果而战：剥削性或反乌托邦的方向也是可能的，必须被阻止。关于这些问题，我可以写得更多，希望将来能这样做。

总结

通过上述不同的主题，我试图提出一个世界愿景，如果一切顺利，AI可以实现，并且比今天的世界好得多。我不知道这个世界是否现实，即使它是，它也不会在没有许多勇敢和敬业的人的大量努力和斗争的情况下实现。每个人（包括AI公司！）都需要尽自己的一份力量，既要预防风险，也要充分实现利益。

但这是一个值得为之奋斗的世界。如果所有这些真的在5到10年内发生——大多数疾病被击败，生物和认知自由的增长，数十亿人摆脱贫困，共享新技术——我想所有目睹它的人都会被它对他们的影响所感动。我不是指从所有新技术中个人受益的体验，尽管那当然会是惊人的。我的意思是亲眼目睹一套长期坚持的理想在所有人面前同时实现的体验。我想很多人都会被它感动得热泪盈眶。

在写这篇文章的过程中，我注意到了一个有趣的紧张关系。一方面，这里提出的愿景极其激进：它不是几乎任何人预计在未来十年内会发生的事情，并且可能会让许多人觉得是一个荒谬的幻想。有些人甚至可能认为它是不可取的；它体现了不是每个人都会同意的价值观和政治选择。但与此同时，有些事情是显而易见的——有些过度决定的——好像许多不同的尝试去想象一个美好的世界最终都不可避免地导致这里。

在Iain M. Banks的《游戏玩家》中，主人公——一个名为文化的社会的成员，其基础与我在这里提出的价值观相似——前往一个压抑的、军国主义的帝国，其中领导权是由竞争一个复杂的战争游戏来决定的。然而，游戏足够复杂，以至于玩家在其中的战略倾向于反映他们自己的政治和哲学观点。主人公设法在游戏中击败了皇帝，表明他的价值观（文化的价值观）即使在由基于无情竞争和适者生存的社会设计的比赛中也代表了一种成功的策略。Scott Alexander的一个著名帖子有同样的论点——竞争是自我毁灭的，并且倾向于导致一个基于同情和合作的社会。“道德宇宙的弧线”是另一个类似的概念。

我认为文化的价值观是一种成功的策略，因为它们是一百万个具有明确道德力量的小决策的总和，这些决策倾向于将每个人拉到同一边。公平、合作、好奇心和自主的基本人类直觉是很难争辩的，并且以一种我们的更具破坏性的冲动往往不具有的累积方式。

人们很容易认为，不应该让孩子们死于我们可以预防的疾病，从那里开始，很容易认为每个孩子都应该平等地享有这项权利。从那里开始，不难认为我们应该团结起来，应用我们的智慧来实现这一结果。很少有人会反对应该惩罚那些不必要地攻击或伤害他人的人，从那里开始，惩罚应该是一致的，并且系统地适用于所有人的想法并不遥远。同样，人们应该有自主权和对自己生活和选择的责任，这是类似的。这些简单的直觉，如果被推向它们的逻辑结论，最终会导致法治和启蒙价值观。如果不是必然的，那么至少作为一种统计趋势，这是人类已经走向的方向。AI只是提供了一个让我们更快到达那里的机会——使逻辑更加鲜明，目的地更加清晰。

然而，这是一个超越之美的事物。我们有机会在实现它中扮演一个小角色。

 .END.

往期文章回顾