在昨天的 TED 2025 现场上，OpenAI CEO Sam Altman 与主持人进行了一场最新的深入对话，探讨了当前 AI 发展的惊人速度、潜在风险、社会影响以及 OpenAI 的战略方向。
首先是本次访谈的核心内容：
AI 能力的飞跃与“元认知”假象：
Altman 承认新模型（如 GPT-4o 和其图像生成能力）展现出的智能水平令人震惊，能够完成看似需要理解和推理的任务。但他同时指出，目前无法确定这些模型是真的在“思考”和理解，还是仅仅因为在海量训练数据中见过类似模式而进行的“模式匹配”。然而，如果效果无法区分，这种差别的重要性有多大？
AI 对就业和未来的影响：机遇与挑战并存：
面对 AI 可能取代人类工作的担忧，Altman 提出了两种视角：一是担忧被取代，二是将其视为强大的新工具，能让人类完成更多、更复杂的工作，提升整体能力。他认为历史上的技术革命都遵循后一种模式，人类适应能力很强。特定职位的期望会提高，但能力的提升将是显著的，人们能更快适应。
创造力、知识产权与新经济模型：
Altman 强调 AI 工具旨在提升人类的创造力，而非取代。他深信人类将在 AI 驱动的创作中扮演核心角色。承认 AI 生成内容的知识产权归属、署名权和补偿机制是重大的、亟待解决的问题。他认为需要探索新的经济模型来应对 AI 带来的创作民主化。要区分“风格模仿”和“内容抄袭”。OpenAI 的模型不会直接模仿在世艺术家的特定风格，但可以学习和生成某种氛围、流派或艺术运动的风格。对于明确抄袭行为，现有版权法依然适用，但 AI 时代需要新的界定。
开源模型与 OpenAI 的战略：
Altman 明确表示 OpenAI 将推出强大的开源模型，认为开源在 AI 生态中占有重要地位，能加速创新并满足不同需求。他承认 OpenAI 在开源方面行动稍晚，但表示现在会大力投入，并已开始社区共建。他认为即使有了强大的开源模型，OpenAI 依然能通过构建最佳的、集成的、具备独特功能（如记忆）的产品保持领先，并提供最高的安全性和可靠性。
AI 安全与风险：指数级增长下的谨慎前行：
Altman 承认存在巨大的 AI 风险，包括模型被大规模滥用（如生物武器、网络攻击）、以及失控的自我改进模型的可能性。他强调 OpenAI 高度重视安全，安全记录良好，并将安全视为产品不可或缺的一部分。安全构建是一个迭代过程，需要在风险相对较低时将系统部署到现实世界，获取反馈并不断改进。他认为对齐 (Alignment) 和安全边界设定至关重要，需要在 AI 能力指数级增长的整个过程中持续关注，而不是等到某个“AGI 时刻”才开始行动。对于建立新的 AI 安全监管机构的提议，他认为可能需要某种形式的外部安全审计和框架，以确保超强模型的安全，但具体形式需要更多探讨。
AGI 的定义与未来：超越当前理解的智能：
Altman 认为纠结于 AGI 的精确定义意义不大，因为 AI 的能力将远超我们当前对 AGI 的任何定义。重要的是认识到我们正处于指数级增长的曲线上。当前的 AI (如 ChatGPT) 仍有很多不足，不能持续学习、自我改进，也无法完成需要主动浏览网页、打电话等复杂现实世界任务。未来的 AI 将更像一个伴侣和延伸，能够理解用户、预测需求、并主动提供帮助，成为发挥个人潜力的工具。
代理智能 (Agentic AI) 的机遇与挑战：
主持人将“代理智能”（AI 被授权自主执行任务）视为真正的变革时刻。Altman 承认这带来了巨大的潜力和便利（如 AI 预定餐厅），但也带来了新的安全挑战，因为 AI 将有能力访问系统、信息和执行操作。信任和安全是代理智能能够被广泛接受的关键。需要时间让社会适应这种主动操作的 AI。
对世界的希望：更美好的未来与责任：
Altman 对 AI 驱动的科学发现（如对抗疾病、新材料）感到最为兴奋，认为这是改善世界和人类生活的最重要驱动力。他希望他的孩子（以及所有人的孩子）能成长在一个物质极其丰富、变化极快、充满惊奇新事物、个体能力和影响力远超今天的世界。他希望后代能以怜悯和怀旧的眼光看待我们这个“限制如此之多”的时代。他强调 OpenAI 的使命是创造并安全地传播 AGI，使其惠及全人类，并认为有责任为每个人的未来尽力而为。
=web天空之城全文整理版=
[主持人]: 山姆，欢迎来到TED。非常感谢你来。
[奥特曼]: 谢谢。这是一种荣誉。
[主持人]: 你们公司几乎每隔一周就发布疯狂、令人惊叹的新model，我想给你展示一下我在玩的东西。Sora，这是图像和视频生成器。我问了Sora这个问题。我不是那种生动的人。但是当我让它提出一个显示智力与意识之间差异的图表时，这让我真正感到震惊。它这样做了。这太简单了。但这太不可思议了，这种过程是什么，让它能够，如此明显地不是仅仅生成图而是与整体模型所拥有的核心智能相连。
[奥特曼]: 是的，新的图像生成模型是GPT-4o的一部分，所以里面包含了所有的智能。我认为这就是它能够做出人们真正喜欢的这些事情的原因之一。
[主持人]: 如果我是管理咨询顾问，而我在试用这些东西，我在想，糟糕，我的未来看起来是什么样的？
[奥特曼]: 我认为可以有两种看法。你可以说，天啊，它在做我做的所有事情。我会发生什么？或者你可以说，就像历史上每一次技术革命一样。好吧，现在有了这个新工具。我能做更多的事情。我将能够做什么？的确，对于某个特定职位的期望会增加，但能力的提升将如此显著，我认为很容易就能适应这种情况。
[主持人]: 所以这也给我留下了深刻的印象。我让它想象查理·布朗把自己看作一个人工智能。得出了这个结果。所以这实际上相当深刻。你怎么看？一些新模型的写作质量，不只是这里，而是细节上，确实达到了一个新水平。
[奥特曼]: 是的，这是一个令人难以置信的元答案，但实际上无法知道它是在思考这个，还是只是看到训练集中很多次出现的东西。当然，如果你无法分辨出区别，你又有多在乎呢？
[主持人]: 所以这真的很有趣。这我们不知道。但它并不存在。不过乍一看，这看起来像是知识产权盗窃。但是你们和花生漫画的遗产没有达成协议，你们可以对此随意鼓掌。
[奥特曼]: 我想说的是，我认为人类的创造精神是非常重要的东西。我们想要构建能够提升这一点的工具，让新的人能够创造更好的艺术、更好的内容，写出我们都喜欢的更好的小说。我深信人类将在其中占据中心地位。我也相信我们可能确实需要弄清楚某种类型的针对创意产出的经济的新模型。我认为人们很长时间以来一直在建立在他人的创造力之上。人们长期以来都受到启发。但随着创造力的获取变得异常民主化，人们一直在相互借鉴彼此的想法，我认为有一些令人期待的新商业模式，我们和其他人都兴奋地探索这将会是什么样子。我不太确定，显然有一些明确的事情，比如你不能抄袭别人的作品。但是如果你说我想以这七个人的风格创作艺术，而这些人都是同意的，你可以从中获得多少灵感？你如何分配每个人获得多少资金？这些都是重大问题。但是在历史的每一个时刻，我们都将更好、更强大的技术交到创造者手中。我认为我们共同产生了更好的创造性输出，人们也做出了更惊人的成果。
[主持人]: 更大的问题是当他们没有同意时。在我们的开场会议上，卡罗尔·卡德瓦尔德展示了ChatGPT以卡罗尔·卡德瓦尔德的风格进行演讲。结果它的演讲确实没有她的演讲那么好。这相当令人印象深刻。她说，好吧，这很棒，但是我并没有同意这样做。我们该如何应对这个问题？难道没有其他办法吗？这应该只限于那些同意的人，还是应该有一种模型，某种方式表明任何在提示中被命名的个人，他们的作品被使用时，应该得到一些补偿？
[奥特曼]: 现在，如果你使用我们的图像功能并说，我想要某种生活艺术家的风格，它是不会的。但如果你说我想要这种特定氛围、这个工作室或这个艺术运动的风格，它就可以。
我想，如果你让它放一首像是抄袭的歌曲，它是不会这样做的。关于该如何划定界限的问题，人们会说，这太过火了。我们之前通过版权法和公平使用的定义解决了这个问题。我认为在人工智能的世界中，我们将找出一个新的模型。
[主持人]: 但从一个角度来看，世界上充满了创造性的人，他们是现在最愤怒、最害怕人工智能的人。感觉你的工作被偷走了与感觉你的未来被偷走了，以及感觉你的工作被放大并且可以被放大的之间的区别，这两种感觉是如此不同。如果我们能够转向另一个，即第二种，我认为这真的会改变整个人类对这一切的接受程度。但原则上，你可以从任何给定的提示中计算出，应该有某种方法来计算订阅收入中有多少百分比分配给每个答案。从原则上讲，如果能弄清其余的规则，应该是可以的。这显然很复杂。现在你可以计算某种收入分成。不过我们在这里讨论的是某人在提示中特别提到某人的情况。所以我认为世界应该帮助你迅速找到那个模型。我认为这实际上会带来巨大的变化。我想迅速换个话题。你的模型与开源之间的斗争，DeepSeek的出现是否让你感到动摇？
[奥特曼]: 好吧，我再次说，有些创意人士非常不满，有些创作者则认为，这是史上最惊人的工具。我正在进行令人难以置信的新创作。但是，这确实是一个变化，我对那些希望这种变化不发生的人充满同情。我喜欢之前的状态。如果你是一个音乐家，花了你一生，整个童年，随便听音乐，然后你有了一个主意，去创作一首受你之前所听过的音乐启发而又有新方向的歌曲，那么你很难说，像是，这部分来自于我11岁时听到的那首歌，这部分来自于我看到的……是的，所以我……好吧，目前如果你想以某个风格生成一个图我们仅仅会说，这是一个错误，我们不会这样做。但我认为找到一个新的模型会很酷，如果你说，我想以这位艺术家的名义进行创作，且他们选择参与，那么就会有一个收入模型。我认为这是一个值得探索的好事。
我认为开源有其重要的地位。实际上，我们就在昨晚举办了我们的第一次社区会议，以决定我们开源模型的参数以及我们想如何塑造它。我们将打造一个非常强大的开源模型。我认为这很重要。我们将要在前沿做一些事情，我认为这将比目前任何开放源代码模型都要好。这并不是全部，会有人以我们这个房间里的一些人，可能是你或我不喜欢的方式来使用这些。但开放源代码模型在这里将会占有重要的位置。而且，我认为我们在这方面的行动有些晚，但现在我们将会做到很好。
[主持人]: 你的支出似乎比 DeepSeek 据称花费的多了几个数量级，尽管我知道这方面有争议。你是否有信心实际更好的模型将被认可？或者你真的觉得，这在某种程度上是否危及到这样的观点：是的，通过大规模投资数百亿美元，我们能够保持惊人的领先？
[奥特曼]: 整天打电话给人，乞求他们给我们他们的GPU。我们的资源实在是太有限了。我们的增长就像这样。DeepSeek上线了，但似乎没有影响到它。还有其他事情在发生。实际上告诉我们一下增长情况。你在后台给我的数字让我震惊。我从未见过任何公司，無論是我参与的还是没有参与的，像ChadCPT这样增长。这真的很有趣。我感觉很棒，深感荣幸。但经历这一切真是疯狂。我们的团队疲惫不堪、压力大，我们在努力保持运转。
[主持人]: 你们现在有多少用户？
[奥特曼]: 我想我们上次说的是每周活跃用户5亿。而且它正在快速增长。
[主持人]: 你告诉我在几周内计算能力翻了一番。
[奥特曼]: 我私下里提到过这一点，但我想……我记错了。
[主持人]: 没关系。它正在快速增长。所以你很有信心，你看到它像火箭一样快速起飞。你们一直在发布令人难以置信的新模型。在你们目前最好的内部模型中，有哪些你们还没有与世界分享，但你们希望在这个舞台上听到的？
[奥特曼]: 首先，你问我们是否担心这个模型或那个模型？世界上会有很多智能模型。非常智能的模型在某种程度上将会实现商品化。我认为我们将会是最好的。而在某些情况下，你会希望这样。但老实说，现在的模型已经如此智能，对于大多数人想做的事情来说，它们已经足够好了。我希望随着时间的推移，这种情况会改变，因为人们会提高他们的期望。但如果你把 ChatGPT 当作标准用户在使用，模型的能力是非常聪明的。但我们必须构建一个伟大的产品，而不仅仅是一个伟大的模型。因此将会有很多人拥有优秀的模型。我们会努力构建最好的产品。人们希望他们的图像生成，之前视频中提到的一些 SORA 示例。他们希望将其与他们所有的内容整合在一起。我们刚刚推出了一个新功能，仍然叫做记忆，但它比之前的记忆好得多，这个模型将在你的一生中认识你。我们还有很多东西要来建设这样伟大的综合产品。我想人们会坚守这个。所以会有很多模型。但我希望，我们将继续专注于打造这个领域中最具定义性的产品。
[主持人]: 在我看到你们昨天的公告，ChatGPT现在将了解你的所有查询历史后。我输入了，告诉我关于我的事，ChatGPT从你所知道的。我震惊了，Salman。这令人震惊，它知道我是谁，还有这些希望都是相当合适和可分享的兴趣。但这真是令人惊叹。我感到一种真正的兴奋，有点恶心，但主要是兴奋，实际上是因为这将使它对我更有用。
[奥特曼]: 我们的一位研究人员发推文，像是昨天，今天早上说，上传是逐步进行的。这不是说你一天就把大脑连接上，而是你会在你一生中的某一天与ChatGPT对话。也许如果你愿意，它会整天听你说话，观察你在做什么，它会了解你，成为你自己的延伸，成为你的伴侣，成为试图帮助你做到最好、发挥你最大潜力的事物。
[主持人]: 在电影《她》中，人工智能基本上宣布，她读过他的所有电子邮件，并认为他是一个伟大的作家，还说服了一家出版社出版他的作品。这可能会比我们想象的更快到来吗？
[奥特曼]: 我不认为事情会完全按这样发生，但我想是朝着一个方向去发展，那就是人工智能不再只是去对话生成模型或者其他什么东西，问“我有一个问题，给我一个答案”。而是你会主动接收到一些能够帮助你、让你变得更好的东西，这似乎很快就会到来。
[主持人]: 那么你在内部看到什么即将推出的东西会让人惊艳？给我们至少一个关于下一个大惊喜的提示。
[奥特曼]: 我个人现在最兴奋的事情是科学领域的人工智能。我是一个大力支持者。改善世界和人们生活的最重要驱动力是新的科学发现。我们可以用更少的资源做更多的事情。我们将不断拓展可能性的边界。我们开始听到很多科学家针对我们最新模型的反馈，他们实际上比以前更高效。这对他们能发现什么是很重要的。
[主持人]: 近期可能的发现是什么，比如室温超导体？那将是一个极好的发现。这是可能的吗？
[奥特曼]: 是的，我不认为这是由于物理学的限制而被阻止的，所以这应该是可能的。不过，我们还不确定。我认为你会开始看到一些。借助人工智能工具在对抗疾病方面的显著进展。物理学可能需要更长的时间，但我对此抱有希望。所以这是一条方向。另一个我认为很重要的方向将在不久的将来开始，比如在接下来的几个月。软件开发已经发生了相当大的变革。现在创建软件的过程与两年前相比，真是令人惊叹。但我期待在接下来的几个月里会有另一场如此重大的变动，因为主动软件工程真的开始发生了。
[主持人]: 我听工程师说，他们在一些新模型上几乎有过宗教般的时刻，突然间他们可以在一个下午完成原本需要两年的工作。是的，就像我的那样。这确实是我感受到AGI的重大时刻之一。但是谈谈你看到的最可怕的事情是什么？
因为在许多人看来，你有机会接触这些东西，我们听到很多关于人工智能的传言，仿佛他们已经见到了意识，或者他们已经见到了AGI，或者他们已看到某种末日即将来临。 你有没有看到，是否有过可怕的时刻，当你在内部看到某些东西并想，这个我们需要注意一下？
[奥特曼]: 曾经有过令人惊叹的时刻。 我认为这总是伴随着一个问题，那就是，这会走多远？ 这将会是什么？ 但并没有我们并没有秘密拥有一个自我意识的模型或者能够自我改进的东西之类的。 人们对于大人工智能风险的看法非常不同。 而我自己在思考我们将在哪些方面看到这些问题上也有所演变。 但我仍然相信会出现非常强大的模型，人们可以以大规模的方式滥用。 人们经常谈论新型生物恐怖的潜力。 能够带来真正网络安全挑战的模型。 能够自我改进并导致某种失控的模型。 所以我认为这里存在很大的风险。 然后还有很多其他的事情，老实说，这就是我认为很多人所指的，很多人谈论虚假信息或者模型说出他们不喜欢的东西之类的。
[主持人]: 坚持第一个问题，在发布之前你们会内部检查这些吗？
[奥特曼]: 当然，会的。
[主持人]: 所以我们有一个准备框架，概述了我们如何做到这一点。 你们的安全团队有一些人员离开了。 有多少人离开了？ 为什么他们离开？
[奥特曼]: 我不知道确切的数字，但是关于AI安全系统显然有不同的看法。 我真的想指出我们的过往记录。 有些人会说各种各样的事情。 现在大约有10%的世界在使用我们的系统。 而且我们对安全记录感到非常自豪。
[主持人]: 但是在某种程度上，记录并不是问题，因为我们谈论的是一种指数级增长的力量，我们担心有一天醒来，世界就会结束。 所以这实际上不是关于记录，而是关于能够合理地说出，如果我们看到危险，能够迅速关闭系统的措施已经到位。
[奥特曼]: 不，当然这很重要。 你不会有一天醒来说，嘿，我们没有任何安全流程，现在我们认为这个模型真的很智能，所以现在我们必须关注安全。 你必须在这个指数曲线的整个过程中都关注它。
当然，风险增加，面临大的挑战，但我们学习如何构建安全系统的方式是一个迭代过程，将其部署到世界上，获取反馈，而此时风险相对较低，了解，这是我们必须解决的事情。我认为随着我们进入这些代理系统，有一大类新的东西我们必须学习去应对。
[主持人]: 那么我们来谈谈代理系统以及它与AGI之间的关系。我觉得外面有很多混淆，我自己也很困惑。所以人工通用智能，感觉像是ChatGPT已经是一种通用智能，我可以问它任何问题，它都会给出智能的回答。为什么这不是AGI？
[奥特曼]: 首先，你不能问它任何问题，这么说很客气，但它在很多方面仍然令人尴尬地糟糕。但即使我们修复了那些问题，希望我们能够修复，它也不能不断学习和改进。它不能在当前弱项上变得更优秀。它无法发现新的科学知识并更新其理解。即使我们降低标准，它也无法仅仅完成你在计算机前能够做的任何知识工作。实际上，即使没有提升不熟悉领域能力的能力，我也可能接受这个作为AGI的定义。但当前的系统，你不能说，去为我的工作做这个任务，然后它就能上网浏览、打电话并查看你的文件来完成任务。
[主持人]: 没有这个，它确实显得有所欠缺。你们内部对AGI有明确的定义吗？你认为我们什么时候可能会到达那里？
[奥特曼]: 这就像一个笑话，如果你把10个开放领域研究者放在一个房间里，并问他们如何定义AGI，你会得到14个定义。
[主持人]: 这很令人担忧，不是吗？因为这最初就是我们的使命。我们要成为第一个实现AGI的团队，并且做到安全。但我们对它的定义并不明确。我本来想完成这个答案。
[奥特曼]: 我认为重要的是，人们想知道的，并不是这个神奇的完成时刻在哪里，而是鉴于即将发生的事情，看起来模型只是会变得越来越聪明、越来越有能力，越来越聪明、越来越有能力，在这个长期的指数增长中，不同的人在不同的时点会称之为AGI，但我们都同意它会超越这一点，到你想称呼的那些系统，它们的能力会远超我们。关键在于我们如何讨论一个在所有这些步骤及其后的过程中都是安全的系统，因为这个系统变得比我们更强大，能够做一些我们完全不理解的事情。
我认为，比起AGI何时到来以及它的定义，更重要的是意识到我们正在经历这个难以置信的指数曲线。你可以说这就是我认为的AGI，你可以说你认为这就是你所认为的AGI，还有其他人可以说超智能在这里，但我们将不得不面对并从这个令人难以置信的系统中获得巨大的好处。所以我认为我们应该将对话从AGI时刻转移到认识到这个事情不会停止，它将远远超出我们任何人所称之为AGI的范围，我们必须建立一个社会，以获得这一切的巨大好处，并找出如何使其安全。
[主持人]: 好吧，这周的一个讨论是，真正的变革时刻是... AGI是个模糊的概念，但显而易见的是，代理智能，当人工智能被释放去自主追求项目并将各个部分整合起来时。你实际上有一个叫做Operator的东西，它开始做到这一点。我试过，我想预定一家餐厅，这真是不可思议，它真的可以提前做到这一点，但它是这样说的。这是一个引人入胜的过程，给我你的信用卡和其他一切。在这种情况下，我拒绝了继续进行，但我认为这是人们将要面临的挑战。这有点像是一种令人难以置信的超能力。这有点吓人。而约书亚·本吉奥在这里发言时表示，代理智能是值得关注的事情。这是所有事情可能出错的时候，因为我们给予AI权力，让其出去互联网进行各种操作。进入互联网一直是科幻故事中那个时刻，在那里，逃避发生了，潜在的事情可能会变得非常糟糕。你们如何既释放具代理性的AI，又设定护栏以防其走得太远？
[奥特曼]: 首先，显然你可以选择不这样做，说，我不想这样，我会打电话给餐厅，并通过电话告诉他们我的信用卡信息。
[主持人]: 我可以选择，但其他人可能会说，让Chat GPT去互联网上聊天，重写互联网，使其对人类更好，或者其他什么。
[奥特曼]: 我要表达的观点是，对于任何新技术来说，人们都需要一段时间来适应。我记得我曾经不敢在网上输入我的信用卡信息，因为我的父母让我相信会有人看到这个号码，而且你需要填写表格然后给他们打电话。然后我们都说，好吧，我们将建立反欺诈系统，这样我们就可以对此感到放心。我觉得人们在很多方面会对会主动操作的人工智能感到缓慢适应。
但我也非常认同你所说的，即使有些人对此感到适应，有些人却不适应，我们仍然会有人工智能系统在互联网中运行。
而这，我认为是我们迄今面临的最有趣且最重要的安全挑战，因为你给予 AI 访问你的系统、信息、在你的计算机上点击的能力，而当 AI 犯错时，风险高得多。
这是...我们之前谈到的安全性和能力的门槛。 我有点觉得它们越来越变得单维，就像一个好的产品就是一个安全的产品。 如果你不相信它们不会像清空你的银行账户或删除你的数据或谁知道还会做什么那样，你就不会使用我们的代理。 所以人们想使用他们真正可以信任的代理，真正安全的代理。 我认为我们在实现这一点的能力上受到限制，但这却是产品的一个基本部分。
[主持人]: 在一个自由意志存在的世界里，人们可能会说，开放模型被广泛分发，有人说，好吧，AGI，我希望你能上网传播一个模因，不管你用什么方式说X人是邪恶的，或者无论是什么。
这不一定是个人的选择。 一个个人可以让那个代理存在，而代理可以决定，为了执行那个功能，我必须把自己复制你们内部有没有明确划定的红线，让你们知道哪些是危险时刻，以及我们不能发布可能超越这个的东西？
[奥特曼]: 是的，这就是我们准备框架的目的。我们会随着时间的推移进行更新。 但我们已尽力概述出我们认为最重要的危险时刻，或者类别是什么，我们如何衡量这一点，以及在发布之前我们会如何减轻某种风险。 我可以从谈话中看出你希望人工智能……你并不是一个大人工智能爱好者。
[主持人]: 其实恰恰相反，我每天都在使用它。
我认为这是一个活着的不可思议的时代。 我不会在任何其他时间活着。 我迫不及待想看看它将走向何方。 但我们一直在坚持……
我认为坚持是至关重要的……我们不能把人们分成那些阵营。 你必须对可能性有热情的信仰，但不能被它过度诱惑，因为事情可能会变得非常糟糕。
[奥特曼]: 我想说的是，我完全理解这一点。 我完全理解看到这一点并说，这是即将到来的令人难以置信的变化。
而且，也许我不想要这个。或者也许我喜欢其中的一部分。也许我喜欢和查德·奇比提聊天，但我担心艺术会发生什么。我担心变化的速度。我担心这些代理在这里点击，在互联网上四处点击。也许综合来看，我希望这一切没有发生。或者我希望这一切发生得慢一些。或者我希望这一切发生的方式是我可以选择哪些进步会发生。我认为这种恐惧是完全合理的。这种焦虑是完全合理的。我们每个人也都有很多。但是，A，肯定会有巨大的好处。显然，你每天都在使用它，你喜欢它。B，我真的相信，社会经过一段时间的摸索，尽管过程中会犯一些大错误，最终会搞定技术。而C，这将会发生。这就像是一次基础物理学的发现，世界现在都知道了。这将成为我们世界的一部分。我认为这次对话真的很重要。我认为讨论这些危险领域真的很重要。讨论新的经济模型也真的很重要。但是我们必须谨慎对待，而不是恐惧。否则我们将被那些说“我可以做得更好”的人超越。
[主持人]: 你实际上是安全问题最富有口才的拥护者之一。你在参议院作证过。我想你基本上说过，我们应该成立一个新的安全机构，授权任何努力。也就是说。它将拒绝授权某些努力。你仍然相信这个政策提案吗？
[奥特曼]: 我对政府的运作了解得更多了。我认为这并不是一个正确的政策提案。什么是正确的政策提案？但我确实认为，随着这些系统变得更加先进并对全球产生实际影响，我们需要某种方式，也许公司本身可以制定适当的框架或模型。但我们需要某种方式来确保非常先进的模型进行外部安全测试。我们了解何时接近这些危险区域。我仍然非常相信这一点。
[主持人]: 让我觉得讽刺的是，一个安全机构可能正是我们所需要的，而机构本身就是不安全的东西。这里的语言有些奇怪。不管怎样。点击幻灯片，它没有反应。所以我问……我可以再说一件事吗？
[奥特曼]: 我确实认为我们需要为模型定义严格的测试，了解我们共同、社会最希望关注的威胁，并确保在模型变得更强大时，我们有一个系统，让大家都能理解是什么被释放到世界上。我认为这真的很重要。我认为我们离那些将在公众中具有重大意义的模型已经不远了。
[主持人]: 萨姆，我问了你的o1 Pro推理模型，这个模型真是不可思议……谢谢你给的200美元。每月200美元。这个价格非常划算。我说，最具洞察力的问题是什么？它思考了两分钟。两分钟。你想看看这个问题吗？我想。山姆，鉴于你正在帮助创造可能重塑我们整个物种命运的技术，谁赋予你或任何人这样的道德权威？如果你错了，你个人如何承担责任？
[奥特曼]: 很好。那很令人印象深刻。你在过去半个小时里一直在问我这个版本的问题。你觉得怎么样？
[主持人]: 但我想说的是这个。这是我对那个问题的版本。但没有答案？ 你会如何回答这个问题？如果你是我的话？我对你感到困惑。我有点对你感到敬畏，因为你创造了其中一些最惊人的事物。有关于你的两种叙述。一方面，你是这个不可思议的远见者，做到了不可能的事情。你以远少于谷歌的人震惊了世界。你推出了比你做过的任何东西都要强大的东西。你所建立的真是惊人。但另一个叙述是，你已经改变了立场。你已经从OpenAI转向了构建某种超级强大事物的诱惑。而且，你失去了一些关键人物。这种叙述在外面流传着。有些人认为你在这个领域不值得信任。我很想知道你是谁。你对自己有什么叙述？你的核心价值观是什么，Sam，能让我们这个世界相信，拥有如此多权力的人有资格拥有它？
[奥特曼]: 我认为，和其他人一样，我是一个复杂的角色，不能简单化为单一维度。可能一些好的事情是真的，可能一些批评也是正确的。在开放AI方面，我们的目标是创造AGI并传播它，使其对人类的广泛利益安全。我认为，从各方面来看，我们在这方面做了很多。很明显，我们的战术随着时间的推移而改变。我认为我们并不知道我们长大后会成为什么样子。我们并不认为我们需要围绕这个建立一家公司。我们学到了很多关于这个过程的知识，以及这些系统需要多少资本的现实。但我认为我们在将极其强大的AI以高安全性交到很多人手中方面做得很好，并给他们工具去做他们将要做的那些惊人的事情。我觉得很难给我们这个打个坏分。我认为我们应该更加开放源代码，这是公平的。我认为出于你们之前问的所有理由，在我们不确定这些系统会产生什么影响以及如何保证它们的安全性时，谨慎行事是合理的。我认为你们之前提出的很多问题至少表明了对我们以这种方式运作的某种同情。但现在我认为我们作为一个世界有了更好的理解，是时候将非常强大的开放系统投入到现实世界中了。如果你明年再邀请我回来，你可能会因为有人滥用这些开放源代码系统而对我大喊大叫，问：“你为什么要这样做？”那是很糟糕的。你不应该回归你的开放本源。不过，我们在所做的一切中都会有权衡。我们在这个过程中是一个参与者，是这场人工智能革命中的一个声音，努力做到最好，以负责任的方式将这项技术引入世界。我们肯定犯过错误，将来还会犯更多。总的来说，我认为在过去将近十年里，已经有很长一段时间了，我们大体上做到了我们预设的目标，前面还有很长的路要走。我们的战术未来会有更多变化，但对于我们的使命以及我们想要做到的事情的坚持，我认为是非常坚定的。
[主持人]: 你发布了这个……好吧，这里是《指环王》的至高戒指。我会说你的对手，现在不是你最好的朋友，埃隆·马斯克，声称他认为你已经被至高戒指腐化了。顺便说一句，这是一个指控。
这一指控同样适用于埃隆，公平起见，您知道的。但是我很好奇，人们，你们有……我可能会回应，我在思考，我可能会说些什么。随着技术首席执行官越来越强大、变得更加富有，这在每个人的心中都是一个问题，他们能否应对？还是这变得不可抗拒？权力和财富是否让有时做正确的事情变得不可能，而你只需要紧紧抓住那只戒指？你怎么看？我是说，你有时感受到那只戒指吗？
[奥特曼]: 你认为我与那些获得了很多权力并改变了他们的行为或在世界上做了很多事情的其他首席执行官相比表现如何？这样你认为呢？
[主持人]: 你有一个美丽的……你不是一个粗鲁、愤怒的人，会出来对其他人说出激进的话。有时候我确实会这样。这是我唯一的缺点。不，我觉得你个人的行为方式很让人钦佩。有些人问的问题是，这才是真正的你吗？或者，你知道吗，还有其他事情在发生吗？不过我会接受反馈。你见过首席执行官……
[奥特曼]: 你把那个Sora权力之环或者其他什么东西放了上来。所以我我会接受反馈。有没有什么事情是我做过的，你觉得我被权力腐蚀了？
[主持人]: 我觉得人们的担忧是，OpenAI过渡到盈利模式，某些人说，好吧，这就来了。你被对财富的渴望腐蚀了。有一段时间，那里不会有任何股权。这会让你变得非常富有。顺便说一下，我认为这并不是你个人的动机。我觉得你想要创造的东西非常酷。而我担心的是，你所感受到的竞争心理，你看到其他人这样做，会让你无法以正确的步伐发展。但你告诉我，我只想知道如果你没有这种感觉，那是什么样的？世界上很少有人拥有像你这样的能力和潜力。我们不知道那种感觉是什么。那种感觉是什么？
[奥特曼]: 令人惊讶的是，和之前一模一样。我觉得你可以一步一步适应任何事情。我认为如果我是从10年前一下子转移到现在，那会让我感到非常迷失方向。但任何事情确实会变成新的常态。所以感觉并没有什么不同。
聚在这里谈论这个很奇怪，但日常生活的单调，这在我看来是最佳的表达方式。感觉完全一样。你还是那个你。我相信我在各个方面都不是，但我没有感觉到任何不同。
[主持人]: 你发布的那个真是美好的东西。你儿子，我是说，你最后说的那句话，我从来没有感受过这样的爱。我想在场的任何家长都能理解那种感觉，那种人类特有的狂野生物感觉，而人工智能永远无法体会到，你抱着你的孩子。我在想这是否改变了你对事物的看法。比如说，如果这里有一个红色盒子，这里有一个黑色盒子，上面有一个红色按钮。你可以按下那个按钮，让你的儿子拥有最不可思议的生活，但同时也注入了10%的可能性，他会被毁灭。你会按下那个按钮吗？
[奥特曼]: 从字面上来说，不会。如果问题是，我是否觉得我在用我的工作做这样的事情？答案是我也没有那种感觉。有了孩子改变了很多事情，而且是迄今为止发生在我身上最奇妙的事情。就是大家说的每一句话都是真的。我的联合创始人伊利亚曾经说过一句话，我不知道，这是一种意译，类似于，我不知道生命的意义是什么，但肯定与婴儿有关。而且这句话简直准确得令人难以置信。这改变了我愿意花多少时间在某些事情上的态度，和不和我孩子在一起的成本简直高得不可思议。但是，我以前确实很在乎不要毁灭这个世界，现在我更加在乎。我并不需要孩子来关注这一点。我确实更想考虑一下他未来的生活会是什么样子，但我感觉我有责任为每个人的未来尽我所能。
[主持人]: 特里斯坦·哈里斯本周在这里进行了非常有力的演讲，他表示，在他看来，关键问题在于你和你在其他模型中的同事们都基本上认为，先进人工智能的发展是不可避免的，竞赛已经开始，除了努力赢得这场比赛并尽可能负责任地进行之外别无选择。也许存在这样的情景，你的超级智能人工智能可以对其他人的行为产生制约作用，或者类似的东西。但正因为每个人都相信这是不可避免的，这就意味着这条道路将带来严重的风险和不稳定性。你认为你和你的同事们确实觉得这是不可避免的吗？
你能看到任何出路吗，能够让我们集体达成一致，稍微放慢步伐，让整个社会参与进来，说“不，我们不希望这一切发展得如此之快”？这太具有破坏性了。
[奥特曼]: 首先，我认为人们总是因为技术尚未准备好，因为某些东西不够安全，因为某些东西无法正常工作而放慢进度。我认为所有的努力都在延缓进展，暂停某些事物，推迟某些事情，不发布某些能力。所以我认为这种情况确实存在。
再次强调，我认为以往的记录确实很重要。如果我们急于推出产品，而出现各种问题，要么产品无法满足人们的期望，要么存在真正的安全问题或其他问题。我会回到我们所做的一个改变。
我认为你可以做到这一点。大多数努力之间有沟通。除了一种例外，我认为所有的努力都非常关心人工智能的安全。我认为人们真的很关心把这件事做好。我觉得这种对它的讽刺就像是一场疯狂的竞赛或冲刺，错过了人们试图快速推出模型并为大家制作伟大产品的细微差别。但人们对此的影响感受如此深刻，如果你能够坐在OpenAI或其他公司的会议里，你会觉得，这些人真的很关心这个。
现在，我们最近对我们理解的传统安全部分的看法进行了改变，这与我们新的图像模型有关。我们给了用户在我们传统上认为的言论伤害方面更大的自由。如果你试图被模型冒犯，模型会让你感到被冒犯吗？而在过去，我们对此有着更加严格的限制。但我认为模型对齐的一部分是遵循模型用户希望它在社会所决定的非常广泛的范围内做的事情。如果你要求模型描绘一堆暴力或类似的内容，或者强化某种刻板印象，就会出现一个问题，也就是它是否应该这样做。
我们采取了更宽松的态度。现在，这开始与我们必须弄清楚如何划定界限的现实世界伤害互动。但是，我认为会有一些案例，公司会说，好吧，我们听到了社会的反馈。人们确实不希望模型以他们认为没有意义的方式来审查他们。这是一个合理的安全谈判。
[主持人]: 但在某种程度上，这是一种集体信念的问题，解决这类问题的方法是让人们聚在一起，在某个点上达成不同的协议。
如果有一群人，比如这里或世界其他地方，愿意举行一个最佳伦理学家和技术专家的峰会，但人数不多，规模较小，而你和你的同行们则尝试破解全球统一的安全界限，你愿意参加吗？ 你会鼓励你的同事来吗？
[奥特曼]: 我更感兴趣的是我们的数亿用户作为一个整体想要什么。我认为很多事情历史上都是在小型精英峰会上决定的。人工智能的一个很酷的新特点是我们的AI可以与地球上所有人对话，我们可以学习每个人的集体价值偏好，而不是让一些受社会祝福的人坐在一个房间里做出这些决定。
我觉得这非常酷。我认为你会看到我们在那个方向上做更多的事情。当我们犯错时，因为房间里的精英对人们希望的图像生成的控制措施有不同的看法，而不是人们实际上想要的东西，我们无法指出现实世界的伤害，所以我们做出了那个改变。
我对此感到自豪。
[主持人]: 有数亿人的行为带来了意想不到的后果的漫长历史记录。房间里也有一百个人。而数亿人无法控制这些。他们不一定能看到下一步可能导致的结果。
[奥特曼]: 我希望这完全准确，也完全正确。我希望人工智能能帮助我们更聪明，做出更好的决策，能和我们对话。如果我们说，嘿，我想要X这个东西，而不是让众人去推动它，人工智能可以说，嘿，我完全理解这是你想要的。如果这是你在这次对话结束时想要的，你可以掌控，选择吧。但是你有没有考虑过从这个人的角度来看，或者这将对那些人产生什么影响？我认为人工智能可以帮助我们变得更明智，做出比我们以前更好的集体治理决策。
[主持人]: 好吧，我们已经超出时间了。山姆，我给你最后发言的机会。在综合考虑所有因素后，你相信你的儿子将成长为一个怎样的世界？
[奥特曼]: 我记得，那已经是很久以前的事了，我不知道第一个iPad是什么时候发布的，大约是15年前，差不多。
我记得当时在看一个YouTube视频，视频里有一个小Toddler坐在医生办公室的候诊室里。
那里有一本杂志，就像那些旧的光面封面杂志。那个小幼儿把手放在上面，像这样做，还显得有些生气。对那个幼儿来说，这就像一台坏掉的iPad。她从没想过一个没有触摸屏的世界。对所有观看这个的成年人来说，这是一件令人惊叹的事情，因为它是如此新奇、如此惊人，这简直是个奇迹。当然，杂志是这个世界运作的方式。我希望我的孩子们永远不会比人工智能更聪明。他们将永远不会生活在一个产品和服务不非常智能、不非常强大的世界里。他们将永远不会生活在一个电脑不能理解你并做出你能想象的各种事情的世界里。这将是一个物质极其丰富的世界。这将是一个变化速度极快、令人惊奇的新事物层出不穷的世界。这将是一个个体能力、影响力等等远远超出今天一个人所能做的世界。我希望我的孩子和你们所有的孩子能够以某种怜悯和怀旧的眼光回望我们，想着，他们过了这么糟糕的生活。他们的限制如此之多。这个世界糟透了。我觉得这很棒。
[主持人]: 你所建立的实在是令人难以置信。确实是。这真是难以置信。我认为在未来几年里，你将面临一些人类历史上最大的机会、最大的道德挑战，以及也许是最大的决策。你应该知道，这里的每个人都会为你做正确的事情加油。我们会尽力而为。谢谢你。感谢你来到TED。
[奥特曼]: 谢谢。