Anthropic核心创始人讨论他们的过去、现在和未来

歸藏

2024-12-21 00:35发布于北京科技领域创作者

全文3614字，阅读约需11分钟，帮我划重点

划重点

01Anthropic核心创始人分享了他们如何认识并产生共识最终创建公司的历程，其中涉及安全领域的讨论。

02团队成员分别来自物理学、新闻、工程和金融等领域，共同追求AI安全领域的发展。

03由于GPT-3的成功，团队意识到必须采取行动，避免错过改变行业的机会。

04公司文化特点包括核心价值观的统一性、信任文化的构建、实用主义方法以及独特的组织结构特点。

05未来展望中，团队成员期待AI在医疗健康、政府能力建设等方面取得重大突破。

以上内容由腾讯混元大模型生成，仅供参考

图片

Anthropic 几个核心创始人罕见的一起录了一个播客，详细介绍了他们如何认识然后产生共识最后迫不得已创建公司的事情，里面聊到了公司的文化以及一些有趣的细节，这几个人基本都经历了AI从开始到爆发再到现在的过程。　

我整理了一下关键的部分，其中关于安全的我省略了可以去看原视频。　


创始历程与动机

个人背景与转折点:

  • Jared 原本是物理学教授，被Dario展示的AI模型结果所吸引

  • Chris最早19岁就认识了团队成员，后来在Google Brain与Dario共事

  • Tom原本是记者，2014年就开始关注AI发展，尽管当时很多人认为这个决定"疯狂"

  • Daniela在Stripe工作了5.5年，经Greg介绍认识了团队

　

关键时间节点:

  • 2014-2015: Tom开始追踪ImageNet结果，注意到GPU在AI研究中的重要性

  • 2015: Dario发表"Concrete Problems in AI Safety"论文，开创性地将AI安全与实际机器学习结合

  • 2016: 多位成员加入OpenAI

  • 2020: GPT-3成功后，团队意识到必须采取行动

  • 2020-2021: 团队决定离开OpenAI创立Anthropic

　

决策过程:

  • Chris描述自己花了6个月时间纠结是否要投身AI安全领域

  • Tom采用了一个有趣的策略：向雇主提出不可能被接受的条件，帮助自己下定决心

  • 有些成员(如Chris)最初不想成立新公司，更倾向于建立非营利组织

  • 最终选择创业是出于实用主义考虑，认识到需要资本支持

　

核心动机:

  • "None of us wanted to found a company. We felt like it was our duty."（没人想创业，但我们觉得这是责任）

  • 看到GPT-3的成功后，意识到如果不采取行动，可能会错过改变行业的机会

  • 希望避免科技行业常见的错误，建立一个不同的机构文化

  • 团队成员共同特点是"betting with conviction"（带着信念下注）

　

独特视角:

  • 物理学家背景带来的影响：更愿意追求雄心勃勃的目标，不受AI寒冬的心理阴影影响

  • 新闻记者背景带来的洞察：能够较早发现技术趋势

  • 工程师视角的重要性：认识到不仅研究者，工程师也能为AI安全做出贡献

　

集体认知的转变:

  • 从最初被认为是"疯狂的"决定，到后来被证明是前瞻性的选择

  • 从单纯的技术追求，到深刻理解安全与发展的平衡

  • 从个人职业选择，到承担集体责任

　

这段创业历程的独特之处在于，它不是传统意义上追求商业成功的创业故事，而是一群专业人士为了更崇高的目标而不得不选择创业这条路。他们的动机更多源于使命感和责任感，而非传统的创业动机。这种独特的起点，也深刻影响了Anthropic后来的发展方向和企业文化。　

　

这个故事也反映了AI行业在2014-2020年间的巨大变迁：从边缘话题变成核心关注，从被质疑到被重视，从纯技术追求到更注重责任与安全。团队成员的个人经历，某种程度上就是整个行业发展的缩影。　

　

公司文化特点

这是一个非常独特且深思熟虑的企业文化体系：　

核心价值观的统一性

  • 团队成员有着高度一致的使命感和价值观

  • 所有人都清晰理解并认同公司的使命

  • 团队成员都做出了80%收入捐赠的承诺（the 80% pledge）

  • 各个部门都在为同一个目标努力，避免了部门间的利益冲突

　

信任文化的构建

  • 团队成员之间存在深厚的信任关系，这种信任来自于长期合作

  • 信任不仅存在于创始团队，还成功扩展到了更广泛的员工群体

  • Daniela被认为在保持高标准方面发挥了重要作用

  • 信任使得团队能够坦诚地讨论和处理复杂问题

　

低政治性特征

  • 公司刻意维持低政治性的环境

  • 员工对政治行为有着"过敏反应"

  • 强调低自我（low ego）的重要性

  • 注重实质性贡献而非职场政治

　

部门协作的特点

  • 产品团队、研究团队、信任和安全团队等都紧密协作

  • 没有部门间的对立或互相指责

  • 各个部门都理解自己在整体目标中的角色

  • 工程师也会关注安全问题，安全研究人员也会考虑实用性

　

实用主义方法

  • "极端实用主义"（extreme pragmatism）是重要特征

  • 在保持理想主义的同时注重实际可行性

  • 认识到需要在安全与竞争力之间找到平衡

  • 愿意面对现实约束，做出务实决策

　

独特的组织结构特点

  • 将权衡和决策分散到组织各个层级

  • 避免决策仅在高层进行

  • 让每个员工都能参与到重要决策的讨论中

  • 强调透明度和信息共享

　

客户导向的安全理念

  • 将安全作为产品竞争力的重要组成部分

  • 理解客户对安全可靠的AI系统的需求

  • 通过市场成功证明安全与商业价值可以共存

  • 创造良性的"向上竞争"环境

　

文化维护机制

  • 严格的面试流程，确保新员工与文化匹配

  • RSP（负责任扩展政策）作为制度保障

  • 持续的文化建设和价值观传递

  • 领导层以身作则

　

反映在日常工作中

  • 工程师主动提出安全考虑

  • 产品团队重视安全评估

  • 业务团队理解并支持安全措施

  • 跨部门合作自然形成

　

文化的可持续性

  • 文化已经超越了创始团队，扩展到更大范围

  • 建立了制度化的机制来维护文化

  • 通过实践证明这种文化是可持续的

  • 形成了良性循环

　

这种企业文化的特殊之处在于：　

  • 它不是自上而下强制推行的，而是自然形成的

  • 它既有理想主义色彩，又保持着务实态度

  • 它成功地在规模扩张中保持了核心特征

  • 它将看似对立的目标（如安全与发展）统一起来

　

几个联创展望未来

团队成员分别从不同角度表达了他们的愿景：　

　

Chris的视角：神经网络的可解释性研究

  • 认为神经网络内部蕴含着巨大的美感和复杂结构

  • 将神经网络比作生物系统，认为里面有"人工生物学"的奥秘

  • 预见未来会有专门的神经网络可解释性教科书

  • 相信在未来十年内会有重大发现

  • 对于能亲自撰写这样的教科书表示期待

　

Tom的视角：政府能力建设

  • 对政府建立AI评估和测试机构表示乐观

  • 认为这些机构展现出意外的专业性和能力

  • 将这些新机构比作"新的大使馆"，专门处理新技术类别

  • 相信这显示了社会有能力应对AI带来的转型

  • 期待能协助提升政府在这方面的能力

　

Daniela的视角：AI的社会效益

  • 特别关注AI在医疗健康领域的应用潜力

  • 提到Claude在疫苗开发和癌症研究方面的应用前景

  • 回顾自己在国际发展领域的经历，期待AI能更有效地解决这些问题

  • 展望3-5年后AI解决人类基本问题的可能性

  • 对AI能改善人类生活质量表示兴奋

　

Jared的视角：AI系统的安全机制

  • 强调需要深入研究高级AI系统可能存在的风险

  • 期待通过实证研究来理解和预防潜在问题

  • 看好未来6个月在这方面的突破

  • 强调科学和实证方法的重要性

  • 相信能找到避免潜在陷阱的方法

　

Dario的未来展望：

a) 可解释性研究　

  • 认为可解释性是安全AI系统的关键

  • 相信这一领域将带来对智能优化问题的洞察

  • 预测可能会对理解人类大脑产生重要影响

  • 甚至预言这方面的研究可能获得诺贝尔医学奖

　

b) AI在生物学领域的应用　

  • 提到AlphaFold获得诺贝尔化学奖

  • 期待能开发出更多类似AlphaFold的突破性成果

  • 认为尽管存在怀疑声音，但这个领域将取得重大进展

　

c) AI与民主　

  • 关注AI如何加强而非削弱民主

  • 思考如何将AI打造成自由和自治的工具

  • 认为这是一个相对早期但重要的方向

　

展望的时间尺度：

  • 近期（6个月-1年）：关注具体的安全机制研究

  • 中期（3-5年）：期待在医疗等领域的实际应用

  • 远期（10年以上）：期待在基础科学认知上的突破

　

一些有趣的AI历史细节

访谈中提到的一些有趣的历史细节，这些细节生动地展现了AI领域的快速发展：　

　

2014-2016年的早期阶段

  • Tom在2014年就开始绘制ImageNet结果的发展趋势图，但很难说服人们关注

  • 2015年他试图说服Bloomberg报道Nvidia的潜力（因为注意到每篇AI论文都在提GPU），但被认为是疯狂的想法

  • 2016年他离开新闻业转入AI领域时，收到邮件警告说这是"人生最大的错误"

  • 这个时期关注AI发展的人往往被视为异类或疯狂

　

OpenAI时期的重要时刻

  • 团队在GPT-2项目期间有重要发现

  • 一个标志性时刻是在英国机场测试GPT-2生成虚假新闻的能力

  • 这个发现让团队意识到AI技术的政策影响

  • 团队开始关注发布策略和安全问题

　

AI研究者的心理变化

  • AI寒冬给研究者留下了心理阴影，使他们不敢有太大野心

  • 物理学家背景的团队成员带来了不同视角，更愿意追求雄心勃勃的目标

  • 2022年之前，AI领域普遍存在一种保守心态

  • 研究人员比普通公众对AI发展前景更悲观

　

政府态度的转变

  • 2020-2023年间，团队与白宫高层会面

  • Harris和Raimondo等政府高官明确表示他们在密切关注AI发展

  • 这种态度与2018年形成鲜明对比，当时很难想象总统会关注语言模型的发展

  • 显示了政府认识的快速转变

　

Claude的能力进展

  • 最近6个月内，Claude的代码能力有显著提升

  • 在YC的一次演讲中，95%的听众表示使用Claude编程

  • 这与4个月前的情况形成鲜明对比

  • 显示了AI能力的快速进步

　

"Concrete Problems in AI Safety"论文的背景

  • 这被认为是第一篇主流的AI安全论文

  • 起源于Dario在Google时期的"拖延"其他项目的结果

  • 论文试图将抽象的AI安全问题与当时的机器学习实践结合

  • 论文具有重要的政治意义，通过获得多个机构的认可来提升AI安全研究的合法性

　

Constitutional AI的发展

  • 最初被认为是一个疯狂的想法：为语言模型写宪法来改变其行为

  • 团队发现简单的方法往往特别有效

  • 利用AI系统擅长解决多选题的特点

  • 这个想法后来被证明是可行的

　

团队决策的关键时刻

  • 有些成员（如Chris）经历了长期的犹豫期

  • Tom用一个巧妙的方式做出决定：提出不可能被接受的要求

  • 团队从非营利转向公司的决策过程

  • 这些决策反映了团队的实用主义方法

查看原图 68K