谷歌大神Jeff Dean关于AI重要趋势的演讲

【城主说】即日起，天空之城和大家日常分享最新AI科技长访的内容精读合集。

感谢科技的进步，每一个长篇访谈都可以有万字全文，但或许更稀缺的是时间。希望本城日常精读可以帮助大家在最有限时间里掌握最新的科技商业认知。同时附上完整视频和全文的链接，感兴趣的同学可以继续针对特定内容深入了解。

天空科技商业精读04.27 | 内容目录

• 谷歌大神Jeff Dean关于AI重要趋势的演讲 - 苏黎世联邦理工学院 20250420

• 访谈Bolt.new 首席执行官 Eric Simons 20250423

• 如何最大限度地利用Vibe Coding - YC创业学校 20250425

• BG2播客：关税、自由贸易、出口管制、H20 与稀土禁令 - 比尔·格利 & 布拉德·格斯特纳 20250424

• Allin播客：马斯克重返特斯拉，谷歌 Gemini模型，中国的钍突破 20250426

❖ ❖ ❖

谷歌大神Jeff Dean关于AI重要趋势的演讲 - 苏黎世联邦理工学院 20250420

视频和全文链接: 

https://www.bilibili.com/video/BV1eZjcznExr/

内容精读：

谷歌首席科学家Jeff Dean杰夫·迪恩，一位自1999年起便深度参与并塑造谷歌分布式技术基石（如MapReduce, BigTable, Spanner, TensorFlow, Pathways）的关键人物，同时也是谷歌大脑团队的联合创始人，分享了他对人工智能领域重要趋势的见解。他强调，机器学习已根本性地改变了我们对计算机能力的预期，相较于十年前，如今计算机在视觉、语音识别和语言理解方面取得了巨大飞跃。          

这一进步的核心驱动力在于不断增加的训练算力、数据规模以及模型大小，这几乎已成为过去十五年颠扑不破的规律——更大的模型和更多的数据通常能带来更好的性能。然而，迪恩特别指出，算法和模型架构的改进，其重要性甚至超过了硬件的进步。这些综合因素正推动计算范式从传统的CPU为中心向更适应AI负载的新型计算硬件转变。          

回顾关键技术里程碑，神经网络和反向传播算法奠定了深度学习革命的基础。2012年，迪恩及其同事通过训练比当时已知最大模型大60倍的神经网络（使用DistBelief系统和16000个CPU核心），证明了更大模型结合足够算力能带来显著性能提升，尤其在无监督学习和细粒度图像分类任务上。DistBelief系统探索了模型并行与数据并行，并采用了创新的（尽管数学上非严谨的）异步梯度更新方法，成功扩展了模型规模，催生了Word2Vec等词嵌入技术。Word2Vec不仅让相关词语在向量空间中聚集，更揭示了向量方向的语义意义。          

随后，基于神经网络的序列到序列学习（2014年）推动了机器翻译等任务的发展。对大规模神经网络推理需求的预见，促使谷歌开发了张量处理单元（TPU），这种专为低精度、高密度线性代数运算设计的硬件，在推理任务上实现了远超当时CPU/GPU的性能和能效。TPU随后发展为支持训练和推理的大规模Pod系统，通过高速互连和光交换网络连接数千芯片，计算能力和能效在七年内分别提升了约3600倍和30倍。          

开源框架如TensorFlow、PyTorch和JAX的普及，极大地促进了机器学习社区的发展和应用的广泛性。2017年，“Attention is All You Need”论文提出的Transformer架构，通过注意力机制摆脱了循环模型的顺序限制，以更少的计算量和模型大小实现了更优性能，成为现代大型语言模型（LLM）的基石。自监督学习利用海量无标签文本（通过预测文本自身，如自回归或掩码语言模型）进行训练，是LLM能力强大的关键。视觉Transformer（ViT）则将Transformer架构成功应用于图像处理，统一了处理不同模态数据的模型基础。          

稀疏模型（如混合专家模型MoE）通过仅激活模型的一小部分（如2%），在保持巨大模型容量的同时，显著降低了训练和推理的计算成本，实现了算法上的又一次效率飞跃。为管理超大规模分布式训练，谷歌开发了Pathways软件抽象，它将数万个TPU芯片虚拟化为单一进程下的设备集，简化了跨数据中心、跨地域的复杂计算任务编排。          

在模型应用层面，“思维链”提示鼓励模型展示推理步骤，显著提升了其在复杂问题（如数学题）上的准确性。知识蒸馏技术则能将大型“教师”模型的知识有效迁移到小型“学生”模型中，利用教师模型输出的概率分布作为更丰富的训练信号，使得小型模型在少量数据下也能达到接近大型模型的性能。针对高效推理，研究者们探索了不同的计算映射策略（如权重聚集），发现最优选择依赖于批次大小和延迟等因素。推测解码技术利用小型“草稿”模型快速生成候选序列，再由大型模型验证，通过分摊内存带宽成本来加速推理过程。          

这些进展——包括更好的硬件加速器（TPU、GPU）、软件抽象（Pathways、框架）、模型架构（Transformer、ViT、MoE）、训练算法（自监督、蒸馏、RLHF/SFT）和推理技术（CoT、推测解码）——共同塑造了现代AI模型的能力。          

迪恩以谷歌的Gemini项目为例，说明了这些技术的融合应用。Gemini是谷歌多部门合作的产物，旨在构建世界领先的多模态模型（处理文本、图像、音频、视频），其开发利用了TPU、Pathways、JAX、Transformer、MoE、蒸馏等技术。Gemini 1.5引入了百万级token的长上下文能力，使得模型能直接处理和推理大量信息（如多篇论文或书籍），上下文中的信息因其高保真度而尤为有效。最新的Gemini 2.5 Pro在编码、多项基准测试和用户偏好（如LM Arena ELO评分）上均取得显著进步，体现了模型在质量与成本帕累托前沿的持续优化。          

管理如此大规模的项目（涉及全球分布的数百位研究人员）需要有效的组织结构（按领域划分团队）、沟通机制（大量使用聊天工具、正式评审流程）和数据驱动决策（排行榜、基线比较）。扩展计算规模也面临挑战，如静默数据损坏（SDC），需通过监控梯度范数、确定性重放等方法来检测和缓解硬件错误。Gemini展示了强大的能力，如修复代码、通过上下文学习掌握冷门语言（卡拉芒语）、处理多模态输入（视频转JSON、视频摘要）、数字化历史数据以及高级代码生成。          

最后，迪恩强调了AI的社会影响，并提及了他参与合著的《塑造AI》论文。该文旨在联合学界、工业界力量，通过有针对性的研究和政策，主动引导AI发展，以服务公共利益，最大化其积极影响（如普及专业知识），同时警惕并减轻潜在风险（如虚假信息传播）。他认为，虽然当前AI在某些复杂任务上仍有不足，且用户需要学习如何有效利用这些工具（提示工程），但模型能力正快速迭代提升。数据质量至关重要，虽然原始数据似乎尚未枯竭，但更高效地利用数据、让模型从数据中学习更深层次的理解是重要的研究方向。AI的未来潜力巨大，需要社会各界共同努力，负责任地塑造其发展轨迹。          

当前模型能够将相对简单的任务分解为少数几个步骤，并借助有限的工具使用来完成，其准确率大约在60%到70%。然而，这些模型尚无法独立地将非常复杂的事情分解成大量的子步骤（例如50个或更多），并使用多种复杂工具来完成可能耗时数月的重要任务。目前的技术水平与人们期望达到的、能够以极高准确率（如95%）在一千个步骤中完成长期工作的理想状态之间，存在着巨大的鸿沟，这种理想状态目前肯定无法实现。能力的提升可能是一个连续的过程，而非一蹴而就的突破。未来会看到模型的性能逐渐增强，例如能够以90%的准确率完成10步操作，这可以视为一个中间发展阶段。

访谈Bolt.new 首席执行官 Eric Simons 20250423

视频和全文链接: 

https://www.bilibili.com/video/BV1hELfzuEnd/

内容精读：

这篇访谈的核心内容，围绕着一家名为StackBlitz的公司及其产品Bolt的戏剧性崛起展开，堪称一个“历时7年才实现的一夜成名”的故事。公司创始团队最初的愿景，是让构建全栈Web应用像使用Canva或Figma一样简单，为此投入了七年时间研发核心技术WebContainer——一个能在浏览器标签页内运行、毫秒级启动的操作系统。然而，尽管技术领先，公司在商业化上步履维艰，主要面向开发者的IDE产品并未获得足够市场牵引力，年经常性收入（ARR）仅在70万美元左右徘徊，一度濒临解散。          

转折点出现在公司将前沿AI技术与自身核心技术结合，推出了Bolt——一个通过文本提示即可生成应用程序的工具。这一创新彻底改变了公司的命运。Bolt上线后，年经常性收入在短短两个月内从70万美元飙升至2070万美元。令人意外的是，Bolt的主要用户群体（约60%-70%）并非开发者，而是产品经理、设计师、创业者等非技术背景人士，他们借助Bolt将产品构想直接转化为实际可运行的软件，这揭示了AI正在赋能一个全新群体进行软件创造。          

Bolt的成功，很大程度上归功于其底层WebContainer技术。这项技术使得应用能在用户本地浏览器中快速（百毫秒级启动）、低成本、高可靠性地运行，避免了传统云IDE依赖虚拟机带来的延迟、成本和安全问题。用户只需输入提示，即可在极短时间内获得一个功能看似完备的应用原型（如Spotify克隆），体验流畅且“神奇”，入门门槛极低，甚至可以轻松部署到线上。          

公司强调，早期长达七年的技术积累和社群建设虽未直接带来商业成功，却为Bolt的爆发奠定了坚实基础。WebContainer技术是Bolt的核心竞争力，而多年积累的社群和品牌声誉，使得Bolt仅凭一条推文就能迅速引爆市场。艰难时期学到的精益运营经验，使得仅有15-20人的小团队能够有效应对用户和收入的爆炸式增长，保持了高度的敏捷性和效率，例如仅用3名支持人员服务超过6万付费客户。          

展望未来，公司认为随着AI能力的提升（如更可靠的代码生成），产品将进一步简化，可能隐藏更多面向开发者的技术细节，以更好地服务非技术用户，同时仍为专业开发者提供深度定制的能力，如同一个适用于专业人士和普通用户的“电钻”。公司正在推出Bolt Builders计划，连接用户与专家解决开发难题，并可能将服务延伸至营销、分销等公司创建的全流程环节。他们认为，在一个产品创建成本趋近于零的时代，竞争优势将更多地体现在品牌、分销渠道和卓越的客户服务上。最终，这种由AI驱动的软件开发民主化趋势，将为消费者带来更多竞争和更好的产品。公司也计划在近期开始投入付费用户获取，以扩大这一颠覆性技术的认知度和影响力。

✧ ✧ ✧ ✧ ✧

如何最大限度地利用Vibe Coding - YC创业学校 20250425

视频和全文链接: 

https://www.bilibili.com/video/BV1p1jAzTEKn/

内容精读：

近一个月来，我尝试在几个副项目中使用“氛围编码”，发现效果显著，只要愿意尝试并掌握最佳实践，就能取得可衡量的进步。如同几年前的提示工程，人们每周都在发现新方法，而最佳技术往往与专业软件工程师所用的相似。有人认为这已是软件工程而非“氛围编码”，但这不重要，关键在于如何利用这些工具获得最佳结果。          

一些利用AI工具的建议包括：当AI IDE陷入困境时，尝试直接访问LLM网站界面，粘贴代码提问或许能解决问题。可以同时使用Cursor（速度快，适合前端和全栈）和Windsurf（思考时间长）处理同一项目，利用等待一个工具思考的时间在另一个工具上工作，甚至让它们基于相同上下文生成同一功能的不同迭代版本供选择。将AI视为一种新的编程语言，用自然语言编程，因此需要提供非常详细的背景和信息。推荐从测试用例入手，手工编写测试用例作为防护栏，让LLM在此基础上自由生成代码，看到测试通过即可。在将任务交给AI编码工具前，先在纯LLM中规划好范围和架构至关重要。要监控LLM是否陷入困境，不断重新生成代码或需要反复粘贴错误信息，此时应退一步分析根本原因，可能是上下文不足或模型能力限制。          

对于初学者，推荐Repl.it或Lovable这类提供可视化界面的工具，它们便于直接在代码中尝试新UI，许多产品经理和设计师已开始这样做，速度快于在Figma中设计。但若需精确修改后端逻辑，这类工具可能力不从心。对于有编码经验者，可以直接使用Windsurf、Cursor或ClaudeCode等工具。首要步骤不是直接编码，而是与LLM合作制定一份全面的计划（存于Markdown文件并持续参考），然后逐节实施，每完成一节进行检查、测试并执行Git提交，再让AI标记计划完成的部分，逐步推进而非试图一次完成。

版本控制至关重要，务必虔诚地使用git。尽管某些工具有恢复功能，但尚不可靠。每次开始新功能前确保Git状态干净，以便AI偏离轨道时能回滚到可用版本。若AI不工作，不要犹豫使用`git reset head --hard`重置后重新开始。多次提示AI修复同一问题往往导致代码质量下降，因为它倾向于堆叠糟糕的代码层。发现有效解决方案后，最好是`git reset`，然后基于干净的代码库将该方案输入给AI。          

接下来应编写测试，或让LLM编写测试，它们在这方面做得不错，但通常默认编写低级单元测试。推荐编写高级别集成测试，模拟用户端到端的操作流程，确保功能正常工作。在开发下一个功能前完成测试，因为LLM有更改无关逻辑的坏习惯，测试套件能及早发现这些回归。          

记住LLM不仅用于编码，也可用于非编码任务，如配置DNS服务器、设置Heroku托管（充当DevOps工程师），或创建网站favicon并编写脚本调整尺寸格式（充当设计师）。遇到错误时，直接将错误信息（来自服务器日志或浏览器控制台）粘贴给LLM通常足以让其识别并修复问题，无需过多解释。未来，期待编码工具能自动摄取错误，无需手动复制粘贴。对于复杂错误，可让LLM先思考多种可能原因，每次修复尝试失败后用`git reset`重置，避免累积无用代码。添加日志记录也很有帮助。如果遇到困难，尝试切换不同模型（如Claude Sonnet 3.7、OpenAI模型、Gemini），它们各有擅长。找到棘手错误的根源后，建议重置所有更改，在干净代码库上给出非常具体的修复指令。          

为LLM编写指令（存放于各工具特定的规则文件中）能显著提高效果，有些创始人为此编写了数百行指令。关于指令内容网上有很多建议。对于文档访问，在线访问效果不一，建议下载特定API的文档到本地子目录，让LLM在本地访问，并在指令中明确要求先阅读文档。LLM也可作为老师，让它逐行解释代码实现，是学习新技术的好方法。          

处理复杂新功能时，建议先在干净代码库中将其作为独立项目开发，获得一个小型可工作的参考实现（或下载GitHub上的参考实现），然后让LLM参照该实现在主代码库中重新实现。保持文件小巧和模块化对人类和AI都有利，未来可能向更模块化或基于服务的架构转变，清晰的API边界让LLM更容易工作。          

技术栈的选择会影响AI表现。使用Ruby on Rails效果很好，可能是因为其拥有大量完善约定和一致的高质量在线训练数据。相比之下，Rust或Elixir等较新语言的训练数据较少，效果可能稍逊。          

利用截图粘贴到编码代理中，可用于展示UI错误或借鉴其他网站的设计灵感。语音输入（如使用Aqua）是另一种高效交互方式，能以远超打字的速度输入指令，且AI对轻微语法错误容忍度高。          

代码可运行且测试到位后，应经常重构。可以请LLM识别代码库中重复或适合重构的部分。这符合专业软件开发实践，保持文件小巧模块化有助于理解。          

持续进行实验至关重要，该领域技术每周都在变化。尝试不同模型（如Gemini擅长规划，Sonnet 3.7擅长实现，GPT-4.1目前表现尚不突出），找出它们在不同场景下的优劣势，并根据需要选用。

✧ ✧ ✧ ✧ ✧

此外，以下两个科技大佬群的最新播客内容很精彩，出于明显的原因不做文字总结了，有兴趣的同学可以自行前往链接观看

BG2播客：关税、自由贸易&出口管制、H20 与稀土禁令 - 比尔·格利 & 布拉德·格斯特纳 20250424

视频和全文链接: 

https://www.bilibili.com/video/BV1jojAzfEKy/

✧ ✧ ✧ ✧ ✧

Allin播客：马斯克重返特斯拉，谷歌 Gemini模型，中国的钍突破 20250426

视频和全文链接: 

https://www.bilibili.com/video/BV19ijFz1Eba/