2025年5月，谷歌母公司Alphabet首席科学家杰夫・迪恩（Jeff Dean）在红杉资本举办的 “AI Ascent 2025” 大会上指出，AI 正从专用硬件迈向更高效的有机系统，借助稀疏模型和多模态智能体提升性能。他预测 AI 科学、教育、信息检索和多模态人机交互方面会取得重大突破，并强调算力可持续性与伦理安全的重要性。
1. AI 发展历程与技术演进
Jeff Dean 回顾了 AI 的发展历程，指出虽然大模型真正进入大众视野是在近三四年，但早在2012-2013年，他和团队就在探索“大规模神经网络”的潜力。他提到当时训练的神经网络规模比当时的主流大60倍，使用了 16,000个 CPU 核心（因为当时的数据中心只有这些资源），结果出乎意料地好。这让他们深信“模型更大、数据更多、结果更好”这条路径是正确的。后续硬件的改进（如 TPU）帮助他们继续扩大模型规模，同时伴随算法优化，也使模型性能不断提升。
2. 多模态与智能体（Agents）
Jeff Dean 强调多模态 AI 的重要性，指出模型现在能够接收和生成文本、音频、视频、图像、代码等多种数据类型。他举例说，一个模型可以输入音频、输出文本，也可以输入视频、输出代码，这对于复杂任务特别有用。
此外，他谈到“智能体”（agents）的发展趋势，认为它们未来将能够胜任很多今天人类完成的虚拟任务，比如虚拟环境中的复杂操作。
Jeff Dean认为，提升智能体能力的路径很清晰，就是进行更多的强化学习，而且类似的事情也会发展在物理机器人智能体上，现在我们正接近那个转折点。
Jeff 还举了物理机器人的例子：虽然现在机器人在复杂环境中表现有限，但在未来一到两年内，它们可能就能在房间里完成20个有用的任务，虽然一开始成本高昂，但随着经验积累和成本工程的改进，未来可能会出现价格低10倍、能做更多任务的机器人。
对于当下的大模型领域的竞争，Jeff Dean认为可能只会用少数几个绝对尖端的大模型。但同时他也认为，在这个领域会有相当多的不同参与者，因为会有不同形态的模型或专注于不同方面的模型，少数真正强大的通用模型会表现得非常好。
3. 稀疏模型与计算效率
Jeff Dean 解释了自己对稀疏模型的偏好。他说，他一直是稀疏模型的忠实粉丝，原因部分源于对人脑的类比：大脑可以在20瓦的功耗下完成很多任务，而并非所有任务都需要全脑运转。AI模型可以模仿这种机制——只激活必要的模块（专家），从而大幅度提高计算效率。
他举例提到，谷歌曾经做过包含2048个专家的稀疏模型实验，结果表明，在相同的计算资源下，模型训练的效果提升了10到100倍。但Jeff也坦言，目前的稀疏化做法仍然偏“规则化”，即所有路径激活时消耗的计算量相似，而理想的情况是模型中的部分路径可能只需很少计算，某些部分则可能需要多100倍甚至1000倍的计算量。他设想了一个“更有机、更持续的学习系统”，模型的不同部分可以动态扩展、压缩甚至回收内存，从而让模型像生物体一样高效而灵活。
4. AI 基础设施与硬件
Jeff Dean 强调专用 AI 硬件对整个行业的重要性，尤其是“专注于机器学习风格计算的加速器（accelerators)”。此外，他指出 TPUs 不仅用于推理，也越来越多地服务于训练任务。Jeff还提到未来 AI 推理硬件可能不仅限于数字计算，模拟（analog）计算也具备极高的能效潜力（非常节能），但目前数字设备依然具有灵活性优势，因此未来 AI 推理硬件的发展方向值得期待。总体的方向是：我们如何能让推理硬件比我们今天拥有的效率高出10倍、20倍、5万倍。
5. AI 规模化挑战
Jeff Dean 解释，打造顶尖的大型模型需要巨额投入，因此他不认为未来会有 50 家公司都能做出这样的模型，而是会出现“少数几个真正强大的模型”。不过，借助“模型蒸馏”（他提到自己是2014年蒸馏论文的作者，虽然当时被NeurIPS拒稿了），可以将这些大型模型转化为轻量级模型，便于在不同场景中广泛部署。他还补充说，谷歌的 Gemini 项目以及其他类似的大模型都在探索如何在保持性能的同时减小模型规模，以适应多样化的市场需求。
6. 算力可持续性与能效
Jeff Dean 提醒，AI 的计算能效是整个行业的巨大挑战。虽然专用硬件如 TPU 能显著提高能效，但随着硬件性能提升，整体算力消耗反而可能增加（类似“朱文斯悖论”）。他提到要让推理和训练任务的硬件能效达到10倍、20倍甚至5万倍的提升，这既依赖于硬件设计，也需要算法优化的协同支持。他正在投入精力研究这一课题。
7. AI 与科学发现
Jeff Dean 特别提到 AI 在科学领域的巨大潜力。例如，AI 可以利用昂贵的科学模拟器数据（比如天气预报、流体动力学、量子化学模拟）来训练神经网络，从而在效率上提高30万倍。他打趣说：“原本要跑一年才能模拟的任务，现在可以在午饭时间完成。”这对科学研究的推进意义重大，因为它能让研究者更快地探索大量可能性，筛选出有价值的研究方向，从而加速新科学发现。
8. AI 的未来与产品化
Jeff Dean 展望了未来 AI 的产品化路径，尤其是在教育、信息检索和多模态人机交互方面。他举例说，Gemini Code Assist（Vibe Code）已经在帮助用户生成教育游戏、解释复杂概念、甚至帮助人类“管理50个虚拟实习生”。这种产品化不仅是技术层面的问题，还涉及用户体验、记忆管理、上下文保持等方面的复杂工程。他还提到Pathways系统，允许一个Python进程驱动数万个设备，这大大简化了开发者体验。
他承认虽然内部主要使用Jax，但他们也支持PyTorch。他强调，这些产品化方向是AI“杀手级产品”出现的关键，尤其是在帮助用户完成复杂任务和信息整合方面。
他提到，我们距离拥有一个能24/7全天候以初级工程师水平工作的 AI 不远了，可能明年就能实现。
9. AI 伦理与安全
Jeff Dean 多次提到AI的伦理、安全和可持续性问题。他提醒行业必须关注正确的训练过程，避免AI在某些关键环节上出现偏差或安全漏洞。他没有展开过多细节，但从多次提及“安全性”“可持续性”来看，这仍是他和谷歌未来AI布局的重要考虑。
END