DeepMind与Google Research齐发力,多技术路线打造AI天气预报的「六边形战士」

图片

作者:李宝珠

编辑:十九、李姝

转载请联系本公众号获得授权,并标明来源


本文盘点了 Google Research 与 DeepMind 面向天气预报领域发布的多项成果。


12 月 10 日,Nature 公布 2024 年度十大人物,含金量虽不似诺贝尔奖那般令人瞩目,但这个创刊百余年的顶级学术期刊可以说是科学进展的见证者,所以这十大人物也在一定程度上代表了今年的重要科学事件。在获选名单中,Google DeepMind 的研究员 Rémi Lam 赫然在列。


Nature 在其报道中介绍道,Lam 一直是利用机器学习改进天气预报的先驱。在过去的几年里,这一领域取得了突飞猛进的发展,而 Lam 及其团队一直走在前沿。尽管微软、英伟达、华为和欧洲中期天气预报中心 (ECMWF) 等企业/机构都在竞相开发 AI 辅助的天气预报系统。「但在今年的大部分时间里,在准确性方面处于领先地位的都是 Lam 领导的一个名为 GraphCast 的项目」。


图片
Rémi Lam,图源:Alecsandra Dragoi for Nature


值得关注的是,就在名单公布前不久,Lam 所在的团队又提出了一个新的天气预报模型 GenCast,再创新高,可以在 8 分钟内生成一组随机的 15 天全球预报,涵盖 80 多个地表和大气变量。


或许会有读者疑惑,DeepMind、亦或是说 Google,针对天气预报为什么没有选择 AlphaFold 的发展路线,即持续迭代同一模型,进而打造「现象级」产品?笔者大胆猜测,这一方面与预测周期息息相关,短期、中期、长期天气预报适用场景不同,对精度要求不同,很难一以贯之;另一方面也与天气预报领域目前所面临的技术路线探索有关——是 AI 一统天下,还是传统数值预报与 AI 预测共生。

兼顾短/中/长期预报,融合传统方法与 AI

短期预报,通常指的是未来 1-3 天内的天气情况,提供比较详细的天气变化信息,如温度、降水、风速和风向等,主要为人们日常生活提供指导,遇暴雨等情况及时做好防范;中期预报,便是指未来 3-10 天的天气预报,趋势预测范围更加宽泛,主要用于农业规划、水库调度、洪水/干旱预警以及物流供应链规划等用途;长期预报,则是指未来 10 天以上的天气预报,提供变化趋势和气候模式,用于基建等大型项目规划,以及公共卫生部门提前预防寒潮、高温等极端天气带来的医疗资源压力等等。


聚焦到技术层面,短期预测需要更高的时间分辨率和精细化的模型,例如基于深度学习的时序模型,中期预测需要在更长的时间范围内考虑大气和海洋的动力过程,长期预测则倾向于基于模式识别和统计学,而非高分辨率数值模拟。


一般而言,单一模型很难同时满足短、中、长期预报的复杂性。例如,短期预测需要高分辨率,长期预测需要广域性;短期天气预报的准确性较高,长期天气预报的误差较大……种种差异化使得模型需要在不同任务之间权衡,加大了模型优化的难度。


所以目前的研究成果大多也是有的放矢,力求单项任务上的准确性高、耗时短,Google 最初也是采取了这样的策略。


2023 年,Lam 负责的 GraphCast 问世,这是 DeepMind 面向中期天气预报提出的基于图神经网络的自回归模型,能够直接从再分析数据中进行训练,在 1 分钟内以 0.25° 的分辨率预测全球未来 10 天的数百个天气变量。在 1,380 个验证目标中,GraphCast 在 90% 的目标上明显优于最准确的确定性业务系统。


在预测速度方面,只需要单台 Google TPU v4 即可在 60 秒内完成 10 天的天气预报。


图片
只需要输入 6 小时前的天气状况和当前的天气状况,GraphCast 就能够预测未来 6 小时的天气情况。这一过程能以 6 小时为单位向前滚动,提供长达 10 天前的最新预测。


时间来到 2024 年,Google Research 发布了 NeuralGCM,这个长期天气预报工具从命名上便显示出了研究团队对于技术路线的选择——Neural 无需多言是神经网络,而 GCM 的全称为 General Circulation Models,即大气环流模型,是基于物理学的天气模拟器。顾名思义,NeuralGCM 结合了大气动力学可微分求解器和机器学习,而传统物理学方法与 AI 的结合也恰恰是当下天气预测研究领域的大势所趋。


图片
NeuralGCM 结合了传统的流体动力学求解器和用于小尺度物理的神经网络


在 AI 革新气象研究前,数值预报已经在近百年的时间内成为了该领域的主流技术,其基于物理学原理和气象学理论,通过求解描述大气运动的流体动力学和热力学方程组,来预测大气状态的变化趋势。在机器学习等技术崭露头角后,业内也不乏讨论声:AI 是否会完全取代数值预报?


如今看来,二者的结合应用或许才是最优解。以 NeuralGCM 为例,依托传统计算进行大尺度物理过程模拟的同时,AI 技术还能够处理小尺度现象(如云的形成和区域微气候),并纠正在小尺度上累积的误差。


基于此, NeuralGCM 在性能上实现了跨越性突破,从 1-15 天的天气预报,到长达 10 年的气候预报,其准确性均可与各种时间尺度的同类最佳模型相媲美。


具体而言,其在 0.7° 分辨率下的确定性模型 (deterministic model) NeuralCGM-0.7° 在天气预报准确性方面优于纯机器学习模型;在 1-15 天的预报中,其与欧洲中期天气预报中心 (ECMWF, European Centre for Medium-Range Weather Forecasts) 表现相当。同时,在长期气候预测方面,NeuralGCM 的 40 年气候预测模拟结果,与 ECMWF 数据展现出的全球变暖趋势一致。

多箭齐发,DeepMind 新成果补充天气预报版图

12 月 4 日,DeepMind 在 Nature 发表了一篇题为「Probabilistic weather forecasting with machine learning」的研究论文,提出了一种全新的机器学习天气预报方法 GenCast,Rémi Lam 是通讯作者之一。该方法又为 Google 在天气预报领域补上了一块「拼图」,使其从技术路线、到预测精度都更加完整了。
论文地址:
https://www.nature.com/articles/s41586-024-08252-9


在技术路线上,虽然同为机器学习方法,但 GenCast 不同于 GraphCast 基于图神经网络,而是基于扩散模型实现的,并基于 Transformer 完成去噪过程。同时,在预测精度上,GenCast 相较于 NeuralGCM,在空间分辨率上有显著提升,可以更清晰地描述小规模天气现象。


具体而言,GenCast 基于数十年的再分析数据进行训练,可以在 8 分钟内生成一个包含随机性集合的 15 天全球天气预报,每 12 小时输出一次,空间分辨率为 0.25°(纬度-经度),涵盖超过 80 个地表和大气变量。研究人员对 1,320 个预测目标进行了评估,结果显示,GenCast 在 97.2% 的目标上比 ENS(集合数值天气预报系统)表现更优,尤其在极端天气、热带气旋路径预测和风能发电预测方面表现更出色。


图片
与 ENS 相比,GenCast 可在各种决策方案中为极端天气的准备工作提供更高的价值
蓝色线为 GenCast,灰色线为 ENS


总结来看,面向天气预报这一课题,DeepMind 与 Google Research 合力,多点开花,在探索技术路线的同时也实现了更加全面的覆盖——包含了确定性的中短期天气预报,以及长期的气候预测;拥有性能优异的纯机器学习方法,以及融合数值预报与 AI 的「六边形战士」。

百家争鸣,从痛点出发构建天气预报模型

诚然,天气预报领域也并非 Google 一家独大,华为、微软、英伟达等都陆续发布了相关成果,虽不似 Google 这般「广撒网」,却也都拥有过人之处。


例如,华为的盘古气象预报大模型,是首个预测精度超过传统数值预报模式的 AI 方法,预测速度可提升 10,000 倍以上。其针对 AI 气象预报精度不足的问题,提出了适应地球坐标系统的三维神经网络 (3D Earth-Specific Transformer),并用层次化时域聚合策略来减少预报迭代次数,进而减少迭代误差。


而微软的首个大规模大气基础模型 Aurora,则是能够以 0.1° 的高空间分辨率运行,进而捕捉大气运动的复杂细节,不到 1 分钟即可精准实现 10 天的高分辨率天气预报。


英伟达更是开创性地提出了一个全栈开放的气候数字孪生云平台 EARTH-2,集成了气候科学家的所有成果,供全球科学家共享使用。


学术界的成果更是不胜枚举,首个将预报分辨率提升至 0.09° 的 AI 气象大模型 FengWu-GHR,可用于次季节气候预测的「伏羲」等等。


毫无疑问,当下的天气预报研究正以百家争鸣的态势蓬勃发展,多种技术路线并行,在提升空间分辨率的同时,尽可能全面地满足中短期的确定性预报以及气候预报。未来,随着 AI 技术的持续迭代,能否出现一统天下的主流技术犹未可知,但在短期来看,AI 与传统数值预报的结合仍是更优解法,如何在此基础上突破空间分辨率仍需探索。


参考资料:
1.https://www.nature.com/articles/d41586-024-03898-x
2.https://mp.weixin.qq.com/s/boOoF782fm1s65hCQ-smpg
3.https://mp.weixin.qq.com/s/0krOFvsj6oQIYs6Gb110GQ

 往期推荐