划重点
01Google DeepMind科学家宋星佑表示，好研究往往起源于简单的小事，关键在于将其付诸实践的勇气。
02宋星佑曾在OpenAI担任强化学习泛化方面的研究员，后来加入Google，从事GenAI方面的工作。
03他认为，研究自由并不一定意味着可以随心所欲，更重要的是其他人也愿意支持你的好奇心。
04除此之外，宋星佑表示，好的研究往往是在用简单的方案解决复杂问题，如MAML和GPT-1等论文。
05最后，宋星佑认为，被顶会录用的并不总是最好的论文，简单的工作也可能带来重大的成果。
以上内容由腾讯混元大模型生成，仅供参考
什么是好研究？谷歌DeepMind科学家、Vizier作者宋星佑给出了他的答案：简单。
「好研究很简单，但是这就是它的伟大之处。很多好的论文都是容易想到的，但是困难的地方是要敢于去做这件事。」诚然，好的研究往往起源于一件简单的小事，对于研究员来说，想法时常有，但更宝贵的是将其付诸实践的勇气。
在宋星佑眼中，研究的自由并非随心所欲。曾几何时，研究环境相对更加自由。而在模型的分水岭之后，每个人都开始迫切地感觉自己要为语言模型做出贡献，这未尝不是一种「不自由」。
宋星佑表示，「自由不仅仅是一个人能够做自己想做的事情。我认为自由的定义应该是其他人也愿意支持你的好奇心。在ChatGPT出现之后，有些人甚至希望语言模型的发展能够达到一个平稳期，不再有重大的进展，这样研究人员就可以回归到由好奇心驱动的研究中去。」
谈及自己的过往经历，宋星佑用一个词来总结：「随机性」。2018年，机缘巧合下，宋星佑成为OpenAI的研究员，开始了深度学习的探索，而这也恰巧是求学期间他曾避免接触的领域。而后为追求稳定，他选择加入Google，并在那里将自己的灵感逐渐转化为了现实。
智源专访栏目意在展现行业顶尖技术研究者和创业者的研究经历和故事，记录技术世界的嬗变，激发当代AI从业者的创新思维，启迪认知、关注突破性进展，为行业注入灵感光芒。本次专访为总第23期。
简介
宋星佑，Google DeepMind高级研究科学家。他曾在OpenAI担任强化学习泛化方面的研究员，2019年以高级研究科学家的身份加入Google Brain，并从2023年起担任DeepMind高级研究科学家，从事GenAI方面的工作。
采访：李梦佳
编辑：熊宇轩
01
从「回避」到「钻研」，
巧合下与深度学习结缘
Q：在您求学期间有没有谁对你的研究影响很深？
A：在2018年之前，我还在伯克利读本科。在我的本科学习期间，我本来打算从事理论方面的研究，比如计算机科学理论，算法等等，而不是当时的深度学习。讽刺的是，我还曾尽可能避免接触深度学习。但在大学毕业后找工作时，我在机缘巧合下进入OpenAI工作，还是很幸运的。
Q：引领你走上研究之路的关键点是什么？
A：时间回到 2018年，那时我对深度学习「一无所知」，但我申请了OpenAI的机器学习研究员职位。与我同期进入 OpenAI 的人中，许多人现在已经担任了 OpenAI 副总裁之类的职务。
我用最快的时间迅速学习了所有深度学习的基础知识。那时，我参与的第一个深度学习项目是强化学习泛化。通过这段经历，我了解了人们对怎样的论文感兴趣。那就是我科研旅程的开端。
后来，我在Google AI博客上发表了很多文章，介绍我们团队取得的成就。这些文章的内容涉及机器人技术、高效Transformer、优化语言模型等。这些工作都涉及到了某种形式的优化。这些突破性的成果在很大程度上改变了我的职业生涯。
Q：目前你有什么未来的计划，或者你有什么正在进行的项目吗？
A：从技术的角度来说，Vizier系统基本上已经稳定，只不过近期我们才发论文介绍它的工作原理。如今，我的研究的焦点转向了一些非常前沿的领域，比如「在数据流上进行优化」，「将语言模型用作回归器」等。这与传统的黑盒优化完全不同。
Q：在推特上看到Jeff Dean也为你的论文点赞。你会和他谈论你的计划或者你将如何应用吗？
A：Jeff Dean可能主要忙于Gemini项目，但他很久以前就对Vizier展现出深厚的兴趣，因为Vizier对于谷歌的跨领域优化很重要。所以，他很高兴看到我们发布了这篇论文，还帮我们转发。
Q：从2017年开始，除了Vizier之外，你还做过哪些其他的事情，有没有其他著名的作品？
A：我之前从事过强化学习泛化领域的研究工作，发表了相关论文。我还参与了机器人技术的研究，这本质上也是优化的一种。实际上，机器人领域有很多黑箱优化的工作。之前，我还参与了一个名为「Performer」的高效 Transformer 开发项目。实际上，我们有一整套针对使用语言模型进行优化的工作，并且在持续创新。
图为Vizier系统所用贝叶斯算法的核心组件
02
OpenAI 与 Google，
创造力与影响力
Q：你在 OpenAI 和 Google都工作过。这些年来，你觉得这两家公司之间有什么不同，比如研究风格或者公司内部的氛围。
A：这在很大程度上取决于我们讨论的时期。我的观点只能代表2018年我所在的OpenAI。那时，很多研究的出发点都是一个简单想法：如果将模型扩展到足够大的规模，它的能力将会得到巨大提升。这就是当时OpenAI的理念。并且，在OpenAI，你会避免投入精力进行增量化的小研究。
更有趣的是，OpenAI 并不太关心论文。实际上，OpenAI 很多最出名的工作的论文都被学术会议拒绝了（例如，GPT系列的第一篇论文，也就是使用 Transformer 构建的第一个语言模型 GPT 就被拒绝了），PPO论文也是如此（用于RLHF的PPO）。
我认为谷歌（特别是 Google Brain），更接近于传统的研究实验室。他们更加重视论文，每个人都可以做感兴趣的研究（即使没有重大突破）。这意味着，你会有更多研究和创造的自由。
我认为，2018年左右的时期，如果你是一个很成熟的研究员，OpenAI对你来说是个好去处。但是如果你更想有些成就，或者你更关心标准的学术晋升阶梯，谷歌会是更好的选择。
Q：简单介绍下您在 OpenAI 从事的强化学习泛化工作。
A：强化学习的泛化被认为可能是通往人工通用智能（AGI）的一条道路。一个能够玩十亿个游戏的AI大概率会很聪明。如果你在某些关卡、某些游戏中训练，它能否泛化到解决其他游戏？要实现这个目标十分困难，这涉及大量的强化学习环境。我们的工作更偏向于通过语言模型解决该问题。
Q：那个时期，大家对语言模型怎么看？
A：2018年，这个领域还相当小众。那时，我们团队对Transformer的出现非常兴奋，迫不及待地想将其应用到各种场景中。例如，将这种预训练技术应用于视频数据或强化学习数据等领域。所以，虽然核心思想相似，但那并不完全是传统意义上的语言模型。
Q：是什么让你决定离开OpenAI加入Google Brain？
A：那时，我正处于职业生涯初期，在论文发表方面，谷歌似乎更符合我的需求。在个人层面上来说，谷歌的稳定性也更吸引我。正如大家在媒体上看到的，OpenAI 总是充满不确定性。
Q：就像我们讨论的Vizier以及它在谷歌商业运作中的应用一样，谷歌似乎更倾向于集中精力于那些能够推动其业务发展的研究？
A：谷歌基于「影响力」评价你的价值。对「影响力」的定义实际上是多方面的，并不一定是指金钱。有些人可能会为谷歌赚钱，其他人可能会写出好的论文，使谷歌声名远扬。因此，你有多种方式可以展现影响力。所以谷歌并不强迫任何人必须为公司赚钱。当然这对你升职很有帮助，但是并不强制。
Q：对你来说，你短期和长期的职业目标是什么? 最终的职业抱负是什么？
A：短期内，我想继续取得比较重大的、我能为之骄傲的成果。这一直是我的重要动力。实际上，我不会想得太远。长期目标很难说，我对于自己目前的位置很满意。如果有一天我觉得创办一家初创公司更有意义，或者在谷歌是无法实现我的某些想法，那么可能会考虑做出改变。但我目前还没有发现这种情况。
Q：未来，您是否会将语言模型与 Vizier 项目结合？
A：我们在这方面已经有了很多进展。一方面，VIzier 项目针对大型语言模型（LLMs）进行优化。另一方面，我们反过来利用LLMs进行优化。
就LLMs的优化而言。目前，我们有很多研究和工作正在进行，比如针对Prompt的优化。还比如在微调或预训练期间调整特定超参数或语言模型。
而我实际上在「利用LLMs进行优化」方面做的工作更多。我认为，可以将语言模型用作回归器。针对某个问题，语言模型可以告诉你预测的数字可能是什么。或者像直接优化器一样直接使用语言模型。
目前，人们普遍认为语言模型在面对基本的优化问题时，甚至无法进行随机搜索。所以人们开始好奇，语言模型真的理解像「探索-利用」这样的问题吗? 这方面还有很多有待解决的问题。
图为宋星佑于Hasso Plattner Indtitet发表演讲“ Tutorial: Open Source Vizier”
Q：你认为，既然我们已经拥有谷歌搜索，为什么我们仍然需要GPT或chatbots之类的东西？谷歌搜索已经是最好的了。
A：在我个人看来，我们过于关注人类基准测试了。很多人关心分析LLM，认为某个模型在与人类进行对话方面比另一个模型更好。很多分析结果都非常主观。除了编程时，我实际上不怎么用ChatGPT、Gemini或其它类似的聊天机器人。
我不会用聊天机器人做搜索。实际上，我都不会用它做大部分事情。或许我是属于比较传统那一派。我不知道我们是不是应该让LLMs更适合聊天。我认为，这是错误的道路。现在我也只是用谷歌搜索，我根本不用 Gemini。
03
做研究不是孤军奋战，
研究自由不是随心所欲
Q：你如何定义「研究自由」？选择你自己的主题或者做你想做的事情？
A：我认为，研究自由并不一定意味着你可以随心所欲。自由不仅仅意味着一个人能够做自己想做的事情。更重要的是，你的想法能够得到适当的支持，其他人也支持你去自由地思考，信任你去做你想做的事情。我认为这比所谓的“自由”更重要。比如说，你可以在地下室做你的研究，没人知道你在做什么，这真的可以称作“自由”吗？所以，我认为自由的定义应该是其他人也愿意支持你的好奇心。
Q：你是否认为你已经达到了这种程度的「研究自由」？
A：我认为，在语言模型（也就是ChatGPT大火）出现之前，研究环境实际上更自由。ChatGPT之后，每个人都开始感觉到，自己需要为语言模型做出贡献，因为这有助于业务发展或其他事情发展。
在ChatGPT出现之后，有些人甚至希望语言模型的发展能够达到一个平稳期，不再有重大的进展，这样研究人员就可以回归到由好奇心驱动的研究中去。讽刺的是，我也有这样的观点。
04
研究之道：
简单，何尝不是一种伟大
Q：你认为做好研究的关键因素是什么？比如，如何选择重要的和必要的话题来工作。
A：我认为到目前为止最成功的方法是，不要定义工作必须达到的指标。当你不得不去攀登某个排行榜的时候，往往就是你在研究中最痛苦的时候。比如，同一项研究，有人达到了90%、97%的准确率，你通过做一些其他工作，达到了98%的准确率，但是随后又有人达到了99%的准确率。在我看来，这就是做研究最痛苦的事。虽然可能有人喜欢这样，但是我个人并不认同。很多好的研究都是在用简单的方案解决复杂问题，如果你的方法非常复杂，但是只在某项随机基准测试上提高了1%，那就不算一种好的处理方式。
我会尽量避开那种情况，所有好研究基本上都是某种形式的「开拓者」，它要么是全新的，要么就是非常简单的。
Q：你通常是如何获得灵感的？一般来说想出一些全新的东西真的很难。
A：实际上，人们对于最有趣的论文的评价往往是，“我本可以想到的”，因为它太简单了。它很简单，但是这就是它的伟大之处。实际上我更倾向于认为，想到这些事情并不是不可能的，因为很多好的论文都是容易想到的，但是困难的地方是，要敢于去做这件事。
Q：你能否举一个最新的例子，你认为它是一个好的论文，无论是你自己的，还是你看到的。
A：我认为 Sergey Levine 等人在 2017 年的发表的MAML（Model-Agnostic Meta-Learning）论文是很好的工作。
Sergey Levine 等发表论文MAML（Model-Agnostic Meta-Learning）
那篇论文很简单，但是它解决了元学习中的很多问题，也因此得到了很高的饮用。或者像 GPT-1，基本上就是利用数据进行预训练，然后进行微调这样很简单的事情。但是讽刺的是，这些论文会被会议拒绝，因为审稿人认为它太简单了。因此， 我认为，被顶会录用的并不总是最好的论文。