谷歌最强大模型Gemini 2.0被抬上来了，网友：好科幻

机器之心

2024-12-12 16:44发布于北京机器之心官方账号

机器之心报道
作者：Sia、杨文
能搜网页、写代码，还能教你打游戏。

OpenAI 接连几天的「轰炸」，已经让人审美疲劳。

作为应对，周三，谷歌推出新一代至强 AI 大模型 Gemini 2.0 Flash 。

网友体验先走一波。

就模型所看到的内容实时对话， 感觉就像科幻小说一样。


通过共享屏幕，实时讨论论文，这个研究助理很强啊。

图片
让AI在对话过程中自然地生成图像。

图片
现在，一个提示词就能生成包含步骤说明和配图，食谱blog，一步到位。

据谷歌介绍，除了能生成文字外，还能直接生成图片和语音。

不仅如此，2.0 Flash 还能调用第三方应用和服务，比如可以使用谷歌搜索、运行代码等功能。 

从今天开始，开发者可以通过以下几种方式尝试使用 2.0 Flash 的测试版：

  • Gemini 的 API 接口
  • 谷歌的 AI 开发平台：AI Studio 和 Vertex AI

不过，生成图片和语音的功能暂时只对「早期合作伙伴」开放，要等到明年 1 月才会向所有人开放。谷歌表示，在接下来几个月里，会把 2.0 Flash 的各种版本整合到多个产品中，包括：

  • Android Studio（安卓开发工具）
  • Chrome 开发工具
  • Firebase（应用开发平台）
  • Gemini 代码助手

主力模型  Gemini 2.0


今天发布的 Gemini 2.0 Flash 的实验版本，是 Gemini 2.0 系列的第一个模型，也是当前主力模型。

它反应速度快（低延迟），性能强大，代表了谷歌 Gemini 最顶尖的技术水平。

除了速度是「前任」的 2 倍， 支持图像、视频和音频等多模态输入外，2.0 Flash 现在还支持多模态输出，比如原生生成的图像与文本混合，以及可控制的多语言文本转语音（ TTS ）音频。

它还能够原生调用工具，如谷歌搜索、代码执行以及第三方用户自定义函数。

图片

下面这张图展示了 Gemini 不同版本在各项测试中的表现对比。

总体来看，新模型在编程、数学和多模态处理方面都有明显提升，特别是在代码生成方面的进步最为显著。

有趣的是，在长文本理解( MRCR )这一项上，2.0 Flash ( 69.2% )反而比 1.5 Pro ( 82.6% )表现差一些，这是少数几个没有进步的指标之一。

图片
图表展示了Gemini不同版本在各项测试中的表现对比。

Gemini 2.0 Flash 的正式版本将于 1 月份推出。但在此期间，谷歌正在发布一个 API —— Multimodal Live API（多模态实时 API ），帮助开发者构建具有实时音频和视频流功能的应用程序。

网友们已经快乐地玩耍起来。

图片

能帮你画好下一步棋子的位置。来自X网友@robertriachi

使用  Multimodal Live API，开发者可以创建实时的多模态应用，这些应用能够接收来自摄像头或屏幕的音频和视频输入。该 API 支持集成各种工具来完成任务，并且能够处理自然对话模式。

比如，对话中的打断。这和 OpenAI 的 Realtime API 很像。

图片在对话中自然地生成图像，就像人类聊天时随手画个示意图一样自然

图片对图像的后续编辑

图片一边处理实时音频输入，一边执行数据可视化等复杂任务


Project Astra：通用助手的曙光


今年 5 月份，谷歌发布了通用 AI 助手研究原型 Project Astra ，这是一个多模态 AI 智能体项目，旨在为用户提供一个能够理解和响应复杂、动态真实世界「 AI 助手」。

这次，谷歌对搭载了 Gemini 2.0 的最新版本 Project Astra 进行了一系列改进：

更流畅的对话：Project Astra 现在能够用多种语言和混合语言进行交流，对各种口音和生僻词汇的理解也更加精准。

新工具的运用：借助Gemini 2.0，Project Astra 能够使用谷歌搜索、谷歌镜头和谷歌地图，使其成为你日常生活中更加得力的助手。

更强大的记忆功能：增强了 Project Astra 的记忆能力，并确保你可以控制其记忆。它现在能够保持长达 10 分钟的会话记忆，并能记住你过去与它进行的更多对话，从而为你提供更加个性化的服务。

更低的延迟：通过新的流媒体功能和原生音频理解技术，智能体能够以接近人类对话的延迟速度理解语言。

他们正致力于将这些功能引入谷歌产品，如 Gemini app 以及眼镜等其他形态的产品。同时，他们也开始在原型眼镜上测试 Project Astra。

在官方演示视频中，外国小哥用一部安装了最新测试版 Project Astra 的 Pixel 手机进行测试。

收到一封包含公寓信息的电子邮件后，它可以告诉你公寓大门的密码，并记住它。

图片

只需要使用摄像头拍摄衣服上的标签和洗衣机上复杂的按钮，它就能告诉你这件衣服是否能机洗、漂白、烘干，以及洗衣机该如何使用。

图片

还可以把朋友读过的书发给它，让它以此分析出朋友的读书品味并推荐相关书籍。

图片


偶遇一辆巴士，问它是否可以去唐人街附近。Project Astra不仅可以搜索出该巴士的行驶路线，还能回答出沿线著名地标。

图片

此外，小哥还戴上原型眼镜来测试Project Astra，效果相当酷炫。

只需一个问题指令，它就能进行天气预报、告诉你是否可以骑自行车进公园，搜索沿途是否有超市等。

图片


Project Mariner：浏览器版「贾维斯」


Project Mariner 是一个基于 Gemini 2.0 构建的早期研究原型。它通过 Chrome 浏览器插件，能理解你屏幕上的所有内容 —— 不管是文字、代码、图片还是表单。

它的厉害之处在于，在 WebVoyager 基准测试中，Project Mariner 作为一个独立智能体设置，完成网页任务的准确率达到了 83.5% ，这在目前来说是相当不错的成绩。

虽然现在可能还有点慢，准确度也不是百分之百，但这项技术正在快速进步。


为了确保安全，谷歌做了很多防护措施。

比如，它只能在你当前打开的网页标签里操作，要做一些重要的事情（比如网购）时，还得先问问你同意不同意。这就像有个助手帮你办事，但重要决定还是由你来做。

Jules：有经验的编程助手


Jules 是一个懂编程的智能助理，直接集成在 GitHub 工作流程中。假设你有一个程序问题需要解决，它能理解问题，制定解决方案，然后在你的指导和监督下把代码写出来。


就像是你多了一个有经验的编程搭档，能帮你分析问题、规划方案、写代码，但最终的决定权还是在你手中。你可以随时检查它的工作，确保一切都符合你的要求。

游戏及其他领域的智能体


谷歌 DeepMind 一直喜欢用游戏来锻炼 AI 的能力，就像前几天推出的 Genie 2 ，只要给它一张图片，它就能创造出可以玩的 3D 世界。

现在，他们又在 Gemini 2.0 的基础上开发了游戏智能体。

它特别有意思，能看懂你在玩什么游戏，理解游戏画面里发生的事情，然后实时跟你聊天，给你建议该怎么玩。就像有个资深玩家朋友在旁边指点你。

图片

他们还和 Supercell 这样的大游戏公司合作，在《部落冲突》这样的策略游戏和《卡通农场》这样的模拟经营游戏中测试 AI 。AI 需要理解不同类型游戏的规则和挑战，这可不是件容易的事。

更厉害的是，这个智能体还能用谷歌搜索，帮你找到网上的游戏攻略和技巧。就像是一个既懂游戏、又知道去哪找答案的玩伴。

除了在虚拟世界中探索智能体能力，谷歌还在尝试将 Gemini 2.0 的空间推理能力应用于机器人技术，帮助智能体在现实世界中提供帮助，不过目前仍处于早期阶段。

参考链接：
https://blog.google/technology/google-deepmind/google-gemini-ai-update-december-2024/?utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content=
https://developers.googleblog.com/en/the-next-chapter-of-the-gemini-era-for-developers/
https://x.com/simonw/status/1866942603020910866