o1推理将用于图像理解，OpenAI在伦敦捅了开发者窝

量子位

2024-10-31 13:16发布于北京量子位官方账号

全文2000字，阅读约需6分钟，帮我划重点

划重点

01OpenAI在伦敦开发者日上展示了o1-mini，通过图像理解控制无人机飞行，引发观众惊叹。

02产品部负责人Olivier Godement透露，o1新功能包括功能调用、开发者消息、流媒体、结构化输出和图像理解五个方面。

03奥特曼表示，推理模型对OpenAI尤为重要，有望解锁许多新科学领域的贡献和复杂代码编写。

04除此之外，OpenAI还开源了一个评估语言模型回答简短、事实性问题能力的新基准，名为SimpleQA。

05奥特曼认为，大模型的大多数缺点将在未来几代中逐步消失，应构建能利用未来优势的模型。

以上内容由腾讯混元大模型生成，仅供参考

西风 发自 凹非寺

量子位 | 公众号 QbitAI

OpenAI在Cursor里用o1-mini现场捏应用，两分钟，直接控制无人机飞行。

引得台下观众传来阵阵惊呼：

图片

如此操作，刚刚发生在OpenAI伦敦开发者日活动上。作为OpenAI的“科技春晚”，真是好不热闹，现场挤满了人从众。

图片

OpenAI产品部负责人Olivier Godement还剧透了一波o1新功能——

包含功能调用、开发者消息、流媒体、结构化输出、图像理解5个方面。

图片

奥特曼在之后的问答环节表示不想剧透，但透露“图像模型将很快迎来显著提升”。他提到，复制现有模型并不难，而让他为OpenAI感到自豪的是，他们始终在创造新的突破。

网友们听到这里更兴奋了：

不确定他指的是图像生成还是图像分析，还是两者都有。但想象一下用图像token进行推理。如果你面临一个视觉问题，或许可以逐步地把问题可视化。我目前还没有在其它模型中真正看到过类似的功能。

图片

OpenAI要在图像方面发力其实也早有迹可循。

不久前，两位清华校友路橙、宋飏就在OpenAI发布最新图像生成研究。

他们简化了一致性模型，仅用两步采样，就能使生成质量与扩散模型相媲美，速度是扩散模型的50倍。

图片

此外，对于OpenAI所说的图像模型，还有人猜测不会是前几天登顶文生图竞技场的爆火神秘小熊猫（red_panda）吧？

图片

但这种说法很快就被否定了。

小熊猫背后团队Recraft AI已发推文认领，这是他们的新模型recraft-v3。

图片

总之，o1这次算是吊足了大伙儿的胃口，网友喊话赶紧发4.5o和5-preview：

虽然很棒，但现在仍没有一款编码能打Sonnet的模型。

图片

奥特曼还说了啥

在现场，奥特曼还被问到OpenAI的发展方向是更像o1这样的模型，还是会有更大规模的模型？

他表示想在各方面都变得更好，但推理模型的发展对OpenAI尤其重要。

我认为推理能力将解锁我们多年来期望实现的许多事情，比如在新科学领域做出贡献，或帮助编写非常复杂的代码，这些都会带来显著的推动。所以，大家应该期待o系列模型会快速改进，这对我们来说具有重要的战略意义。

图片

在谈论到“什么是Agent”、“它们可以做什么”，奥特曼表示Agent是一个可以接受长期执行任务，并在执行过程中只需很少监督的东西。

奥特曼认为大家最常举的一个例子是可以让Agent帮忙预订餐厅，它可以用在线餐厅预订平台OpenTable或者是直接打电话到餐厅。

这确实能为人们减少一些工作，但更有趣的事是能创造一个世界，在那里可以做一些人类无法或不愿做的事。

比如与其让Agent打电话给餐厅预订座位，不如让Agent打给300家，找到最好吃或是最有特色的那一家，它可以并行处理大量任务。

Agent成为一个非常聪明的高级同事，你可以和它在项目上协作，也可以让它独立去做两天甚至两周的任务，做好后带着成果回来与你交流。

接下来，奥特曼还被问到最敬重的竞争对手是哪个，他提到的第一个就是Cursor AI，但随后又补充道：

我的意思是，我现在有点尊敬这个领域里的每个人。我认为整个领域正在涌现出非常了不起的工作，而且有许多才华横溢、非常努力的人。我不是想回避问题，而是想说我可以指出很多非常厉害的人在做非常出色的工作。

图片

要知道，昨天微软刚刚宣布了GitHub Copilot接入Claude和Gemini。

图片

奥特曼转头给了微软竞争对手Cursor AI一个点赞……

图片

此外，奥特曼还被问到最令人兴奋的AI应用场景是什么，他再次Q到Agent：

大家关注的点各不相同，有很多不同的方式可以解决这个问题，但我希望能有一种AI能够理解你整个人生。它不一定需要拥有无限的上下文，但能够有一个AI Agent，某种程度上知道关于你的一切，能够访问你所有的数据之类的东西。

奥特曼还认为大模型的大多数缺点将在未来几代中逐步消失。

不要构建一个填补漏洞或绕过模型缺陷的工具，而是构建一个能利用未来优势的模型。

图片

One More Thing

除了预告，OpenAI还有最新动作——

开源了一个评估语言模型回答简短、事实性问题能力的新基准，名为SimpleQA。

图片

论文共同一作是去年在X上约战提示词决斗引得大伙儿纷纷围观的Jason Wei（思维链开山论文一作）和Karina Nguyen（提示词决斗那会儿还在Anthropic，现已是OpenAI工程师）。

图片

图片

有意思的是，o1-mini和o1-preview在此基准上都不及格，而且两者相差还很大：

图片

参考链接：
[1]https://twitter.com/idonotwritecode/status/1851565982889713962
[2]https://twitter.com/stevenheidel/status/1851574257819562195
[3]https://x.com/kimmonismus/status/1851708364503552312
[4]https://twitter.com/OpenAI/status/1851680760539025639
[5]https://twitter.com/AymericRoucher/status/1851657127410151461
[6]https://www.youtube.com/watch?v=VTeRZqUHi4E
[7]https://x.com/caromcc_/status/1851570587287601237