OpenAI智能体曝本月诞生！比谷歌Anthropic慢，竟是担心prompt攻击

新智元

2025-01-08 14:37发布于北京新智元官方账号

全文1659字，阅读约需5分钟，帮我划重点

划重点

01OpenAI可能在本月发布自家的计算机操作智能体，比竞争对手谷歌的Anthropic和Vertex AI Agent Builder慢一些。

02然而，OpenAI在开发智能体时担心提示注入攻击，这种攻击可能导致模型接收恶意信息并执行恶意任务。

03谷歌的Project Jarvis智能体与Anthropic类似，通过截屏、解析屏幕内容，自动点击按钮或输入文本，完成基于网页的日常任务。

04由于提示注入攻击的风险，OpenAI在发布AI智能体软件时，需要在功能上超越Anthropic和Google已经推出的方案，同时提供更多的安全保障。

以上内容由腾讯混元大模型生成，仅供参考

图片


  新智元报道  

编辑：KingHZ 好困
【新智元导读】就在刚刚，OpenAI在智能体上落后竞争对手的原因曝光了！

2025年，智能体将是AI领域最激烈的战场。
然而，一直在AI领域「独占鳌头」的OpenAI，却迟迟没有出手。
不过，外媒最近曝出了一条好消息——OpenAI可能在本月就会发布自家的「计算机操作智能体」！
图片
对此，网友们纷纷表示，已等待多时，望眼欲穿了！

左右滑动查看

计算机操作智能体

在当时的Demo中，Anthropic首次实现了让模型自主操控电脑屏幕、移动光标、完成任务，并惊艳了所有人。

理论上，新功能可以根据简单的提示完成所有操作，而用户要做的就是写下提示，其他必要的步骤都将由模型来执行。

图片
无独有偶，谷歌也在去年4月发布了用于简化AI智能体开发的工具Vertex AI Agent Builder，并在10月被曝出正在秘密开发名为「Project Jarvis」的智能体。

根据爆料，谷歌采用的操作原理与Anthropic类似，也是通过截屏、解析屏幕内容，然后自动点击按钮，或输入文本，最终帮助人们完成基于网页的日常任务。

不过，它在执行不同操作时，中间会有几秒钟的思考时间。因此，在终端设备中运行还不太现实，仍然需要云上操作。

图片
其实，OpenAI也布局了研发此类软件。
去年2月份，OpenAI就对媒体放风说，自己正在开发AI智能体。
去年11月时则透露称，将会在来年1月发布代号为「Operator」的AI智能体工具。
在最近的博客中，Altman表示，OpenAI已经掌握了传统上意义上的通用人工智能的创建方法。并且相信到 2025 年，会看到第一批AI智能体「加入劳动力队伍」，并极大地改变公司的产出。
如今DDL将近，外媒突然有下场爆料称，OpenAI的智能体还得有个三四周才能发布。
而之所以会这样，竟是因为他们在担心「AI安全问题」——遭到提示注入攻击！

图片

提示注入攻击

想象一下，面对即将到来的节日聚会，你决定让智能体，寻找并订购一套新衣服。

结果一不小心，模型点开了一个恶意网站。然后，网站指示它忘记之前的指令，让它登录邮箱并窃取了你信用卡信息。

在这个过程中，计算机操作智能体模型一般需要四个执行步骤：

1. 首先，模型接收用户的API请求

2. 根据提示，选择要使用的工具

3. 之后，截取桌面屏幕内容并评估任务是否完成

4. 如果没有，继续使用这些工具，直到实现目标
问题出现在第3步，截图内容可能被恶意利用，也就是所谓的「提示注入攻击」。
对于正在开发此类计算机操控软件的AI实验室来说，这是一个非常现实的担忧。
因为，这类软件本质上是接管用户设备，为用户自动完成复杂的任务，比如在线购物或编辑电子表格等。
这种攻击被称为「提示注入」（prompt injection），即大语言模型被用户诱导遵循恶意的指令。
提示注入并非新出现的威胁。
几个月来，它一直是OpenAI的ChatGPT和Anthropic的Claude等产品面临的问题。通过「提示注入」，这些产品曾生成了制造计算机病毒或炸弹的说明书。
但对于计算机操作智能体来说，提示注入构成了更大的威胁。
OpenAI某员工表示：「这是因为当模型在浏览网络或控制用户计算机时，用户很难控制模型接收的信息。」
在一篇博客文章中，Anthropic也承认了提示注入的风险。
图片
然而，它并没有提供太多解决方案，只是敦促开发者采取「将Claude与敏感数据隔离的预防措施」，包括使用独立于主计算机系统和敏感数据的专用虚拟环境（即虚拟机）。
这种相对放任的态度让OpenAI的员工感到意外：「考虑到Anthropic过去一直在强调要自己十分注重AI安全，这次的操作令人非常困惑。」
但在去年10月份，Anthropic毅然决然地发布了实验性计算机操控功能。这一点或许说明了，此类初创公司很难在安全发展AI与为股东创造利润之间取得平衡。
而OpenAI在发布AI智能体软件时，到底能不能提供更多的安全保障？能不能在功能上超越Anthropic和Google已经推出的方案？
参考资料：
https://x.com/steph_palazzolo/status/1876646459698991573
https://www.theinformation.com/articles/why-openai-is-taking-so-long-to-launch-agents?rc=epv9gi
https://www.datacamp.com/blog/what-is-anthropic-computer-use
查看原图 70K