对话式搜索,意味着传统互联网搜索的终结

全文8136字,阅读约需24分钟,帮我划重点

划重点

01搜索引擎正进入对话式搜索时代,利用生成式AI整合互联网各处的实时信息。

02Google、OpenAI、微软和Perplexity等公司纷纷布局对话式搜索领域,争夺下一代信息检索的首选平台。

03然而,出版商对AI概述可能降低用户访问原始内容的意愿表示担忧,担心产生虚假信息和错误答案。

04未来搜索结果将不再仅仅是关键词搜索,而是以对话式、直接回答问题的形式呈现。

05专家预测,AI概述将加速无点击搜索的趋势,改变人们获取信息的方式。

以上内容由腾讯混元大模型生成,仅供参考

图片


作者 | Mat Honanarchive

编译 | 未来学人

来源 | 麻省理工科技评论


我们都知道“谷歌一下”在口语中的含义。只需在搜索框中输入几个关键词,就能获得一系列蓝色链接,指向最相关的结果。搜索结果上方可能会显示一些简短说明,比如地图、体育比分或视频。但本质上,这只是从互联网上获取已有信息,并以结构化的方式呈现给用户。

但这一切即将改变。我们正站在一个重要的转折点上。

当下,搜索引擎提供信息的方式正经历着自20世纪90年代以来最重大的变革。不再是简单的关键词搜索,不再是筛选和点击链接。我们正在进入对话式搜索时代。这意味着,你可以使用自然语言提出真实问题,而不是输入关键词。你看到的链接会越来越少,取而代之的是答案——这些答案由生成式AI基于互联网各处的实时信息撰写和呈现。

作为在过去25年里定义了搜索的公司,谷歌正努力保持在这一领域的领先地位。2023年5月,该公司开始测试AI生成的搜索回复,利用其大型语言模型提供类似专家或可信朋友般的答案。这项功能被称为AI概述(AI Overviews)。谷歌首席执行官桑达尔·皮查伊表示,这是“我们很长时间以来对搜索进行的最重大改变之一”。

AI概述从根本上扩展了谷歌能够处理的查询类型。现在你可以问诸如“我下个月要去日本一周。我将住在东京,但想进行一些一日游。附近有什么节日吗?镰仓的冲浪怎么样?有什么好乐队演出吗?”这样的问题。你会得到一个完整的答案,而不仅仅是一个指向Reddit的链接。

更令人兴奋的是,你现在可以尝试以前难以实现的搜索,并获得准确答案。你不需要精确描述你要找的东西。无论是描述院子里的鸟、冰箱的故障,还是汽车发出的异响,你都能得到一个近乎人工撰写的解释,这些解释整合了互联网上原本分散的信息源。这种体验令人着迷,一旦开始使用,就会欲罢不能。

这种变革不只局限于谷歌。OpenAI的ChatGPT现在可以访问网络,大大提升了其回答最新问题的能力。微软于9月份为必应引入了生成式搜索结果,Meta也推出了自己的版本。初创公司Perplexity同样投身其中,秉持“快速行动,打破常规”的理念。数万亿美元的市场正等待着这些竞争者,看谁能成为下一代信息检索的首选平台,成为下一个谷歌。

然而,并非所有人都对这一转变感到乐观。出版商们尤其担忧。他们害怕迎来“零点击”时代。在这个时代,网络的根基之一,即搜索引擎带来的流量,将不复存在。

去年6月,我亲身体验了这个未来。那天,我收到了Perplexity应用的推送通知。这家致力于重塑网络搜索的初创公司不仅提供深度查询答案,还能利用AI整合各方新闻源,生成当日新闻报道。

推送的内容是关于埃里克·施密特新无人机公司的报道。这个故事我很熟悉,《福布斯》本周早些时候曾独家报道,但设有付费墙。令人惊讶的是,Perplexity的报道使用了相同的图片,行文和结构也极为相似。本质上是同一个故事,却免费向所有人开放。

我询问一位参与编辑原始报道的朋友,《福布斯》是否授权了这家初创公司转载内容?答案是否定的。他感到震惊、愤怒,还有困惑。他并非个例。《福布斯》、《纽约时报》和康泰纳仕集团已向该公司发出停止侵权通知,新闻集团更是提起诉讼。

这正是出版商最担心的情况:AI正在消化他们的优质内容,重新包装后推送给受众,而读者根本不需要点击原始内容。事实上,Perplexity在其“关于”页面上,将“跳过链接”列为选择其搜索引擎的首要理由。

但问题不仅仅关乎出版商(或我个人的利益)。

人们还担心这些基于LLM的搜索结果会如何影响我们对“共同现实”的认知。语言模型容易编造内容,产生虚假信息。更重要的是,生成式AI可能对同一个问题给出完全不同的答案,甚至根据对用户的了解提供个性化回应。这可能意味着标准答案的终结。

但不可否认的是:这就是搜索的未来。亲自体验后,你就会明白。

当然,我们仍然需要搜索引擎来浏览网络,发现新的有趣信息源。但外部链接正在变得次要。AI能够为几乎任何问题整合出合理答案,并利用网络各处的实时数据,提供了更优质的体验。与近年来日益混乱、难以导航的网络搜索相比,这种体验尤其突出。即使搜索没有完全失败(数据显示人们使用谷歌搜索的频率创下新高),但它确实变得越来越杂乱无章。

谁愿意用搜索引擎的专业术语来寻找所需信息?当可以直接获得答案时,谁还想浏览大量链接?更重要的是:在追求知识的过程中,谁愿意被局限于简单的知晓?


搜索引擎简史

Archie是第一个真正的互联网搜索引擎,它爬取了隐藏在远程服务器深处的文件。它只能显示文件名,无法展示文件内容。它没有图片预览功能,没有结果层级,界面也极其简单。但作为开端,这已经相当不错了。

随后,蒂姆·伯纳斯·李创造了万维网,网页如雨后春笋般涌现。有Mosaic主页、互联网电影数据库、Geocities、Hampster Dance、网络环、Salon、eBay、CNN、联邦政府网站,甚至还有来自土耳其某个人的主页。

最终,网络变得如此庞大,人们甚至不知从何处着手。我们迫切需要一个更好的方式来浏览,找到真正需要的信息。

1994年,杨致远创建了雅虎,这是一个分级式的网站目录。它很快成为数百万人的首选主页,而且还算可以。说实话,回想起来,我们当时都可能都高估了它的实用价值。

随着网络持续增长、扩张,每天都有海量信息涌入。我们需要的不只是按类别列出网站,而是能够查看和索引所有内容的工具。到了90年代后期,各类搜索引擎应运而生:AltaVista、AlltheWeb、WebCrawler和HotBot。它们确实带来了巨大进步,至少在最初是这样。

但随着搜索引擎的崛起,人们开始寻求利用其提供流量的能力。对网页出版商和零售商来说,这些流量极其宝贵,可用于投放广告和吸引顾客。为了提高搜索排名,一些网站开始在页面中塞入大量关键词和无意义文本。情况逐渐失控。

接着谷歌横空出世。很难形容1998年谷歌推出时带来的革命性影响。它不仅扫描内容,还分析网站的外部链接来源,从而评估其相关性。原理很简单:一个网页被引用得越多,谷歌就认为它越可靠,排名就越高。这一突破使谷歌在相关性搜索方面远超前人。确实令人惊叹。

在这25年间,谷歌主导了搜索领域。对大多数人而言,谷歌就等同于搜索。(这种主导地位现已成为美国和欧盟多项法律调查的焦点)。

谷歌首席科学家潘杜·纳亚克表示,谷歌已远超简单提供蓝色链接的阶段。他解释说:“除了常规网络结果,我们现在提供图片、视频和新闻等多样化内容。我们还提供直接答案、词典解释、体育比分、知识图谱生成的答案和特色片段等功能”。

他强调了谷歌在直接回答用户问题方面的持续进步。如今,谷歌已发展成为一个全方位的答案平台。用户无需跳转到其他网站,就能直接获取实时比分、咖啡馆营业时间,甚至美国食品药品监督管理局(FDA)网站的内容摘要。

当你体验过AI概述后,你会发现这是一个全新的境界。以特色片段为例,谷歌会在搜索结果顶部展示直接引用自原始来源的段落。知识面板采用类似方式,依托公共数据库和谷歌知识图谱(一个包含数万亿条事实的数据库)来生成信息。

这些信息可能不准确,但信息来源是可知的,也是可修复的,因为它们存储在固定的数据库中。而AI概述则截然不同:它通过实时整合语言模型的预测文本和网络索引,每次都可能产生不同的结果。

皮查伊在接受《MIT科技评论》采访时说:“这是一个令人振奋的时刻。我们已完成了对世界的索引,在此基础上建立了深刻的理解,并运用知识图谱。我们一直在使用大型语言模型和生成式人工智能来加深这种理解。现在,我们可以利用这些技术来生成和创作内容。”

这种体验不再像在查询数据库,更像在与一位博学多识的朋友对话(当然,这位朋友在不知道答案时可能会胡说八道)。

谷歌搜索负责人丽兹·里德指出:“我们的使命是组织世界的信息。但长期以来,我们仅仅是在组织网页。这与真正地组织世界信息、让信息变得实用且易于获取还有很大差距。”

可访问性是谷歌使用AI概述的第二个核心关注点。在与谷歌高管的对话中,一个观点反复出现:通过引入语言模型,他们能够用自然语言更有效地处理复杂查询并提供答案。

这种可访问性在未来搜索超越文本查询时将变得更加重要。比如,Google Lens让用户可以拍照或上传图片,然后通过AI生成答案来解释图像内容。谷歌甚至展示了查询实时视频的能力。

皮查伊说:“我们确实处于起步阶段,人们将能够提出并获得比过去十年更复杂问题的答案。”

然而,这里也存在明显的风险。最关键的是:大型语言模型会说谎、产生幻觉、犯错。在没有答案时,AI模型会轻率而自信地编造答案。对于以20年可靠性著称的谷歌来说,这是个严重问题,对用户来说更可能带来危险。

2024年5月,AI概述在美国全面推出时就遇到了麻烦。作为世界信息权威的谷歌,竟然建议人们吃石头、在披萨上涂胶水。这些荒谬答案主要源于“对抗性查询”,即专门设计来使系统出错的问题。尽管如此,这种表现令人担忧。谷歌迅速采取行动,包括停止支持来自Reddit等用户生成内容的网站,因为这些网站是一些离奇答案的来源。

虽然“吃石头”这样的明显错误引起了广泛关注,但更隐蔽的危险在于那些不那么明显的错误。例如,当我研究这篇文章时,询问《MIT科技评论》的上线时间,它回答说是“2022年末”。对我来说这显然是错的,但对不熟悉该刊物的人来说,这个错误可能并不明显。

我在谷歌和OpenAI的ChatGPT搜索中也发现了类似的例子,在一些细微的、不易被立即识别为错误地方存在偏差。谷歌的策略是通过依赖可靠来源,随时间推移不断改进这些结果。

谷歌首席科学家解释说:“生成AI概述时,我们会寻找搜索结果中的相互印证信息,并尽可能使用可靠来源。这些机制确保了即使用户只看AI概述而不深入查证,也能获得可靠、可信的答案。”

以上述2022年的错误为例,这个答案似乎来自一篇关于《MIT科技评论》在2022年推出的电子邮件简报的文章。但AI从根本上误解了内容。这正是谷歌使用人类评估者来验证结果准确性的原因之一。这些评分并非用于纠正单个AI概述,而是帮助训练模型生成更好的答案。不过,人类评估者也会犯错,谷歌正在努力解决这个问题。

纳亚克说:“实验评估者可能会忽视幻觉,因为这些内容往往看起来很自然。因此,我们必须认真做好评估工作,确保有人能够识别并指出幻觉问题。”


新的搜索方式

谷歌已将其AI概述推广至100多个国家,服务超过10亿用户,同时也面临着一些对搜索机制有创新想法的新兴企业的挑战。


谷歌
这家搜索巨头已在搜索结果中整合了AI概述功能。这些概述利用网络数据和谷歌知识图谱,通过Gemini语言模型为搜索查询生成答案。谷歌的AI概述能够为复杂查询提供清晰易懂的摘要,并在答案旁提供来源引用。在主要搜索选项中,其深度网络索引最贴近传统互联网体验。但网络出版商担忧这些摘要会降低用户访问原始内容的意愿。

Perplexity
Perplexity是一款对话式搜索引擎,运用OpenAI和Anthropic提供的第三方大型语言模型来回应查询。它擅长深入探讨用户的问题,提供类似小型白皮书的详细答案,并善于总结时事。但出版商对其评价不高,认为它过于随意地使用他们的内容。

ChatGPT
当谷歌将AI引入搜索领域时,OpenAI则将搜索功能整合进ChatGPT。系统会自动判断哪些查询需要网络搜索支持,用户也可以手动选择使用搜索功能。ChatGPT因其能在对话中保持上下文连贯性,特别适合需要多轮互动的搜索任务,比如规划假期。据OpenAI透露,用户有时会进行长达20轮的深入查询。在这三个选项中,它对原始内容的链接展示最不明显


在与皮查伊讨论这个话题时,他对公司使用LLM生成准确回应的能力持乐观态度。这种信心源于AI概述不仅基于谷歌的旗舰大型语言模型Gemini,还结合了知识图谱和网络上可信来源的信息。

他说:“这始终是一个概率问题。我们提供的服务在信任度、准确性和质量方面达到了我认为的99.9%的纯度。这是我们的运营标准,也适用于AI概述。问题在于我们能否在更大规模上实现这一目标?我相信我们可以。”

然而,还存在另一个风险:用户可能会向谷歌提出各种不当查询。如果想了解一个人最隐秘的一面,查看他们的搜索记录就够了。有时用户的搜索内容会涉及极其消极甚至违法的内容。因此,谷歌不仅要在适当时机部署AI概述,还必须谨慎避免在可能造成危害的情况下使用它。

里德说:“如果有人搜索‘如何制造炸弹’,显示网络结果是可以的,因为这是开放的互联网,任何内容都可以访问。但我们不需要用AI概述来详细说明制造炸弹的方法,对吧?我们认为这样做毫无价值。”

然而,最大的隐忧或者说最大的未知因素,是对谷歌搜索生态系统下游的所有参与者的影响。以出版商为例,他们数十年来一直依靠搜索流量吸引读者。如果用户寻找的所有信息都直接呈现在搜索结果中,他们还有什么动力点击访问原始内容呢?
市场研究公司SparkToro的联合创始人兰德·菲什金发布了一项关于“零点击搜索”的研究。随着谷歌越来越专注于直接提供答案,“无点击搜索的比例持续上升”。他预测,AI概述将加速这一趋势。

他表示:“如果你的业务发展依赖谷歌带来的流量,那么无论短期还是长期,你都将面临困境。”

皮查伊的回应是:不要恐慌。他认为,即使在AI概述时代,用户仍然会点击深入了解很多类型的搜索内容。“最根本的是,人们来这里是为了寻找信息。他们并不总是希望谷歌仅仅给出答案,”他说,“有时是这样,但在大多数情况下,这只是一个起点。”

与此同时,里德认为,AI概述可能反而会帮助某些类型的出版商和小型企业,特别是那些经营细分市场的企业。这是因为它允许用户提出更复杂的问题,更深入地了解所需内容:“你实际上可以接触到新的受众,因为人们现在能更具体地表达需求,专业企业不必再为通用搜索词费心排名。”


模型如何搜索

“我要做些冒险的事情,”尼克·特利通过Zoom对我说。作为ChatGPT的产品负责人,他正在OpenAI新网络搜索工具发布前几周展示这款产品。“我通常会提前测试,但这次我想直接搜索你的信息,”他说,“这种演示总是有风险的,因为人们往往对网上关于自己的描述很敏感。”

他在搜索框中输入我的名字,原型搜索引擎随即生成了一段类似简介的文字。它准确识别了我的身份和当前职位,甚至提到了我几年前写的一篇广受关注的文章,可能是我最知名的作品。简而言之,这个答案很准确。

在我们交谈几周后,OpenAI将搜索功能整合进了ChatGPT,用网络各处的信息补充其语言模型的回答。如果模型认为回应需要最新信息,它会自动进行网络搜索(OpenAI没有透露其搜索合作伙伴),并将搜索结果整合到答案中,同时提供链接供用户深入了解。如果模型没有主动搜索,用户也可以手动触发网络搜索。

OpenAI没有公布使用其网络搜索的具体人数,但表示ChatGPT每周约有2.5亿用户,这些用户都可能接触到这项功能。

据菲什金称,这些新型AI辅助搜索尚未对谷歌的搜索主导地位构成威胁。“它似乎并未蚕食传统的网络搜索方式,”他说。

OpenAI坚称它并不是真正在搜索领域竞争。坦白说,这听起来有点像在设定预期。该公司表示,网络搜索主要用于获取比训练模型数据更新的信息。这些模型通常有固定的数据截止日期,可能是几个月前,甚至一年或更久之前。这意味着虽然ChatGPT擅长解释西海岸进攻足球队的战术原理,但它一直无法告诉你49人队的最新比分。不过现在情况改变了。

OpenAI的首席产品官凯文·韦尔告诉我:“从根本上说,我们在思考‘如何让ChatGPT回答用户的每一个问题?如何让它在日常生活中更实用?’这就是搜索对我们的意义。”“网络上信息浩如烟海,很多事情都在实时发生。我们希望ChatGPT能利用这些信息完善答案,成为更好的超级助手。”

如今,ChatGPT可以提供最新新闻的回复,还能查询股票价格等实时信息。虽然ChatGPT的界面一直比较简单,但搜索功能为其带来了丰富的多媒体内容,包括图像、图表,甚至视频,带来了全新的使用体验。

韦尔认为,与依赖广告的谷歌和微软必应相比,ChatGPT在创新和独立发展方面更加自由。OpenAI不靠广告收入(至少目前不靠),而是直接从开发者、企业和个人用户那里获得收入。虽然现在正在大量烧钱(据报道预计2026年将亏损140亿美元),但至少不用像谷歌那样操心搜索结果中的广告投放。

ChatGPT像谷歌一样从网络出版商那里获取信息,进行总结并纳入答案中。但它也与出版商签订了付费协议,作为使用其内容的补偿。(《MIT科技评论》一直在与OpenAI、谷歌、Perplexity等公司商讨出版协议,但尚未达成任何协议。编辑部既未参与也未被告知这些讨论的内容)。

但问题在于,为了实现OpenAI的目标,提供比语言模型更及时的信息,网络搜索必须从未签约的出版商和信息源获取内容。OpenAI的媒体合作伙伴负责人瓦伦·谢蒂表示,他们不会特殊优待合作的出版商。

OpenAI解释说,模型会自行为每个问题找到最可信和最有用的来源。但这也会出现怪异情况。特利搜索我名字的那次,在首次展示时它提到了我几年前为《连线》杂志写的一篇关于被黑客攻击的文章。这是我最受欢迎的文章之一,但ChatGPT没有链接到原文,而是链接到了《The Verge》的一篇简短转载。当然,正如特利所说,这只是“有风险的”原型搜索。

当我询问这个问题时,他无法确切解释模型为何选择了这些特定来源,因为这种评估是由模型自主完成的。虽然公司会通过识别更优质的答案来引导模型(有时也会借助用户反馈),但最终的选择权仍在模型手中。

特利说:“模型确实经常会犯错,这也是我们需要继续改进的原因。让模型参与决策的方式与传统搜索引擎的运作方式有着本质的区别。

确实如此!

无论是OpenAI的GPT-4、谷歌的Gemini还是Anthropic的Claude,这些模型都善于解释各种概念。然而,它们的解释过程、选择特定来源的理由,甚至使用的措辞都显得颇为神秘。虽然模型能解释众多事物,但对自身的决策过程却难以说明。


向AGI过渡,而非终点

约十年前的2016年,皮查伊写道,谷歌正从“移动优先”转向“AI优先”:“在未来十年,我们将迈入人工智能优先的世界。在这个世界里,计算将无处不在,无论是在家里、在工作中、在车上还是在旅途中。与这些界面的互动将变得更自然、更直观,最重要的是,更智能。”

生成式AI的搜索结果最好被理解为一个过渡点,而非终点。最重要的可能不在于搜索本身,而在于搜索为AI模型开发者提供了一条途径,让他们能将实时信息整合到输入和输出中。这开启了无限可能。OpenAI的韦尔说:“能理解和访问网络的ChatGPT不仅仅是用来总结信息。它的真正价值在于能为用户完成实际任务。这里蕴含着令人振奋的未来。你可以设想让模型为你预订航班、点外卖,或是完成其他日常任务。一旦模型掌握了使用互联网的能力,可能性就无限了。

这就是我们一直在讨论的自主代理的未来。随着人工智能模型越来越多地利用互联网上的实时数据,这个未来正在接近现实。

假设你计划几周后出行。一个能获取实时互联网数据的代理可以根据对你的了解,自动为你预订航班、酒店房间和餐厅。另一个代理可以监测你家中的污水排放来检测潜在疾病,并适时安排检查和治疗。当你的汽车发出异响时,你甚至不需要去搜索原因,因为车载代理已经诊断问题并预约了维修。

皮查伊说:“这不仅仅是搜索和解答。有时是行动,有时是现实世界中的互动。这体现了一个通过各种方式提供普遍协助的理念。”

答案的呈现方式也在快速演变。如今的谷歌不仅能搜索文本、图像和视频,还能创建它们。想象一下,当这种能力与跨平台、跨设备的搜索相结合会怎样:“给我看看面前这棵树上的托氏莺。”或者“用我现有的家庭照片和视频,制作一个关于我们明年波多黎各度假的预告片,要突出最佳餐厅和地标景点。”

他解释道:“我们目前主要在输入端实现了这一点,但你可以想象这在输出端同样可行。”

皮查伊表示,他很期待将这样的未来带到网络上。谷歌已经展示了这种可能性,比如NotebookLM工具就能将大量文本转换成轻松的播客内容。将一种形式的输入转换为多种输出的能力,他认为这种功能将彻底改变我们与信息互动的方式。

在今年夏季的开发者大会上,谷歌展示了Project Astra工具,展现了这种愿景的一个版本。在演示中,手机和智能眼镜中的摄像头与麦克风能理解周围的所有环境,无论线上还是线下,声音还是画面,都能以多种方式进行回应。例如,Astra能识别一级方程式赛车的草图,不仅能辨认出它,还能解释各个部件的功能。

但你可以想象得更远一些(而且一定会)。假设我想看一段关于修理自行车某个部件的视频。这个视频虽然不存在,但相关信息是存在的。人工智能辅助的生成式搜索理论上可以在网上找到这些信息,比如它可能藏在公司网站上的用户手册中,然后可以创建一个视频来演示操作步骤,就像它现在已经能用文字解释的那样。

当你将模型引入所有这些领域时,一些神奇的事情就会发生:人类知识的完整汇编——包括那些曾经被困在各种语言和格式孤岛中的知识;地图、企业登记和产品编码;音频、视频、数字数据库、古籍和图像,以及所有曾经发表、追踪、记录的信息;还有此时此刻正在世界各地发生的事情,这一切都将被整合到一个模型中。这个模型虽然可能无法完全理解所有内容,但能够将这些信息整合在一起,重新组织,并以各种新颖且实用的方式呈现出来。这远远超出了简单索引所能实现的范畴。

这就是我们即将迎来的未来,也是我们已经开始窥见的景象。当谷歌将这项技术推广给十亿用户,让许多人首次接触对话式人工智能时,这意味着什么?我们的行为方式将发生怎样的改变?

这一切的变革来得如此之快。让我们屏住呼吸,拭目以待。


本文编译自麻省理工科技评论,采用AI编译,模型训练:讯鸟云服,编辑审校:从林

本文为翻译作品,原文版权归原作者所有。未来学人仅作编译,文章观点不代表未来学人立场。如有侵权,请联系我们删除。

     关注未来学人,读原汁原味的全球报道 

    点击👇关注,或搜索未来学人关注公众号