李飞飞、谢赛宁等探索MLLM「视觉空间智能」，网友：2025有盼头了

机器之心

2024-12-23 11:51发布于北京机器之心官方账号

全文2633字，阅读约需8分钟，帮我划重点

划重点

01纽约大学、耶鲁大学、斯坦福大学的研究者探索多模态大语言模型在视觉空间智能方面的表现。

02他们推出了 VSI-Bench，一个基于视频的基准测试，涵盖了近290个真实室内场景视频，包含超过5000个问答对。

03尽管模型与人类之间存在较大的性能差距，但多模态大语言模型在视觉空间智能方面展现出了新兴的潜力。

04为此，研究者提出了用于自我解释的语言和认知图的选择模型。

05未来，研究者将继续探索如何提高多模态大语言模型在视觉空间智能方面的表现。

以上内容由腾讯混元大模型生成，仅供参考

机器之心报道
机器之心编辑部
希望 2025 年 AI 领域能带来推理之外的突破。

在购买家具时，我们会尝试回忆起我们的客厅，以想象一个心仪的橱柜是否合适。虽然估计距离是困难的，但即使只是看过一次，人类也能在脑海里重建空间，回忆起房间里的物体、它们的位置和大小。

我们生活在一个感官丰富的 3D 世界中，视觉信号围绕着我们，让我们能够感知、理解和与之互动。

这是因为人类拥有视觉空间智能（visual-spatial intelligence），能够通过连续的视觉观察记住空间。然而，在百万级视频数据集上训练的多模态大语言模型 (MLLM) 是否也能通过视频在空间中思考，即空间思维（Thinking in Space）？

为了在视觉空间领域推进这种智能，来自纽约大学、耶鲁大学、斯坦福大学的研究者引入了 VSI-Bench，这是一个基于视频的基准测试，涵盖了近 290 个真实室内场景视频，包含超过 5000 个问答对。

其中，视频数据是通过捕捉连续的、时间性的输入来完成的，不仅与我们观察世界的方式相似，而且比静态图像更能丰富空间理解和推理。在 VSI-Bench 上评估开源和闭源模型显示，尽管模型与人类之间存在较大的性能差距，尽管 MLLM 面临视频理解、文本理解和空间推理的挑战，但其仍展现出了新兴的视觉空间智能。

为了对模型行为展开研究，本文受到双重编码理论的启发（该理论认为语言处理和视觉处理既有区别又相互补充），他们提出了用于自我解释（语言）和认知图（视觉）的选择模型（selected models）。

图片


  • 论文地址：https://arxiv.org/pdf/2412.14171v1
  • 论文主页：https://vision-x-nyu.github.io/thinking-in-space.github.io/
  • 论文标题：Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces

这篇论文作者有我们熟悉的斯坦福大学教授李飞飞，她提倡的「空间智能」最近正在引领 AI 发展方向，还有纽约大学计算机科学助理教授谢赛宁等。

谢赛宁表示，「视频理解是下一个研究前沿，但并非所有视频都是一样的。模型现在可以通过 youtube 片段和故事片进行推理，但是我们未来的 AI 助手在日常空间中导航和经验如何呢？空间思维正是为这一问题诞生的，我们的最新研究 VSI-Bench，可以探索多模态 LLM 如何看待、记忆和回忆空间。」

图片
‍

‍「在视觉处理方面，我们通常处理空间问题，但很少进行推理；而多模态大语言模型（LLM）虽然能够思考，但通常忽略了逻辑空间。然而，作为人类 —— 无论是做心理旋转测试还是为新家定制家具 —— 我们依赖于空间和视觉思维 。而这些思维并不总能很好地转化为语言。」

图片

「我们通过研究涵盖各种视觉空间智能任务（关系和度量）的新基准来探索这一点。」

图片

李飞飞也对这项研究进行了宣传，她表示这项名为「Thinking in Space」的研究，是对 LLM（大部分都失败了）在空间推理方面表现的评估，而空间推理对人类智能至关重要。2025 年还有更多值得期待的事情，以突破空间智能的界限！

图片

在李飞飞的这条推文下，网友已经开始期待即将到来的 2025 年。

图片

在论文主页给出的 Demo 中，作者提供了谷歌 Gemini 模型在视觉空间智能上的一些表现。（以下视频均以 2 倍速播放。）

1：估计相对距离


问：如果我站在冰箱旁边，面对着洗衣机，炉子是在我的左边、右边还是后面……

图片

2：让大模型数物体


问：房间里有几把椅子？Gemini-1.5 Pro 给出了 2。

图片

3：根据视频猜测物体出现的顺序


问：以下类别在视频中第一次出现的顺序是：毯子、垃圾桶、微波炉、植物？Gemini 给出 B 选项，正确答案是 C。

图片

4：估计房间大小


问：这个房间有多大（平方米）？如果展示了多个房间，估计一下组合空间的大小。

图片

 VSI-Bench 介绍

VSI-Bench 是一个用于定量评估从第一视角视频出发的 MLLM 视觉空间智能的工具。VSI-Bench 包含了超过 5000 个问答对，这些问答对来源于 288 个真实视频。这些视频包括居住空间、专业场所（例如，办公室、实验室）和工业场所（例如，工厂）—— 以及多个地理区域。VSI-Bench 的质量很高，经过迭代审查以最小化问题的歧义，并移除了从源数据集中传播的错误注释。

VSI-Bench 包括八项任务，如图 3 所示，包括：物体计数、相对距离、出现的顺序、相对方向、物体大小、绝对距离、房间面积、路径规划。

图片
VSI-Bench 的任务演示。注意：为清晰简洁起见，上述问题略作简化。

数据集统计见图 5。

图片

此外，本文还开发了一个复杂的基准构建流程，以有效地大规模生成高质量问答（QA）对，如图 4 所示。

图片

评估

评估设置：本文对 15 个支持视频的 MLLM 进行了基准测试。专有模型包括 Gemini-1.5 和 GPT-4o。开源模型包括 InternVL2、ViLA、LongViLA、LongVA、LLaVA-OneVision 和 LLaVA-NeXT-Video 。

主要结果：通过 5000 多个问答对，作者发现 MLLM 表现出了有竞争性的视觉空间智能（尽管仍然低于人类）。Gemini Pro 表现最佳，但与人类的表现仍有差距。

具体而言，人类评估者的平均准确率达到 79%，比最佳模型高出 33%，在配置和时空任务上的表现接近完美（94%-100%）。

然而，在需要精确估计的测量任务上，差距缩小了，MLLM 在定量任务中表现出相对优势。

在专有模型中，Gemini-1.5 Pro 脱颖而出，尽管只在 2D 数字数据上进行训练，但它大大超过了机会基线，并在绝对距离和房间大小估计等任务中接近人类表现。

表现最佳的开源模型，如 LLaVA-NeXT-Video-72B 和 LLaVA-OneVision-72B，取得了有竞争力的结果，仅落后 Gemini-1.5 Pro 4%-5%。然而，大多数开源模型（7/12）都低于机会基线，暴露出视觉空间智能的明显缺陷。

图片

为了更好地理解模型成功或失败的时间和原因，并阐明它们所拥有的视觉空间智能的各个方面，本文研究了 MLLM 如何在空间语言中思考。

当被要求解释自己时，LLM 表示空间推理（而不是物体识别或语言能力）是主要瓶颈。

在成功示例中，该模型展示了高级视频理解能力，具有准确的时间戳描述和正确的逐步推理过程。全局坐标系的使用表明 MLLM 可以通过整合空间背景和推理来构建隐式世界模型。

图片

错误分析：对 VSI-Bench（tiny）上表现最佳的 MLLM 的错误进行分析，发现主要有四种错误类型：视觉感知、语言智能、关系推理和第一视角 - 他人视角转换。图 6 显示，71% 的错误源于空间推理，特别是在理解距离、大小和方向方面。这表明空间推理仍然是提高 VSI-Bench 上 MLLM 性能的关键瓶颈。

图片

此外，本文还有一些其他发现。

  • 发现 1：空间推理是影响 MLLM 在 VSI-Bench 上的主要瓶颈。
  • 发现 2：语言提示技术虽然在语言推理和一般视觉任务中有效，但对空间推理有害。
  • 发现 3：在记忆空间时，MLLM 会根据给定的视频在模型中形成一系列局部世界模型，而不是统一的全局模型。

图片
语言提示技术在这种情况下是无效的 —— 像 CoT 或多数投票这样的方法实际上对本文任务是非常有害的。

了解更多内容，请参考原论文。
查看原图 625K