Z Tech | 世界模拟器问世,UMass淦创团队打造Virtual Community,人机共处的开放世界演化引擎上线

问AI · 人机共存会引发哪些社会冲突?

人工智能与机器人技术的快速发展,可能将引发深刻的社会变革:人类与机器人开始在共享社区中共存。

为探索这一未来,Virtual Community出现:这是一个为人类、机器人与社会构建的开放世界平台,它基于通用物理引擎并扎根于真实世界的三维场景。人类角色与机器人Agent将在开放世界社会中互动、成长,并共同演化。

来源:https://virtual-community-ai.github.io

Virtual Community包含6种机器人Agents,可以模拟世界任何地方的3D场景,为Agent构建出一个大规模社区,从伦敦到纽约,延伸至全球各地,包含35个全球不同城市的带注释场景。

图片
图片

来源:https://virtual-community-ai.github.io

团队由来自麻省大学阿默斯特分校(UMass Amherst)、约翰霍普金斯大学(JHU)、卡内基梅隆大学(CMU)等顶尖研究机构的学者组成,旨在大规模研究“具身社会智能”。团队成员包括Qinhong Zhou(周沁泓)、Hongxin Zhang (张洪鑫)、Xiangye Lin等。

主要团队来自于UMass Embodied AGI Lab,其目标是开发能够像人类一样理解世界并与世界互动的具身智能体。通过将物理智能、社交智能与先进的模型相结合,力求突破虚拟和现实世界中具身通用智能的界限。实验室有五篇工作发表在ICLR 2025会议上。

图片

来源:https://virtual-community-ai.github.io

其中,Qinhong Zhou是UMass Amherst的博士生,导师是曾获微软学者奖和百度学者奖的Chuang Gan(淦创)教授,在清华计算机科学与技术系分别获得学士和硕士学位。他的研究重点是人工智能Agent与人类及其他Agent的协调与合作,以及人工智能的决策能力。研究领域涵盖具身人工智能仿真、多Agent/模型协作、LLM知识蒸馏。

Hongxin Zhang同样也是UMass Amherst计算机科学专业下Chuang Gan教授的博士生,本科毕业于上海交通大学ACM荣誉班。他对人类与其他生物以及彼此之间的区别感兴趣,目前的研究主要集中在具身人工智能和Agent方面。

导师:Chuang Gan是UMass Amherst的助理教授,同时担任MIT-IBM沃森人工智能实验室的研究经理。他曾在MIT担任博士后研究员,与Prof. Antonio Torralba, Prof. Daniela Rus, 以及Prof. Josh Tenenbaum合作。在此之前,他以最高荣誉从清华大学获得博士学位,导师为姚期智教授。其主要研究聚焦于计算机视觉、人工智能、认知科学和机器人学的交叉领域,研究的总体目标是构建一个能够在物理世界中感知、推理和行动的人类样自主Agent。Chuang Gan的工作曾获得微软奖学金、百度奖学金,以及CNN、BBC、《纽约时报》、《WIRED》杂志、《福布斯》和《MIT Tech Review》的媒体报道。

Virtual Community主要解决大规模研究具身社会智能目前现有的三大问题:

  • 机器人如何智能地进行合作或竞争;

  • 人类如何发展社会关系并构建社区;

  • 更重要的是,人类与智能机器人如何在开放世界中共存。

而为了支撑这些研究目标,Virtual Community拥有以下核心特性:

  • 一个开源的多智能体物理模拟器,支持机器人、人类及其在社会中的互动;

  • 一个大规模、对齐真实世界的社区生成流程,涵盖广阔的户外空间、多样的室内场景,以及一个由具身Agent组成的社区,这些Agent具备丰富外观和角色设定。

Virtual Community是一条自动化流程,将真实世界的地理数据转化为大规模的三维场景和具备语境的Agent社区。该系统基于通用物理引擎构建,支持多种类型的机器人,包括移动机械臂、四足机器人、人形机器人和无人机,同时也支持具备视觉表现力的虚拟人角色,实现逼真的动作与基于语言的交互。

图片

来源:https://virtual-community-ai.github.io/paper.pdf

为实现真实、复杂的人机共处社会模拟,Virtual Community构建了一套自动化生成流程,从真实世界的地理空间数据出发,逐步生成场景与Agent,并支持完整的社会-物理互动仿真。

该框架由三个核心模块组成:流程从真实世界的地理空间数据中生成场景及相应的Agent。各模块协同工作,实现了从数据到动态社区的全流程重建,使大规模、多智能体的社会行为研究成为可能。

场景生成模块(A):利用生成模型对粗糙的三维数据进行优化,通过增强纹理和简化几何结构来提升场景质量。此外,还使用生成方法创建可交互的物体和细致的室内场景。

Agent生成模块(B):依托大语言模型(LLMs),根据场景描述生成具有人设和社会关系网络的Agent角色。

模拟模块(C):在 Genesis 引擎的支持下,我们对这些虚拟人群和机器人在开放世界场景中的行为进行模拟。

图片

来源:https://virtual-community-ai.github.io/paper.pdf

通过这一端到端的生成流程,Virtual Community实现了从现实地理数据出发,构建高度沉浸式、动态演化的虚拟社区。场景生成提升了环境的真实性与可交互性,Agent生成赋予了每个角色个性与社会关系,而在通用物理引擎上的模拟则将这些元素统一于一个可拓展的社会实验平台中。

本次访谈,Z Potentials 联合 Lumina 具身智能社区特邀周沁泓和张洪鑫两位博士直播Talk,深度解析其团队颠覆性工作Virtual Community。

本次分享会将于美东时间6月28号9:00pm(北京时间6月29日9:00am)举办,分享会末尾设置QA环节,扫二维码进群交流或直接预约直播 

Z Tech 诚邀海内外学术工作者投稿或加入我们的Phd/Researchers的实名社群!

论文地址:https://virtual-community-ai.github.io/paper.pdf

开源地址:https://github.com/UMass-Embodied-AGI/Virtual-Community

项目主页:https://virtual-community-ai.github.io/