3个月估值10亿，李飞飞空间智能首个模型诞生！一张图生成3D世界，视频游戏要变天

新智元

2024-12-03 09:56发布于北京新智元官方账号

全文3020字，阅读约需9分钟，帮我划重点

划重点

01李飞飞的World Labs公司发布了首个空间智能模型，可实现一张图生成一个3D世界。

02该模型可在浏览器中实时渲染，实现可控的相机效果、可调节的模拟景深等互动体验。

03未来，视频游戏、电影等领域将发生翻天覆地的变化，提高创作效率和降低成本。

04除此之外，空间智能模型可与其他AI工具组合，为创作者提供全新的体验。

05目前，World Labs已开放候补名单，欢迎有兴趣的用户申请体验空间智能技术。

以上内容由腾讯混元大模型生成，仅供参考

图片


  新智元报道  

编辑：编辑部 HYZ
【新智元导读】李飞飞的World Labs首个「空间智能」模型，刚刚诞生了！一张图生成一个3D世界，网友惊呼：太疯狂了，我们进入了下一轮革命，这就是视频游戏、电影的未来。

AI生成3D世界成真了！
就在刚刚，AI教母李飞飞创立的World Labs首次官宣「空间智能」模型，一张图，即可生成一个3D世界。
用李飞飞的话说，「无论怎样理论化这个想法，都很难用语言描述一张照片或一句话生成3D场景的互动体验。」
图片
这是迈向空间智能的第一步。

图片

交互传送门：https://www.worldlabs.ai/blog#footnote1
所有场景都能在浏览器中实时渲染，还能实现可控的相机效果、可调节的模拟景深。
图片
未来，游戏NPC的虚拟世界可以随意切换，都是分分钟生成的事情。
图片
图片
英伟达高级研究科学家、李飞飞高徒Jim Fan总结道，「GenAI正在创造越来越高维度的人类体验快照。Stable Diffusion是2D快照；Sora是2D+时间维度的快照；而World Labs是3D、完全沉浸式的快照」。
图片
今年4月，李飞飞被曝出开始自创业，专注于空间智能，新公司私下融资直接晋升10亿美元独角兽。
直到9月，这家名为World Lab正式亮相，并在新一轮融资2.3亿美金，得到了AI大牛Geoffrey Hinton、Jeff Dean、谷歌前CEO Eric Schmidt等人的鼎力支持。

图片

World Labs创始人团队，左起依次为Ben Mildenhall、Justin Johnson、Christoph Lassner和李飞飞
如今酝酿半年多，空间智能终见雏形。
网友们激动地表示，太疯狂了，我们即将迎来一个像是80年代、90年代那样的革命。这将让许多人实现他们的创意，有望降低开发成本，帮助工作室的新知识产权更大胆冒险。
图片
这就是视频游戏、电影的未来。
图片
VR从此有了更多可能性。

探索一个新世界


不论是Midjourney、FLUX，还是Runway、DreamMachine，我们熟知的大多数GenAI工具仅能制作图像/视频2D内容。
若是实现了在3D中生成，视频的控制性、一致性能得到极大的改善。
这也就意味着，制作电影、游戏、模拟器等其他物理世界的数字表现形式，将会发生翻天覆地的变化。
World Labs成立开始的初衷便是，空间智能的AI对世界进行建模，还能3D时空中物体/地点/交互进行推理。
这次，他们首次展示了这个3D生成的世界。
如下，是在浏览器中进行的实时渲染演示（注：AI图像均由FLUX 1.1 pro/Ideogram/Midjourney生成）。
输入一张AI生成的古色古香的村庄图像，然后就可以得到一个3D的世界。

图片

提示：这是一个古色古香的村庄，鹅卵石铺就的街道，茅草屋顶的小木屋，中央广场上有一口石井，周围是花坛
图片
一座富丽堂皇的宫殿，AI把光与影都展现得淋漓尽致。
图片
图片
一幅AI生成的折纸类图片，立刻活灵活现了起来。
图片
图片
又或者输入一张博物馆取景照片，谁又能想到这周围是什么样子的呢？
图片
AI帮你设想出了一切，出入门，下一间相邻的展馆、展品.....
图片
再比如这张实景图，AI也能想象出周围的世界。
图片
图片

相机效果


你还可以体现不同相机效果，场景生成后，会使用虚拟相机在浏览器中进行实时渲染。
通过对这个相机的精准控制，便可以实现艺术摄影特效。
比如模拟不同的景深，让只有在相机特定距离范围内的物体保持清晰：
图片
还可以模拟滑动变焦（dolly zoom），通过同时调整相机的位置和视场角来实现这一效果：
左右滑动查看

3D特效


大多数生成式模型都是预测像素的。而预测3D场景有很多好处：
- 场景持久性：一旦生成了一个世界，它就会稳定存在。即使你转开视线后再次观看，场景也不会在你看不见时发生变化。
- 实时控制：生成场景后，你可以在其中实时移动。你可以仔细观察花朵的细节，或是探头查看角落后面有什么。
- 几何精确性：这个生成的世界遵循基本的3D几何物理规则。它们具有真实的立体感和空间深度，与某些AI生成视频的虚幻效果形成鲜明对比。
可视化3D场景最简单的方法是，就是使用深度图（depth map）。在深度图中，每个像素都会根据其到相机的距离来着色：
图片
图片
我们不仅可以利用3D场景结构来创建交互特效：
图片
图片
还可以创建自动运行的动态效果，为场景注入生命力：
左右滑动查看
名画中的3D世界也可实时交互了。
图片

走进梵高的露天咖啡馆


现在，我们可以以全新的方式，体验标志性的艺术作品了！
原画中没有任何东西，是由模型生成的。
下面，就让我们走进从梵高、霍珀、修拉和康定斯基最喜欢的作品中生成的世界。

左右滑动查看

创意工作流


现在，3D世界生成可以十分自然地和其他AI工具组合在一起，创作者们可以使用已知的工具，获得无比丝滑的全新体验了。
首先，可以通过使用文本到图像模型生成图像，来从文本创建世界。
不同的模型都有自己的不同风格，而空间智能世界可以继承这些风格。
下面就是使用不同的文本到图像模型生成同一场景的四个变体， 它们使用的都是相同的提示。
提示：一间充满朝气的动漫风格青少年卧室，床上铺着五颜六色的毯子，书桌上杂乱地摆着一台电脑，墙上贴满了海报，各种运动器材随意地散落在房间里。一把吉他斜靠在墙边，房间中央铺着一块带有精美图案的舒适地毯。窗外透进的阳光为整个房间营造出温馨活力的青春氛围。

左右滑动查看

现在，已经有一些创作者提前试用了。
比如Eric Solorio就使用这个模型，填补了自己创意工作流程中的空白，可以让场景中的角色可以上阵，甚至还能指导摄像机精确移动。
Brittani Natail则将World Labs技术与Midjourney、Runway、Suno、ElevenLabs、Blender和CapCut等工具相结合，在生成的世界中精心设计了摄像机路径。
因此，得以在三部短片中唤起不同的情绪。
现在，候补名单已经开放了，话不多说了，赶快去申请吧。

空间智能，计算机视觉下一个前沿


此前，李飞飞在一次活动中，首次详细揭秘了何谓「空间智能」：
视觉化为洞察，看见成为理解，理解导致行动。
她将人类智能归结为两大智能，一是语言智能，另一个便是空间智能。虽然语言智能备受关注，但空间智能将对AI产生重大的影响。
图片
而在4月公开的TED演讲中，李飞飞也分享了自己关于空间智能的更多思考，同时预示着World Labs的目标所在。
她表示，「所有空间智能的生物所具备的行动能力，是与生俱来的。因为，它能够将感知与行动进行关联」。
「如果想让AI超越其自身当前的能力，我们需要的是，不仅仅能够看到、会说话的AI，而是一个可以行动的AI」。
图片
就连英伟达高级计算机科学家Jim Fan称，「空间智能，是计算机视觉和实体智能体的下一个前沿」。
正如World Labs的官博所阐述的那样，人类智能包含了诸多方面。
语言智能，可以让我们通过语言与他们进行交流和联系。而其中最为基础的便是——空间智能，能够让我们理解，并与周围世界进行互动。
此外，空间智能具备了极强的创造力，可以将我们脑海中的画面，在现实中呈现。
正是有了空间智能，人类能够推理、行动和发明。从简单的沙堡到高耸的城市可视化设计，都离不开它。
图片
在接受彭博最新采访中，李飞飞表示，人类的空间智能，实际上经过了数百万年的演化而来。
这是一种理解、推理、生成，甚至在一个3D世界中互动的能力。不论是你观赏美丽的花朵，尝试触摸蝴蝶，还是建造一座城市，所有这些皆是空间智能的一部分。
不仅是人类，动物身上也可以看到这一点。
图片
那么，如何让计算机也能具备空间智能的能力呢？其实我们已经取得了巨大的进步，过去十年AI领域的发展相当振奋人心。
一句提示，AI生成图像、视频，真知还能讲述故事。这些模型已经以全新的方式，重塑人类的工作和生活方式。
而我们仅是看到了GenAI革命前夜的第一章。
下一步，如何超越？
需要将这些能力，如何带到3D领域。因为现实世界，就是3D的，同时人类空间智能是建立在非常「原生」的理解和操作3D的能力之上的。
图片
如今，单个图像生成3D世界模型，让我们对空间智能有了初步的理解。
参考资料：

https://x.com/DrJimFan/status/1863646433435586903

https://x.com/drfeifei/status/1863618536318345688

查看原图 92K