一秒内从单个图像生成3D对象，支持实时编辑，Stability AI推出3D生成新方法SPAR3D

机器之心

2025-01-09 12:29发布于北京机器之心官方账号

AI划重点 · 全文约2390字，阅读需7分钟

1.Stability AI在CES上宣布推出3D生成新方法SPAR3D，为游戏开发者、产品设计师和环境构建者开拓3D原型设计新方式。

2.SPAR3D采用两阶段设计，第一阶段生成稀疏3D点云，第二阶段使用采样点云和输入图像创建高度详细的网格。

3.与其他方法相比，SPAR3D具有前所未有的控制能力，允许用户直接编辑点云以实现精确的几何形状和完整的360度视图。

4.此外，SPAR3D在保持高计算效率和输入观察保真度的同时，显著优于以往的回归方法。

5.实验结果显示，SPAR3D在GSO和Omniobject3D数据集上的大多数评估指标上都显著优于其他回归或生成式基线方法。

以上内容由腾讯混元大模型生成，仅供参考

机器之心报道

编辑：小舟、佳琪

2D 升维成 3D 的过程中，可见部分和不可见部分可以分开建模。

2025 年来了，3D 生成也迎来了新突破。

刚刚，Stability AI 在 CES 上宣布为 3D 生成推出一种两阶段新方法 ——SPAR3D（Stable Point Aware 3D），旨在为游戏开发者、产品设计师和环境构建者开拓 3D 原型设计新方式。

无论是精致的艺术品，还是纹理复杂的日常用品，SPAR3D 都能提供精确的几何形状和完整的 360 度视图的详细预测，包括通常隐藏的区域（例如物体的背面）：

值得一提的是，SPAR3D 还引入了实时编辑功能，能在不到一秒的时间内从单个图像生成 3D 对象的完整结构。

SPAR3D 是一种新颖的两阶段方法：第一阶段使用轻量级点扩散模型生成稀疏 3D 点云，采样速度快；第二阶段使用采样点云和输入图像来创建高度详细的网格。

这种两阶段设计能够对不适定的单图像 3D 任务进行概率建模，同时保持高计算效率和出色的输出保真度。使用点云作为中间表征还进一步允许交互式用户编辑。在不同的数据集上进行评估后，SPAR3D 表现出了优于 SOTA 方法的性能。

论文标题：SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images
论文链接：https://static1.squarespace.com/static/6213c340453c3f502425776e/t/677e3bc1b9e5df16b60ed4fe/1736326093956/SPAR3D+Research+Paper.pdf

简单来说，SPAR3D 具有如下优势：

前所未有的控制：允许用户通过删除、复制、拉伸、添加特征或重新着色点来直接编辑点云。
完整的结构预测：通过提供精确的几何形状和完整的 360 度视图的详细预测来增强 3D 构建。
闪电般快速生成：仅需 0.3 秒即可将编辑后的点云转换为最终网格，实现无缝实时编辑。从单个输入图像，SPAR3D 仅需 0.7 秒即可为每个对象生成高度详细的 3D 网格。

SPAR3D

基于点云采样的单图像三维物体重建

从一张图像重建 3D 物体是一个具有挑战性的逆向工程问题：尽管可以通过分析图像中的光影来推测物体的可见表面形状，但要准确预测被遮挡的部分，需要丰富的 3D 先验知识作为支撑。

目前该领域主要有两个发展方向：前馈回归和基于扩散的生成。基于回归的模型虽然推理速度快，但对重建有遮挡的区域效果不佳。而基于扩散的方法通过迭代采样可以生成多样化的 3D 结果，但计算效率低且与输入图像的对齐效果较差。

为了既能充分利用扩散模型在分布式学习方面的优势，又能避免输出质量差和计算效率低的问题，Stability AI 的研究团队设计了一个两阶段重建系统：SPAR3D。这个系统将 3D 重建过程分为点采样和网格化两个阶段，实现了高效率与高质量的平衡。

当输入一张图像

时，该方法可以生成一个包含 PBR 材质的 3D 网格模型，其中包括反照率、金属度、粗糙度和表面法线等属性。

该团队设计了一个包含点采样和网格化两个阶段的模型（如图 2 所示）。在点采样阶段，系统将使用点扩散模型来学习输入图像对应的点云分布。由于点云的分辨率较低，这个阶段能快速完成迭代采样。

在网格化阶段，系统通过回归方法将采样得到的点云转换为高细节网格，并利用局部图像特征确保与输入图像的准确匹配。

这种设计将复杂的不确定性计算集中在点采样阶段，让网格化阶段能够专注于生成高质量的细节。这不仅提升了整体效果，有效减少了纹理中不必要的光照影响，特别是在处理反光表面时效果更好。

选择点云作为连接两个阶段的中间表示是该方法的关键设计。点云不仅是计算效率最高的 3D 表示，因为所有信息都用于表示表面，其缺乏连接性的特点还为用户编辑提供了优势。

当 3D 生成的结果与用户期望不符时，可以在低分辨率点云上轻松进行局部编辑，无需担心拓扑结构。将编辑后的点云输入网格化阶段即可生成更符合用户需求的网格。这也使得 SPAR3D 在保持高计算效率和输入观察保真度的同时，显著优于以往的回归方法。

实验

主要结果

该团队在 GSO 和 Omniobject3D 数据集上对 SPAR3D 与其他基线方法进行了定量比较。如表 1 和表 2 所示，SPAR3D 在两个数据集的大多数评估指标上都显著优于其他回归或生成式基线方法。

图 5 展示了不同方法的定性结果对比：基于回归的方法 (如 SF3D、TripoSR) 生成的 3D 资产虽然与输入的图像保持了较好的一致性，但背面过于平滑；基于多视图扩散的方法（如 LGM、CRM）生成的 3D 资产虽然在背面保留了较多细节，但存在明显伪影；而纯生成方法（如 Shap-E、LN3Diff）虽然能生成清晰的表面轮廓，但细节经常出错。