国防科技大学团队提出一种在NeRF中合成对象和场景的方法

逼真的重照明效果

（映维网Nweon 2024年12月24日）在场景中插入对象和重新照明是AR中的常的应用。以前的方法主要是使用CAD模型插入虚拟对象或从单视图图像插入真实对象，但这使得AR应用场景非常有限。

针对这个问题，国防科技大学的研究人员提出了一种基于NeRF的管道，以用于将对象NeRF插入到场景NeRF中，从而实现新颖的视图合成和逼真的重照明，并支持物理交互。

照明环境是球面谐波和球面高斯的混合表示，很好地表示了高频和低频照明组件，并支持非朗伯表面。具体来说，研究人员利用体渲染的优势，并通过比较camera视图和光源视图之间的深度图来生成生动的柔和阴影，从而引入了一种高效阴影渲染的创新方法。在大量的实验评估中，所述解决方案获得了逼真的重照明效果。

对象插入技术广泛应用于AR/VR等领域。对象插入的目标是将对象无缝地集成到场景中，增强用户的视觉沉浸感。传统的计算机图形学方法通常涉及手动捕获和重建物理世界，包括几何、纹理和其他属性。以前的工业流程一般包括手动组成场景和对象的CAD模型，并使用传统的渲染技术，如光栅化和光追来重新照明或生成新的视图，从而创建定制的视觉体验。

尽管如此，这个过程属于劳动密集型，对初学者而言并不友好。在研究中，国防科技大学团队的目标是一个完全基于图像输入的合成和重照明3D对象和场景的完整管道。

解决这一挑战包括各种高度模糊的任务，包括3D重建、反向渲染和基于图像的渲染。NeRF提供了一种方法，通过利用MLP和体渲染来连接图像和3D场景，以直接的方式实现逼真高质量的效果。

所以，研究人员将NeRF作为端到端可微分重建和重照明管道的支柱。NeRF的一个缺点是其固有的几何、照明和材质信息在其表示中的耦合。当尝试直接使用NeRF进行构图和编辑3D对象和场景时，这种互联性提出了挑战。

将NeRF应用于重照明的其他挑战包括：首先，NeRF通过假设粒子是自发光的，粒子辐射的光与材质特性耦合来简化体渲染。另外，输入图像中的环境光依然不确定，阻碍了对照明编辑的支持。

其次，缺乏一个照明渲染管道来适应低频率和高频光源，并支持空间变化的照明和非兰伯特表面。最后，NeRF将阴影视为对象颜色的一部分，忽略了入射光源的可见性，从而限制了其产生逼真阴影效果的能力。

为了解决第一个挑战，团队建议将NeRF输出解耦为与照明相关和与材质相关，即将颜色分解为反射率和阴影组件。

所述方法以完全无监督的方式有效地解决了NeRF的内在分解问题。通过分解几何，材质和照明，可以通过将对象NeRF插入场景NeRF，并通过建议的遮光替换将它们放入场景照明或重新照亮整个合成场景来进一步编辑场景。

对于第二个挑战，大多数可微分的照明渲染方法利用点光。但在环境地图中使用大量的点光可能会导致计算量的增加，特别是对于低频照明。

为了克服这个问题，团队引入了一种混合照明表示，通过结合球面谐波和球面高斯分别表示低频和高频组件。所提出方法可以渲染非朗伯曲面和编辑每个点的材质。球面高斯光用于填补球面谐波光和原始HDR环境贴图之间的空白。另外，除了远距离照明外，可以在3D位置放置球面高斯照明，支持空间可变照明。

关于第三个挑战，先前的研究提出了两种建模光源可见性的方法。一种方法是通过神经网络直接预测每个点的光源可见性，但仅限于场景几何保持不变的静态场景。

另一种方法是从每个3D点到光源产生阴影光线，使用阴影光线上采样点的密度作为3D点的光源可见性系数。尽管这种方法更适合合成或编辑的场景，但生成阴影光线所需的大量计算显着减慢了阴影渲染。

所以，研究人员将方差阴影映射策略引入到体渲染中，通过比较光源角度的深度，并利用Chebyshev不等式生成柔和阴影。这种创新的方法提供了与传统方法相当的结果，同时大大提高了时间和计算资源的效率。整个管道以无监督的方式是端到端的和可微的。

总的来说，国防科技大学团队提出了一种在NeRF中合成对象和场景的方法。对象插入考虑的是合成场景中的照明一致性，或者是整个场景的重新照明。他们使用球面谐波和球面高斯的混合表示来支持带阴影的非朗伯渲染。一个限制是手动设置插入位置，而不是自动连接到表面。理想情况下，在增强现实应用中，自动附着在附近的表面会更实用。研究人员表示接下来将进一步探索这种物理交互。