清华大学申请基于像素对齐3D高斯点云表示的人体新视点渲染方法专利,极大程度提升稀疏视点下人体新视点生成的质量和效率

金融界2024年6月26日消息,天眼查知识产权信息显示,清华大学申请一项名为“基于像素对齐3D高斯点云表示的人体新视点渲染方法”,公开号CN202410626849.3,申请日期为2024年5月。

专利摘要显示,本发明公开了基于像素对齐3D高斯点云表示的人体新视点渲染方法,包括以下步骤:给定目标视点,在源视点中选择两个相邻视点并对其进行立体校正;对两个源视点图像进行特征提取并估计源视点深度;将3D高斯点云定义在源视点二维图像平面并;将多尺度的图像特征和深度特征融合,像素对齐的高斯特征分别解码为旋转特征图,尺度特征图和透明度特征图;将定义在两个视点的高斯特征图逆投影到三维空间中,渲染到目标视点得到最终渲染结果;通过最小化该误差训练神经网络,学习模型参数。本发明所提出的像素对齐3D高斯点云表示,极大程度提升稀疏视点下人体新视点生成的质量和效率。