初步探讨2024年科研热点——3D高斯溅射技术

 行业动态     |      2024-04-28 07:08:54    |      小编

  如上图所示,与IntantNGP相当的训练时间,本文达到了与他们更高的质量;但通过训练51 min,本文达到了最先进的质量,甚至比Mip-NeRF360好一些,但时间却大大缩短。

  现有方法缺点:最有效的辐射场解决方案建立在连续表示的基础上,通过神经网络(如MLP)、插值、体素、哈希网格或点。但这些方法阻碍了渲染速度,且图像质量在很大程度上受到结构化选择的限制。

  本文优势:用非结构化、显式gpu的三维高斯算法在没有神经组件的情况下实现更快的渲染速度和更好的质量。且允许在1080p分辨率下的高质量实时(≥30 fps)新视图合成。关键是使用可微的分块光栅化器并行处理,效率高。

  A)读取输入图片,执行Colmap估算相机位姿和估计初始点云的位置(执行3万步是最好的点云状态),根据稀疏点云初始化生成3D高斯。

  B)借助相机外参+高斯椭球,将其投影到2D图像平面,投影可用对应的图像模型形成。

  C)使用分块可微光栅化器将投影后的2D像素转换为屏幕上的像素,根据像素的位置和颜色信息,将像素填充到屏幕上的相应位置。根据光栅化后的像素,进行后续的图像处理和渲染操作(深度测试、颜色插值等),以生成最终的2D投影图像。

  向上:优化高斯属性优化,包括优化3D高斯的位置、不透开云网页版 开云kaiyun明度、各向异性协方差和球形谐波系数,并结合适应性密度kaiyun手机网 开云登录网址控制进行。

  向下:适应性控制高斯密度,在优化过程中适应性地控制高斯的密度,包括根据需要增加或减少高斯椭球数量。

  判断重建是否充分的依据是梯度,在更新点的位置的时候,如果梯度太大说明这个位置误差较大。梯度超过阈值就会执行densify的操作。

  区分图中两种情况:根据方差,方差大说明3D高斯很大,需要split;否则就是clone。

  Split:在高方差区域中的大高斯分布需拆分为较小的高斯分布。用两个新的高斯分布替换,并将它们的尺度除以实验确定的16。还通过用采样的原始3D高斯分布作为PDF来初始化它们的位置。

  定量评价方法相比:在三个数据集中本文的方法计算超过三个数据集。除特定标记数据直接使用外,其余数据均由本文实验获得。