智科全家桶

Appearance

"The pace of progress in artificial intelligence is incredibly fast."— Elon Musk

3D 高斯 (3D Gaussian Splatting) ​

概述 ​

3D Gaussian Splatting 是一种新型的 3D 场景表示与渲染技术，使用大量 3D 高斯椭球表示场景，通过可微分光栅化实现实时高质量渲染。2023 年由 INRIA 等机构提出后迅速成为 3D 重建与神经渲染领域的重要方向。相比 NeRF 的隐式表示，3D 高斯采用显式表示，在渲染速度、训练效率、编辑灵活性上具有显著优势。

核心原理 ​

每个 3D 高斯由位置（均值）、协方差矩阵（形状与方向）、不透明度与球谐系数（颜色）定义。协方差矩阵决定椭球是球形、扁盘状还是长条状，并可旋转；球谐系数支持视角相关的反射效果。场景由数十万至数百万个高斯组成，渲染时将每个高斯投影到 2D 图像平面，按深度排序后从远到近进行 Alpha Blending，得到最终像素颜色。

可微分光栅化使整个投影与混合过程可微，梯度可反向传播到高斯参数。通过比较渲染结果与真实图像的光度损失（如 L1、SSIM），可迭代优化场景表示。自适应密度控制（分裂、克隆、剪枝）在训练中动态调整高斯分布，使表示更贴合场景几何。

关键技术 ​

场景表示：从 SfM（如 COLMAP）获得的稀疏点云初始化高斯；每个高斯可独立控制位置、形状、不透明度与颜色。可微分 Splatting：将 3D 高斯投影为 2D 椭圆（或近似矩形），按深度排序后 Alpha Blending；投影与混合的 Jacobian 可解析计算，支持高效反向传播。自适应密度控制：根据梯度或几何误差对高斯进行分裂（覆盖更多细节）、克隆（增加密度）或剪枝（移除冗余），平衡表示精度与紧凑性。

训练流程：初始化稀疏点云；迭代渲染多视角、计算光度损失、反向传播；自适应调整高斯分布；通常数分钟至十几分钟即可收敛。4D 扩展：4D Gaussian Splatting 增加时间维度，支持动态场景、人体动作等时序变化。

代表性工作 ​

模型/方法类型主要贡献
3D Gaussian Splatting原始方法显式高斯表示，可微分光栅化，实时渲染
4D Gaussian Splatting动态场景4D 高斯建模时序变化，支持动态重建
GaussianAvatar数字人高质量人体与面部 3D 建模，实时驱动
MGS可移动高斯支持场景编辑与物体移动
Scaffold-GS稀疏表示稀疏体素 + 高斯，降低内存与计算
LGM生成式 3DGS从单张图像生成 3D 高斯场景

应用场景 ​

  • 虚拟旅游与文化遗产：用无人机或手机拍摄古迹，快速生成可 360° 浏览的 3D 场景，用于线上展览与教育。
  • 电商：商品 3D 展示，用户可旋转、缩放查看细节，提升购买决策体验。
  • 自动驾驶：从车载相机重建周围环境，用于仿真测试与高精地图构建。
  • 数字人与虚拟偶像：高质量人体与面部 3D 建模，支持实时驱动与渲染。
  • 游戏与 AR：快速场景建模与实时渲染，支持 VR/AR 应用。
  • 数字孪生：工厂、建筑等场景的数字化复现，用于远程监控与仿真。

发展趋势 ​

  • 动态场景：4D Gaussian Splatting 及其变体，建模运动、变形、人体动作等时序变化。
  • 生成式 3DGS：从文本或单张/多张图像生成 3D 高斯场景，无需多视角拍摄。
  • SLAM 集成：基于高斯的实时同步定位与建图，用于机器人、AR 等场景。
  • 压缩与优化：减少高斯数量、量化参数、蒸馏到更小表示，降低存储与带宽。
  • 物理仿真：基于高斯的可微分物理模拟，支持碰撞、流体等。
  • 可编辑性：支持场景分割、物体移动、材质编辑等交互操作。

推荐资源 ​