从NeRF到3DGS：三维重建的显隐之争与技术范式迁移
在计算机视觉与图形学的交叉领域，三维重建技术正经历着从隐式表达到显式表达的范式转变。这种转变不仅关乎算法效率的提升，更反映了整个行业对实时性、可解释性与硬件适配性的重新思考。当NeRF（Neural Radiance Fields）在2020年横空出世时，其基于神经网络的隐式表达方式颠覆了传统三维重建的认知框架；而三年后3D Gaussian Splatting（3DGS）的崛起，则标志着显式表达在特定场景下的强势回归。这两种技术路线的博弈，本质上是对三维信息存储、计算与渲染三个维度的不同权衡。
1. 显式与隐式：计算机图形学的永恒命题
1.1 图形学表达的历史脉络
计算机图形学的发展史，某种程度上就是显式与隐式表达交替演进的历史。早期的多边形网格（Polygon Mesh）和点云（Point Cloud）属于典型的显式表达——三维物体的几何信息被直接存储在顶点坐标、边连接关系等数据结构中。这种表达方式直观且易于编辑，但难以描述复杂连续的几何表面。
而隐式表达则通过数学函数定义空间关系，如符号距离函数（SDF）和后来的神经辐射场（NeRF）。它们的特点是：
- 连续表示：无需离散采样即可描述任意精度的几何
- 内存高效：复杂场景可通过紧凑的函数参数表示
- 微分友好：天然适配基于梯度的优化方法
# 隐式SDF的简单示例 def signed_distance_function(x, y, z): # 定义球体的隐式函数 return math.sqrt(x**2 + y**2 + z**2) - 1.01.2 NeRF的突破与局限
NeRF将隐式表达推向了新的高度，其核心创新在于：
- 神经辐射场：用MLP网络建模空间点的颜色和密度
- 体渲染积分：通过可微渲染实现端到端优化
- 位置编码：引入高频信号捕捉几何细节
然而NeRF的缺陷也日益显现：
- 计算密集型：每个像素需要采样数百个点进行积分
- 黑箱特性：难以直接编辑或提取明确几何
- 静态场景：动态场景处理需要复杂扩展
提示：NeRF的渲染速度通常在秒级/帧，而实时应用要求至少30FPS，这直接催生了后续的加速研究。
2. 3DGS的技术突破与设计哲学
2.1 从点云到高斯分布
3DGS的创新在于将传统SFM（Structure from Motion）产生的稀疏点云提升为具有明确物理意义的高斯分布。其技术路线包含三个关键步骤：
| 处理阶段 | 数据转换 | 数学表示 |
|---|---|---|
| 输入 | 多视角图像 → 稀疏点云 | $P = {p_i|p_i \in \mathbb{R}^3}$ |
| 初始化 | 点云 → 3D高斯 | $G_i = (\mu_i, \Sigma_i, c_i, \alpha_i)$ |
| 优化 | 可微分光栅化 | $\nabla_\theta \mathcal{L}(\mathcal{I}{render}, \mathcal{I}{gt})$ |
其中每个高斯分布包含：
- 位置参数$\mu_i$：中心点坐标
- 协方差矩阵$\Sigma_i$：控制椭球形状和方向
- 颜色属性$c_i$：RGB值
- 不透明度$\alpha_i$：控制混合权重
2.2 光栅化管线的硬件优势
3DGS选择α-blending作为渲染方式绝非偶然，这使其能充分利用现代GPU的光栅化流水线。与传统体渲染相比，其优势体现在：
- 并行效率：高斯投影计算可完全并行化
- 层级优化：
- 视锥剔除（Frustum Culling）
- 深度排序（Depth Sorting）
- 瓦片化渲染（Tiled Rendering）
- 显存友好：不需要存储庞大的体素网格
// 简化的高斯投影核函数 __global__ void project_gaussians( float3* gaussian_params, float* depth_buffer, uchar4* output_image, int width, int height) { int idx = blockIdx.x * blockDim.x + threadIdx.x; Gaussian g = gaussian_params[idx]; // 计算投影到屏幕空间的2D高斯 float2 mean_2d = project(g.mean); float3x3 cov_2d = compute_projected_cov(g.cov); // 光栅化处理 rasterize_gaussian(mean_2d, cov_2d, g.color, depth_buffer, output_image); }3. 技术选型的五个关键维度
3.1 重建质量对比
虽然官方数据显示两者质量接近，但实际应用中存在微妙差异：
- 几何细节：
- NeRF在复杂曲面（如头发、植被）表现更好
- 3DGS对尖锐边缘（建筑、家具）重建更准确
- 材质表现：
- NeRF能更好建模各向异性反射
- 3DGS对漫反射表面更稳定
3.2 计算资源需求
我们对1080Ti显卡上的测试数据进行量化对比：
| 指标 | NeRF (原始) | 3DGS (官方) | 优化后NeRF |
|---|---|---|---|
| 训练时间 | ~12小时 | ~6分钟 | ~2小时 |
| 渲染速度 | 30秒/帧 | 60FPS | 2FPS |
| 显存占用 | 8GB | 4GB | 6GB |
| 场景扩展性 | 单场景 | 多场景融合 | 有限扩展 |
3.3 编辑与交互能力
这是两者差异最显著的领域：
- 几何编辑：
- 3DGS可直接移动/缩放高斯椭球
- NeRF需要重新训练或使用latent code操作
- 动态效果：
- 3DGS天然支持物理模拟（如风力影响）
- NeRF需额外建模时间维度
- AR应用：
- 3DGS可实时响应环境光照变化
- NeRF需要预计算光照探针
注意：3DGS的编辑优势源于其显式参数化，但这也意味着需要更复杂的数据结构来维护拓扑关系。
4. 行业应用与未来演进
4.1 当前落地场景分析
不同行业根据需求选择了不同技术路线：
- 影视级重建：仍倾向NeRF变种（如Instant-NGP）
- 实时AR/VR：3DGS已成为Meta等公司的首选方案
- 工业检测：混合使用两者（NeRF初扫+3DGS精修）
- 文化遗产数字化：NeRF在纹理复杂场景占优
4.2 技术融合趋势
前沿研究正在尝试结合两者优势：
- 混合表示：
- 使用3DGS作为几何代理
- 用NeRF增强表面细节
- 压缩感知：
- 将NeRF网络蒸馏为高斯参数
- 实现轻量化和边缘部署
- 动态扩展：
- 基础场景用3DGS表示
- 动态元素采用神经场补充
graph LR A[多视角图像] --> B{场景复杂度} B -->|简单/结构化| C[3DGS流程] B -->|复杂/有机| D[NeRF流程] C --> E[实时渲染管线] D --> F[离线高质量渲染] E & F --> G[应用终端]在项目实践中，我们经常需要根据具体需求做出选择：当项目预算充足且追求极致质量时，NeRF系列仍是可靠选择；而在需要快速迭代或实时交互的场景中，3DGS已经展现出不可替代的优势。有趣的是，这种显式与隐式的轮回并非简单的技术复古——3DGS的成功恰恰证明了，在深度学习时代，传统计算机图形学的智慧仍然具有强大的生命力。
