NeRF与Gaussian Splatting渲染原理及在UE5中的实战性能对比

1. 项目概述：当Gaussian Splatting遇上UE5，一场渲染效率的实战检验

最近在社区里看到不少讨论，说“NeRF已过时”，核心论点就是Gaussian Splatting（高斯泼溅）在渲染速度和效果上实现了双重超越。作为一个长期在虚幻引擎（UE）里折腾实时渲染和数字孪生的从业者，我对这个说法既兴奋又怀疑。兴奋在于，如果这是真的，意味着我们构建超大规模、高保真实时场景的门槛将大幅降低；怀疑在于，任何新技术从论文到落地，尤其是集成到像UE5这样复杂的生产管线中，总会遇到一堆“理想很丰满，现实很骨感”的问题。

所以，我决定自己动手，做一个最直接的实测对比。不谈空泛的理论，就聚焦一个核心问题：把同样场景的NeRF模型和Gaussian Splatting模型，分别弄进UE5里跑起来，看看在渲染效率和最终画面上，到底谁更胜一筹，以及为了得到这个结果，我们需要付出什么代价。这不仅仅是看FPS（帧率）数字，还要看显存占用、加载时间、场景适应性，以及那个最容易被忽略的——工作流整合的顺畅度。毕竟，再好的技术，如果导入、调试、优化起来像解一道奥数题，那在生产中基本就等于不可用。

这次实测，我会围绕几个大家最关心的点展开：首先是原理上的根本差异，为什么Gaussian Splatting理论上就该更快；然后是实操，从数据准备、模型训练到导入UE5的全链路踩坑记录；最后是硬核的对比数据，包括在不同视角、不同光照条件下的帧率、延迟和视觉质量分析。无论你是正在评估技术选型的TA（技术美术），还是想为项目寻找更快、更好可视化方案的开发者，希望这篇从一线实战中总结的笔记能给你带来些实实在在的参考。

2. 核心原理拆解：NeRF的体素采样与Gaussian Splatting的显式表达

要理解效率差异，必须回到两者的根本渲染机制上。这就像比较一辆是现场和面、拉条、煮面的手拉面（NeRF），另一辆是已经切好、只需下锅煮的速食面饼（Gaussian Splatting）。前者精细但步骤繁琐，后者直接但依赖前期加工。

2.1 NeRF：基于神经辐射场的隐式体积渲染

NeRF（神经辐射场）的核心思想非常优雅：它不直接存储3D几何，而是用一个多层感知机（MLP）神经网络，学习从空间坐标（x, y, z）和观察方向（θ, φ）到颜色（RGB）和体密度（σ）的映射函数。渲染一帧图像时，需要从相机出发，向每个像素发射一条射线，在这条射线上密集地采样一系列3D点。

对于每个采样点，都要将它的坐标和方向输入那个庞大的MLP网络，进行一次前向推理，得到该点的颜色和密度。然后，按照体渲染公式，将所有采样点的结果像夹心饼干一样累加起来，合成最终的像素颜色。这个过程可以概括为：“每条射线，多次采样，每次采样，一次神经网络推理。”

这就导致了几个天生的性能瓶颈：

1. 采样数巨大：为了质量，一条射线可能需要采样128甚至256个点。一张1080p的图片有超过200万个像素，即便用重要性采样优化，计算量也极其恐怖。
2. 神经网络推理开销大：MLP虽然不大，但针对每个采样点都要执行一次，这个开销在实时渲染中是难以承受的。尽管后续有Instant-NGP等通过哈希表加速的工作，但核心的“射线-采样-推理”循环没变。
3. 内存访问不连续：射线上的采样点是随机的，导致对神经网络权重和场景数据的访问模式非常随机，难以充分利用GPU的并行计算能力和高速缓存。

注意：NeRF的“隐式”存储，既是其能实现惊人视图一致性和细节还原度的原因（因为它学习的是一个连续函数），也是其速度慢的根源。它就像一本极其详尽的“场景函数说明书”，每次查一个点都要从头翻看计算。

2.2 Gaussian Splatting：基于3D高斯椭球体的光栅化渲染

Gaussian Splatting走了另一条路：它不再用一个黑盒神经网络去隐式表达场景，而是用数十万甚至上百万个可学习的3D高斯椭球体来显式地表示场景。每个高斯椭球体都有明确的属性：

• 位置（均值）：椭球体在3D空间中的中心点。
• 协方差矩阵：定义了椭球体的形状（缩放）和方向（旋转）。
• 不透明度（α）：控制这个椭球体对最终颜色的贡献程度。
• 球谐函数（SH）系数：用来表示视角相关的颜色信息，让颜色能随着观看角度变化（如高光）。

渲染时，它的流程更接近传统的图形学：

1. 排序与投影：将所有的3D高斯椭球体，根据它们到相机的深度进行排序。然后将每个3D椭球体投影到2D图像平面上，形成一个2D的高斯分布（一个“泼溅”开来的椭圆）。
2. Tile-Based光栅化：将屏幕划分成许多小块（Tile）。对于每个Tile，快速找出哪些投影后的2D高斯椭圆会覆盖到它。
3. Alpha-Blending：在每个像素上，按照从后往前的顺序（基于排序结果），将覆盖该像素的所有高斯椭球体的颜色（通过其2D高斯权重和不透明度计算）进行Alpha混合。

这个过程的核心优势在于：

• 高度并行化：排序、投影、Tile计算、像素混合都是非常适合GPU大规模并行处理的操作。
• 免去了射线采样和神经网络查询：渲染过程直接操作显式的几何元（高斯球），计算的是确定的数学公式（高斯函数求值），而非不可预测的神经网络推理。
• 与硬件图形管线亲和：它的光栅化思路，让现代GPU的图形计算单元（特别是光栅化器和混合器）能更高效地工作。

简单来说，Gaussian Splatting把场景“预处理”成了一堆有形状、有颜色、有透明度的“智能粒子”。渲染时，GPU的工作就是把这些粒子按深度排好队，然后像喷漆一样“泼溅”到屏幕上。这显然比NeRF那种每条射线都要进行上百次“神经查询”的方式要直接、高效得多。

2.3 理论效率差异总结

从原理上，我们可以预判：

• 渲染速度：Gaussian Splatting 凭借其显式表示和光栅化流程，在理论峰值速度上远超NeRF。它的计算复杂度与屏幕分辨率和高斯数量更相关，而NeRF则与射线数量和采样数强相关。
• 内存占用：Gaussian Splatting 需要存储海量高斯椭球体的参数（位置、协方差、颜色、不透明度），模型文件可能很大（几百MB到几GB）。而NeRF（特别是压缩后的）的模型文件通常更小，但渲染时需要更多的计算内存（用于神经网络推理）。
• 质量与灵活性：NeRF的隐式表示在应对复杂光线效果（如镜面反射、半透明）和极端视角插值上可能更有优势，因为它学习的是连续场。Gaussian Splatting 在训练充分的视角附近，视觉质量极高，但在视角外推或处理非常复杂的光学现象时，可能出现瑕疵（如高斯粒子排列不自然导致的“颗粒感”或“过度平滑”）。

3. 实测环境搭建与数据准备

理论归理论，实战见真章。为了确保对比公平，我搭建了一套标准的测试流程。

3.1 硬件与软件环境

• 测试平台：
  • CPU: AMD Ryzen 9 7950X
  • GPU: NVIDIA GeForce RTX 4090 (24GB GDDR6X)
  • 内存: 64GB DDR5
  • 存储: PCIe 4.0 NVMe SSD
• 软件环境：
  • UE5版本：5.3.2 (LTS版本，稳定性好)。
  • NeRF实现：采用Neural Radiosity插件的一个定制分支，该插件实现了基于Instant-NGP的实时NeRF渲染器，并提供了UE Actor组件，便于集成。
  • Gaussian Splatting实现：使用UE5 Gaussian Splatting Plugin社区插件。它能够加载.ply格式的Gaussian Splatting模型文件，并在UE中通过自定义的渲染通道进行实时光栅化。
  • 训练工具：
    • NeRF训练：使用instant-ngp(NVIDIA Instant Neural Graphics Primitives) 的官方代码库进行训练。
    • Gaussian Splatting训练：使用原始论文的官方实现gaussian-splatting进行训练。

3.2 测试数据集选择与处理

选择了两个具有不同特点的公开数据集，以确保结论的普适性：

1. Mip-NeRF 360数据集 - “Bicycle”场景：

   • 特点：室外场景，包含复杂的几何（自行车、植物）和丰富的纹理细节，有较大的深度变化和自由视角。
   • 处理：使用COLMAP从原始图像中重建稀疏点云，分别作为NeRF和Gaussian Splatting训练的初始输入。

2. 自采集办公室小场景：

   • 特点：室内，光线相对均匀，几何结构简单（桌子、椅子、显示器），但包含镜面反射（显示器屏幕）和细碎物体（键盘按键）。
   • 处理：用手机环绕拍摄一段视频，抽帧得到约300张图像，同样用COLMAP处理。

训练过程关键参数与踩坑点：

• NeRF (Instant-NGP) 训练：

  # 示例训练命令（简化） ./instant-ngp --scene ./data/bicycle --mode nerf

  • 迭代次数：通常需要20k-50k次迭代才能收敛到较好质量。在RTX 4090上，每个场景大约需要15-30分钟。
  • 输出：Instant-NGP训练完成后，会生成一个.ingp或.msgpack格式的模型文件。我们需要使用插件提供的转换工具，将其转换为插件可加载的格式（通常是自定义的二进制格式）。
  • 踩坑记录：Instant-NGP对COLMAP生成的相机参数格式非常敏感。必须确保相机模型（SIMPLE_PINHOLE或PINHOLE）和坐标系统（通常是OpenCV格式，Y轴向下）正确无误，否则训练出的模型在UE中会严重错位。

• Gaussian Splatting 训练：

  # 官方训练流程 python train.py -s ./data/bicycle_colmap -m ./output/bicycle

  • 迭代次数：官方默认7k步，在RTX 4090上约5-10分钟即可完成。
  • 输出：训练完成后，在output/bicycle/point_cloud/iteration_7000/目录下会生成一个point_cloud.ply文件，这就是我们需要导入UE的模型文件，大小通常在500MB到1.5GB之间。
  • 踩坑记录：
    1. 显存爆炸：训练高分辨率图像（如>2K）时，即使RTX 4090也可能显存不足。需要在train.py中调整–resolution参数，或使用–data_device cpu将部分数据放在内存。
    2. “飞点”问题：训练初期，一些高斯椭球可能会跑到远离场景的地方，形成噪点。这通常会在后续迭代中被优化掉，但如果持续存在，可能需要检查输入的点云质量或调整学习率。
    3. PLY文件格式：UE插件对PLY文件的属性顺序有严格要求（必须是 x, y, z, nx, ny, nz, f_dc_0, f_dc_1, f_dc_2, opacity, scale_0, scale_1, scale_2, rot_0, rot_1, rot_2, rot_3）。如果使用其他工具导出，务必验证格式。

3.3 UE5插件集成与场景设置

将训练好的模型导入UE5是另一个关键环节。

1. NeRF插件集成：

   • 将转换后的NeRF模型文件放入项目Content目录。
   • 在场景中拖入NeRF VolumeActor，在其细节面板中指定模型文件路径。
   • 需要创建一个后处理材质（Post Process Material），调用插件提供的自定义渲染节点，将NeRF渲染结果与UE场景合成。这个过程需要对UE的渲染管线有一定了解。
   • 主要挑战：与UE原生光照和阴影系统的交互非常弱。NeRF渲染的结果是一个“全屏特效”，它基本不参与UE的动态光照计算，也很难在它上面投射动态阴影。通常只能将其作为背景或特定物体使用。

2. Gaussian Splatting插件集成：

   • 将.ply文件导入UE（插件会将其识别为一种特殊的点云资源）。
   • 在场景中拖入Gaussian SplattingActor，并指定导入的资源。
   • 插件通常提供材质实例，供你调整颜色饱和度、对比度等。
   • 集成体验：相比NeRF，Gaussian Splatting的集成直观得多。它被渲染为一个半透明的、由粒子组成的网格体，理论上可以与其他UE静态网格体共存。但同样，它目前不接收动态阴影，其光照是烘焙在球谐系数中的。

为了公平测试，我在一个空关卡中，分别单独放置NeRF Actor和Gaussian Splatting Actor，使用同一个序列器（Sequencer）控制相机沿着预设的复杂路径运动，路径会穿过场景的各个部分，包括靠近物体表面和远观全景。使用UE5的Stat Unit和ProfileGPU命令来精确记录性能数据。

4. 渲染效率深度实测对比

所有准备就绪，下面就是最核心的性能数据对比。我主要从四个维度进行衡量：帧率（FPS）、GPU耗时、显存占用和加载时间。

4.1 静态视角与动态路径帧率测试

我设置了三个典型的测试视角：

• 视角A（全景）：相机距离场景主体较远，能看到大部分内容。
• 视角B（中景）：相机靠近核心物体（如自行车），视野内包含中等复杂度的几何和纹理。
• 视角C（特写）：相机非常靠近物体表面（如自行车轮胎纹理），测试极端情况下的性能。

同时，让相机沿着一条包含平移、旋转和升降的复杂路径飞行，模拟用户在场景中自由导航的情况，记录平均帧率、最低帧率（1% Low FPS）和帧生成时间（Frame Time）的稳定性。

测试结果数据对比如下（在1080p分辨率下）：

结论非常清晰：在纯渲染速度上，Gaussian Splatting实现了碾压性的优势，帧率是NeRF的4到8倍，并且最低帧率也维持在非常高的水平，这意味着更流畅的交互体验。NeRF在特写视角下性能下降尤为明显，因为近处需要更密集的射线采样来捕捉细节。

4.2 GPU渲染管线耗时分析

使用UE5的ProfileGPU命令，可以获取一帧内各个渲染阶段的耗时（单位：毫秒）。这对于分析瓶颈至关重要。

Bicycle场景，视角B的一帧GPU耗时分解示例：

分析显示，NeRF的耗时几乎全部集中在它自定义的渲染通道（NeRFVolumePass）中，这就是其进行射线采样和神经网络查询的地方。而Gaussian Splatting的核心渲染耗时（GS Rasterize）很短，主要耗时在透明混合阶段，这是由其海量半透明粒子属性决定的，但这个混合过程是GPU硬件高度优化的。

4.3 显存占用与加载时间

• 显存占用（运行时）：
  • NeRF：加载“Bicycle”场景后，GPU显存增加约1.8GB。这包括了神经网络模型、哈希表结构以及计算缓存。
  • Gaussian Splatting：加载同一场景后，GPU显存增加约3.5GB。这主要来自于将数百万个高斯粒子的属性（位置、颜色、缩放、旋转、不透明度）全部上传到GPU缓冲区。这是Gaussian Splatting为换取渲染速度所付出的主要代价——更高的显存开销。
• 模型加载时间（从点击播放到场景出现）：
  • NeRF：约3-5秒。需要加载并初始化神经网络结构。
  • Gaussian Splatting：约8-15秒（取决于.ply文件大小）。需要将庞大的点云数据从磁盘读入内存，再上传至GPU。加载时间明显更长。

实操心得：对于Gaussian Splatting，巨大的PLY文件是性能瓶颈之一。可以考虑在导出时进行量化（如将浮点数精度从FP32降低到FP16），或者开发流式加载机制，只加载视锥体内的部分高斯粒子，这对于超大规模场景是必须的。

4.4 分辨率缩放测试

将渲染分辨率从1080p提升到4K，观察性能变化。

两者在分辨率提升时，性能下降比例相似（都约成倍下降，因为像素数变为4倍）。但Gaussian Splatting的绝对帧率（42 FPS）在4K下依然达到了可交互的水平，而NeRF（8 FPS）已经基本无法交互了。这是因为Gaussian Splatting的光栅化开销与像素数线性相关，而NeRF的射线数也与像素数线性相关，但每条射线的计算成本（采样*网络推理）依然很高。

5. 渲染效果与视觉质量对比

效率只是一方面，最终画面质量才是王道。我从以下几个视觉维度进行了仔细对比。

5.1 静态图像质量

在训练视角附近的静态渲染上，两者都达到了照片级真实感，难以一眼区分优劣。细节还原度都非常高。

• NeRF：在表现细微的色彩变化和复杂的光线漫反射（如树叶间的光斑）时，过渡往往更加平滑自然，这是其连续辐射场表示的优势。
• Gaussian Splatting：在边缘锐利度上有时更胜一筹，纹理显得更“脆”。但在某些大面积均匀色块区域（如墙壁），如果训练数据不足，偶尔能看出极其细微的、类似点云噪点的“颗粒感”，需要非常仔细才能察觉。

5.2 动态视角下的稳定性与瑕疵

这是差异开始显现的地方。当相机快速或大幅度移动时：

• NeRF：表现出极高的时间稳定性。由于是连续场，新视角是通过查询同一个函数生成的，因此帧与帧之间过渡极其平滑，没有闪烁或抖动。但在极端视角（远离训练相机路径）下，可能会出现模糊或几何扭曲，因为神经网络是在外推未知区域。
• Gaussian Splatting：
  • 优势：渲染速度极快，动态视角下依然流畅。
  • 潜在问题：
    1. “粒子抖动”或“沸腾”效应：在极近的特写或某些角度，可以观察到构成物体的高斯粒子在轻微地“跳动”或重新排序，尤其是在物体边缘。这是因为深度排序在视角变化时可能发生突变。
    2. 透明度排序错误：对于复杂交叠的半透明结构（如茂密的树叶），由于GPU上每帧对海量粒子进行精确的从后往前排序成本太高，插件可能采用近似排序，导致偶尔的渲染顺序错误，看起来像是一小片叶子穿过了另一片。
    3. 外推区域空洞：在完全未观察到的区域，Gaussian Splatting可能会留下空洞（因为没有高斯粒子分布在那里），而NeRF可能会根据学习到的先验“想象”出一些内容，尽管可能是错误的。

5.3 与UE5原生场景的交互与兼容性

这是决定其能否投入生产的关键。

• 光照交互：两者目前都是“自发光体”。它们携带的是训练时捕获的光照信息（NeRF是辐射值，GS是球谐系数），基本不响应UE5场景中的动态光源（如平行光、点光）。你不能在运行时用UE的灯去照亮它们。这是一个巨大的限制。
• 阴影：它们既不能向UE地面投射阴影，也很难高质量地接收来自UE动态物体的阴影。有些插件尝试通过将GS深度写入深度缓冲区来实现接触阴影，但效果有限且开销大。
• 后期处理：它们都能较好地接受UE的大部分屏幕空间后处理效果，如色调映射、泛光、镜头光晕等。因为它们的输出最终被合成到场景颜色缓冲区。
• 遮挡与碰撞：默认情况下，它们没有碰撞体。你需要为其生成一个简化的代理碰撞网格（Proxy Mesh），才能实现玩家与其的物理交互或遮挡关系。

注意事项：目前，无论是NeRF还是Gaussian Splatting，在UE5中都更像一个“背景板”或“特殊展示物”，难以与基于物理渲染（PBR）的动态游戏对象进行无缝、物理正确的光照融合。这是当前所有神经渲染与传统光栅化管线集成面临的核心挑战。

6. 工作流、资源与适用场景总结

经过全方位的实测，我们可以对两项技术做出更全面的评估。

6.1 端到端工作流对比

6.2 技术选型建议

根据实测结果，我的建议如下：

• 选择 Gaussian Splatting，如果你需要：

  1. 超高帧率的实时预览：例如建筑可视化、文化遗产数字化的实时浏览，用户需要自由流畅的漫游体验。
  2. 对静态视觉锐度要求极高：产品展示、博物馆展品数字化，强调“一眼惊艳”的静态画质。
  3. 项目周期短，需要快速迭代：快速的训练速度允许你频繁调整数据重新训练。
  4. 能够接受较大的存储和内存开销：拥有强大的客户端硬件（尤其是大显存GPU）。

• 考虑 NeRF（或类似隐式方法），如果你需要：

  1. 极致的动态视觉稳定性：对于VR/AR应用，帧间闪烁是无法接受的，NeRF的稳定性可能更好。
  2. 模型文件大小是首要限制：需要在网络传输或移动端部署，较小的模型尺寸是关键。
  3. 处理极端复杂的光线效果：如多次反射、焦散等，神经辐射场理论上具有更强的表示潜力（尽管当前实时方案还难以实现）。
  4. 正在研究视图合成本身：NeRF作为一个研究框架更为成熟，有丰富的变体和改进工作。

6.3 未来展望与当前局限

“NeRF已过时”这个说法，目前看来为时尚早，但Gaussian Splatting在实时渲染的赛道上确实取得了里程碑式的突破。它用一个巧妙的显式表示，绕开了NeRF最大的性能瓶颈。

然而，两者都面临着与现有游戏引擎生产管线融合的深水区问题：

• 动态光照与阴影：这是最大的障碍。未来的方向可能是解耦光照，例如训练出仅包含几何和反照率（Albedo）的模型，然后在UE中用动态光照去照亮它。
• 编辑与动画：如何对训练好的高斯粒子或神经辐射场进行局部编辑？如何让其动起来？这都是开放的研究问题。
• 压缩与流式加载：对于Gaussian Splatting，如何压缩数GB的模型，并实现基于视锥的流式加载，是走向实用的必经之路。

在我个人看来，Gaussian Splatting更像一个“工程化”的胜利，它用当前GPU更擅长的方式，将神经渲染的实时化大大推进了一步。而NeRF代表的隐式神经表示，其潜力远未被挖掘殆尽。对于UE5开发者而言，Gaussian Splatting是目前实现高质量、可交互场景预览更实用的选择，尤其是当你手里有一张RTX 4090级别的显卡时。但在将其用于最终产品前，务必仔细评估其光照交互、内存消耗和动态瑕疵是否在项目可接受范围内。

这次实测也让我更深刻地体会到，在技术选型上没有银弹。最好的工具，永远是那个最能解决你当下最核心问题的工具。对于追求极致实时交互的应用，Gaussian Splatting无疑是当前更锋利的刀刃；而对于探索渲染边界或受限于资源分发的场景，NeRF及其演进家族仍然拥有独特的价值。