在三维重建与神经渲染领域，3D 高斯泼溅（3DGS）凭借高质量渲染效果和快速训练速度成为标杆技术，但单一颜色和椭球形状的限制让它难以还原精细纹理与复杂结构。近期 CVPR 2025 收录的论文《Textured Gaussians for Enhanced 3D Scene Appearance Modeling》给出了创新解决方案，让 3D 高斯的表现力实现质的飞跃。

一、论文核心信息

题目：Textured Gaussians for Enhanced 3D Scene Appearance Modeling（纹理高斯：增强三维场景外观建模）
作者团队：Brian Chao、Hung-Yu Tseng、Lorenzo Porzi
发表会议：CVPR 2025（计算机视觉顶会）

二、论文摘要

3D 高斯泼溅（3DGS）是当前最先进的三维重建技术，兼具高质量、快训练、快渲染优势，但存在明显局限：同一高斯覆盖的像素共享单一颜色（仅含高斯衰减缩放因子），且单个高斯仅能表示简单椭球体。为突破这些限制，该研究将传统图形学的纹理与阿尔法映射融入 3DGS，为每个高斯增加阿尔法、RGB 或 RGBA 纹理图，实现空间变化的颜色与不透明度建模。实验表明，该方法在物体级和场景级数据集上均优于现有方法，使用相似或更少高斯数量即可获得更高图像质量，其中仅含阿尔法的纹理图就能显著提升表现力，RGBA 纹理图可实现最大表现力。

三、核心创新点

提出广义三维高斯外观模型：通过为 3D 高斯添加阿尔法、RGB 或 RGBA 纹理图，首次让单个高斯支持空间变化的颜色与不透明度，突破单一颜色和椭球形状的限制。
多纹理变体优化：深入探索阿尔法 - only、RGB、RGBA 三种纹理变体，找到重建能力与模型大小的平衡，其中阿尔法 - only 纹理在相同模型大小下表现突出。
高效实现方案：构建自定义 CUDA 内核，完成光线 - 高斯相交计算与纹理映射，继承 3DGS 快训练、快渲染、显式 3D 表示的全部优势。

四、研究动机

3DGS 虽成为三维重建标杆，但在细节建模上存在两大核心痛点：
外观表达有限：同一高斯覆盖的像素颜色固定，仅靠球谐函数难以呈现复杂纹理，高频细节易丢失；
几何形状单一：单个高斯仅能表示椭球体，无法还原不规则结构。
现有改进方案要么颜色变化微弱（如基于球谐函数的调整），要么受限于简单几何场景（如全局 UV 纹理映射），难以兼顾表现力与通用性。因此，研究团队希望通过局部纹理映射，让每个高斯具备独立的细节表达能力。

五、核心方法

三维高斯喷溅模型

在三维高斯泼溅 [29] 中，三维场景通过三维高斯表示，图像通过可微体积泼溅（differentiable volume splatting）进行渲染。具体而言，三维高斯泼溅通过三维协方差矩阵∑ i∈R 3×3和中心μ i∈R 3（索引i表示第i个高斯）显式定义三维高斯，其中点
x∈R 3处的三维高斯函数值定义为：

其中，协方差矩阵
分解为旋转矩阵R∈R 3×3和尺度矩阵S∈R 3×3。为了从三维高斯表示渲染二维图像，需通过世界 - 相机变换矩阵W∈R 3×3将三维高斯从世界坐标系转换到相机坐标系，并通过局部仿射变换J∈R 3×3投影到二维图像平面。转换后的三维协方差∑ ′可计算为：
泼溅到图像平面上的二维高斯G 2D的协方差∑ 2D可通过提取转换后三维协方差的前两行和前两列近似得到，即

（采用矩阵子式表示法）。为了渲染像素p∈R 3的颜色，需按照传统体渲染方程，从前到后对每个高斯的颜色进行阿尔法合成：
这个公式定义了三维高斯喷溅模型。其中，i为高斯的索引，ci是根据每个高斯的球谐函数系数和视角方向计算得到的颜色，αi是根据每个高斯的不透明度，Oi和在像素位置p处评估的二维高斯值计算得到阿尔法值：
高斯的属性（中心、旋转、尺度、不透明度和球谐函数系数）通过对渲染的二维图像采用光度损失（photometric losses），利用梯度下降进行优化。

纹理高斯

从 定义的三维高斯泼溅外观模型中，我们观察到高斯泼溅的两个特性：
同一高斯覆盖的像素采用相同颜色（仅受高斯衰减缩放因子影响）；
每个高斯的不透明度仅允许高斯表示椭球体形状。
这两个特性极大地限制了单个三维高斯基元的表现力。为了让每个高斯基元能够表示复杂的外观和形状，我们为每个高斯分配一个固定分辨率的二维纹理图（大小为
T×T×κ，其中T∈N，κ∈{1,3,4}），并将每个高斯转换为纹理高斯。如图 2 所示，
κ=1,3,4分别对应阿尔法、RGB 和 RGBA 纹理图。因此，纹理高斯的形状由每个高斯的不透明度与纹理图的阿尔法通道的乘积所定义的空间变化不透明度决定；纹理高斯的外观则由以下两部分表示：1）空间变化纹理图的 RGB 通道；2）一组空间恒定的球谐函数系数（SH）。直观地说，空间恒定的球谐函数系数表示低频纹理以及与视角相关的颜色（如高光效果），而空间变化的纹理图表示纹理的高频空间变化。然后，将纹理映射到由第i个三维高斯的两个长轴定义的平面P上（该平面以μ i∈R 3为中心），如图 3 所示。因此，该平面的法向量n i∈R 3对应于尺度最小的轴。对于当前正在渲染的每个像素p∈R 3，我们从相机原点o∈R3向像素中心p发射一条光线，并使其与平面P相交。相交点x∈R3可计算为：
已知平面P的相交点x后，我们对第i个高斯相关联的纹理图执行 UV 映射和双线性插值，以查询 UV 坐标v∈R处的的纹理颜色和阿尔法值，分别表示为c itex (u,v)∈R 3αitex​（u,v)∈R。具体而言，相交点在纹理图上的 UV 坐标(u,v)
可计算为：
$
​
其中，σ i1、σ i2∈R是第i个高斯的两个长轴的尺度，r i1、r i2∈R 3是第i个高斯的两个长轴的归一化方向，m∈R是一个标量乘数，用于确定纹理图相对于每个高斯的范围。结合根据球谐函数系数计算得到的颜色（我们称之为c ibase，与公式3中原始三维高斯泼溅外观模型的颜色分量相同），第i个高斯对像素p的最终颜色贡献定义为：
第i个高斯在像素p处的阿尔法值定义为：
最后，为了渲染像素p的颜色，我们修改三维高斯泼溅外观模型，以纳入空间变化的纹理和不透明度：
这个公式是三维高斯外观的广义表述，涵盖了纹理高斯的不同变体。例如，当
c itex=0且α itex=1时，对应于原始三维高斯泼溅模型。

纹理高斯的优化

借鉴三维高斯泼溅[29]的思路，我们通过最小化加权光度损失来优化模型：
我们的优化过程分为两个阶段：首先，对三维高斯泼溅模型进行30,000次迭代优化（学习率和自适应密度控制（ADC）参数详见附录）；第二阶段，利用优化后的原始三维高斯泼溅模型初始化高斯的所有属性，并联合优化这些属性与每个高斯的二维纹理图，再进行30,000次迭代。为了保证与基线模型的公平对比，第二阶段禁用了自适应密度控制（ADC）以固定高斯数量。这种两阶段优化过程极大地加快了收敛速度并提升了图像质量，因为联合优化所有参数是一个高度不适定的问题。
1.纹理高斯定义
为每个 3D 高斯分配固定分辩率 2D 纹理图（阿尔法、RGB 或 RGBA）其中：
阿尔法通道：扩展高斯形状表达，突破椭球限制；
RGB 通道：建模高频颜色变化；
结合球谐函数系数：低频纹理 + 视角相关颜色（如高光）由球谐函数负责，高频细节由纹理图负责。
2. 关键计算流程
光线 - 高斯相交：从相机像素发射光线，计算与高斯所在平面的交点；

UV 映射与插值：通过交点计算 UV 坐标，查询纹理图的颜色与阿尔法值；
颜色与不透明度融合：结合球谐函数颜色与纹理颜色，计算高斯对像素的贡献；
阿尔法合成：按体渲染方程叠加所有高斯的贡献，得到最终像素颜色。
3. 两阶段优化
预训练：先优化 3DGS 模型 30000 次迭代，获得高斯的位置、旋转、尺度等基础属性；
联合优化：基于预训练结果，初始化高斯属性并联合优化纹理图，再迭代 30000 次，禁用自适应密度控制以保证公平对比。

六、实验分析

PSDN数值越高，效果越好

1. 数据集覆盖
   实验涵盖 Blender、Mip-NeRF 360、DTU、Tanks and Temples、Deep Blending 等标准数据集，以及自定义采集的高细节艺术品场景。
2. 核心实验结果
   相同高斯数量下：Textured Gaussians 在 PSNR、SSIM、LPIPS 等指标上全面优于 3DGS，能精准还原高频纹理；
   少量高斯场景（1%-10%）：优势更显著，仅用 1% 高斯数量时，PSNR 提升近 2dB，大幅超越 3DGS；
   相同模型大小下：阿尔法 - only 纹理模型表现最佳，证明在高斯参数与纹理通道间存在最优分配方案。
3. 定性效果
   在复杂纹理场景中，3DGS 因高斯数量不足导致细节模糊，而 Textured Gaussians（尤其是 RGBA 变体）能清晰还原纹理细节与不规则结构，重建效果更锐利、更真实。

七、结论与展望

结论
该研究通过为 3D 高斯添加局部纹理映射，成功突破了 3DGS 在颜色表达与几何形状上的局限，在保持快训练、快渲染优势的同时，显著提升了三维重建的细节表现力。无论是相同高斯数量还是相同模型大小，Textured Gaussians 均能实现更优的新视角合成质量。
未来方向
扩展纹理表示：探索 3D 体积纹理或 5D 辐射场，支持空间变化的高光颜色建模；
高维纹理压缩：利用张量分解等方法优化高维纹理的存储与计算效率；
动态场景适配：通过时变纹理图，将方法扩展到动态场景重建任务。
Textured Gaussians 为 3D 高斯泼溅技术打开了细节建模的新维度，有望在虚拟仿真、数字孪生、AR/VR 等领域推动更逼真的三维内容生成应用。