3DGS场景编辑实战：高斯平移旋转与障碍物删除全解析

做一个3DGS重建完之后很多人的第一反应是“终于能自由视角漫游了”但紧接着就会撞上一个现实问题重建出来的场景里总有些东西是你不想要的。比如拍一个室内空间桌子下面塞了个纸箱或者拍摄过程中有人临时走进画面重建后就留下了一团人形伪影再或者你想把某个雕塑换到街角位置看看效果。重新拍一遍不现实耗时耗力而且光线条件很难复现。解决办法就是在已经训好的3D高斯场景上做编辑——直接对高斯基元做平移、旋转甚至把那几万个“碍事”的高斯删掉。这也是3D Gaussian Splatting和传统mesh重建流程之间最大的差异点它不是通过对网格做形变操作而是对一组离散分布的空间高斯做属性级修改。换句话讲场景编辑的本质就是精确地改每个高斯的坐标、朝向、尺寸和不透明度。这篇我结合自己几个项目的实际经历把高斯场景平移、旋转、障碍物遮挡去除这三块内容从数据格式、数学原理到代码实现完整过一遍希望对正在做同一件事的人有帮助。1. 为什么3DGS重建完还要做场景编辑——显式表示给后期处理带来的优势1.1 从“重新拍摄”到“重建模”的痛点转移我第一次接触3DGS项目时天真的想法是拍完照、重建完、看效果完事。可连续做了几个实景项目后发现真实场景里几乎没有一次拍摄是“干净”的。要么有移动的车辆要么有透明玻璃反光要么有临时堆放的杂物。传统NeRF时代遇到这种问题基本只能重新挑帧、重新训练一个模型训10个小时等个寂寞而到了3DGS虽然训练时间大幅缩短但重新拍摄的物理成本还在。所以从NeRF到3DGS我认为真正的工程化红利不是训练快了几十倍而是场景呈现形式从隐式神经场变成了显式的高斯集合。这意味着你可以直接拿到每个高斯的空间坐标、协方差、不透明度、颜色信息修改它们是纯CPU/GPU数组操作不涉及任何网络推理。这意味着平移、旋转、删除这些传统网格编辑操作在3DGS上全部可行而且可以在秒级完成。这件事对于产品化、后期制作、数字孪生落地意义非常大。1.2 高斯集合和网格的编辑逻辑完全不同如果是mesh要把一个物体旋转30度你得先确定面片边界、处理拓扑关系、重算法线、重新贴图。但在3DGS里场景本身就是一堆椭球体旋转场景就等于把每个高斯质心坐标旋转一遍再把每个高斯椭球的姿态旋转四元数跟着旋一遍颜色、透明度、尺寸基本不用动。这比网格处理简单太多。危险的地方在于“尺寸和透明度基本不用动”这句话有前提你必须同步更新协方差矩阵否则渲染出来的物体会被拉成奇怪的“彗星”形状。这个坑我踩过后面单独展开。1.3 哪些编辑需求最常出现从我的项目经验看3DGS场景编辑的需求集中在三类空间变换类把重建出的物体比如产品、家具、展品从原位置挪走换到场景内其他位置或者调整朝向角度这在电商展示、A/B对比方案里出现得特别多。去除干扰物类拍摄场景中出现了多余的障碍物——行人、临时车辆、反光板、脚手架都要通过删除对应高斯来解决。这是所有实景扫描项目的刚需。组合重建类把多个3DGS子场景比如分别拍的两件展品合并到一个场景或者把一个场景里的物体搬到另一个场景去。这时候需要先对子场景做空间对齐再做旋转平移。理解了这几种需求后面的技术细节才有的放矢。下面我直接从数据文件开始讲因为不读懂文件格式后面的所有操作都无从谈起。2. 动手前先搞懂数据格式Gaussian场景文件里到底存了什么2.1 打开PLY文件你看到的不是一个普通点云3DGS训练完官方实现会导出一个.ply文件经常被误当成普通点云。实际上这个文件里存的不是简单的 xyzrgb而是每个高斯的全套参数。我用最简单的Python读取方式给你们展示一下import plyfile import numpy as np plydata plyfile.PlyData.read(scene.ply) vertex plydata[vertex] print(vertex.properties) # 打印所有属性名 print(高斯数量:, vertex.count)正常情况会看到类似这样的属性列表[x, y, z, nx, ny, nz, f_dc_0, f_dc_1, f_dc_2, f_rest_0, ... f_rest_44, opacity, scale_0, scale_1, scale_2, rot_0, rot_1, rot_2, rot_3]这里x/y/z是高斯中心在世界坐标系中的位置opacity经过sigmoid激活后代表该位置对渲染的贡献权重scale_0/1/2存的是缩放量的log值rot_0~rot_3是单位四元数用来表示高斯椭球相对世界坐标系的朝向。至于f_dc_0~2是球谐Spherical Harmonics, SH的0阶DC项相当于基础颜色f_rest_0~44是更高阶的球谐系数用来描述视角相关颜色变化。2.2 协方差矩阵高斯椭球的“形体”是怎么来的渲染的时候一个3D高斯在空间中的分布由一个3x3协方差矩阵Σ决定。这个矩阵不是独立存储的而是从scale和rot两个属性还原出来的Σ R S Sᵀ Rᵀ其中R是由四元数rot转换出来的旋转矩阵S是对角矩阵对角线是exp(scale_0), exp(scale_1), exp(scale_2)。也就是说每个高斯本质上是一个中心在(x,y,z)的椭球轴向由rot决定三轴半径由scale决定。颜色和透明度则叠加在这个椭球表面最终按体积渲染的方式投影到图像平面。这个还原过程极其关键。你要对整个场景做旋转如果只改(x,y,z)高斯的椭球朝向不会跟着变渲染出来的结果会怎样你可以想象一堆椭圆盘子全都保持原来的倾斜角度但它们的位置已经被旋转走了画面会出现明显的撕裂感和不自然的扁椭圆拉伸。这就是我在1.2里说的“彗星”伪影的来源。2.3 球谐系数为什么旋转场景时也要考虑它们很多网上的简易编辑工具在旋转3DGS场景时只处理位置和协方差矩阵不碰球谐系数。这在大部分预览场景里看不出大问题因为一张图只有几十万像素而SH的高频细节占比不高人眼很难察觉视角相关光照的细微错误。但如果你的目标是做严谨的场景编辑比如把物体旋转后合并到另一个高质量场景SH不跟着旋转是不行的。原因很简单SH系数编码的是“从某个方向看过去时该高斯显示什么颜色”旋转场景意味着观察方向和高斯局部朝向的对应关系变了必须把每个高斯携带的SH系数也旋转到新朝向否则物体上的高光、反射会从错误的方向冒出来。严格做SH旋转需要为每一阶球谐计算Wigner D矩阵这是个相对偏数学的内容后面我给出可直接用的代码。对于只想快速搞定项目的人来说选择忽略SH旋转这个操作在低阶SH默认训练基本是3阶或4阶下误差通常肉眼难辨但在边缘区域和金属表面缺陷会被放大。你自己权衡。3. 平移与旋转的实现位置、协方差、球谐系数一个都不能少3.1 平移听起来最简单但有两个问题要堵住平移的实现确实很简单def translate_gaussians(points, translation_vector): return points translation_vector但实际项目里有两个问题必须处理。一是平移之后原本在同一个世界里共用的光照环境会显得“出戏”因为3DGS重建时把光照烘焙到了每个高斯的颜色里物体换位置后光照方向与原场景不一致这类问题属于重建方法的固有限制暂时无解只能靠重新训练或在后期渲染时调色。二是平移目标物体时你必须确定平移范围。比如你要把桌角一个水杯拎起来但重建后的场景没有“水杯”这个分割对象只有几万颗高斯所以要么你用K近邻/包围盒把水杯对应的高斯选出来要么先用分割工具把它们标成一个组。否则平移操作会拖着无关背景一起动。3.2 旋转μ 和 Σ 必须同步更新旋转是这里最容易翻车的环节。我总结一下对一个场景子集做旋转的完整数学过程。设旋转矩阵为R_g例如绕Y轴旋转30度的矩阵旋转中心为center一般是子集的包围盒中心则对场景内每个高斯高斯中心坐标μ R_g * (μ - center) center协方差矩阵Σ R_g * Σ * R_gᵀ这里Σ是新的3x3协方差矩阵然后还要把Σ分解回scale和rot因为文件里存的是这两种参数。分解方法很直接def recover_scale_rot_from_covariance(cov): # 特征分解: cov V * diag(eigenvalues) * V^T eigenvalues, eigenvectors np.linalg.eigh(cov) # 特征值从大到小排序 order np.argsort(eigenvalues)[::-1] eigenvalues eigenvalues[order] eigenvectors eigenvectors[:, order] # 确保旋转矩阵是右手系det1 if np.linalg.det(eigenvectors) 0: eigenvectors[:, -1] * -1 scale np.sqrt(np.clip(eigenvalues, 1e-8, None)) rot quaternion_from_matrix(eigenvectors) # 矩阵转四元数 return scale, rot注意一定要用np.linalg.eigh实对称矩阵专用分解不要用np.linalg.eig后者在数值稳定性上会差很多尤其数据量大时可能出现复数解。另外quaternion_from_matrix建议直接用 scipy 的R.from_matrix(...).as_quat()不要自己造轮子。还有一个很多人忽略的步骤旋转之后 scale 的对数值要重新取log因为文件里存的是 log scale同时四元数需要归一化。这种数值细节在批量处理几十万高斯的时候一个小bug可能不报错但渲染结果完全错乱排查起来极其难受。3.3 代码实现用NumPy一次性完成批量旋转直接给可运行的代码函数输入是原始ply属性和旋转矩阵输出新的real_scale和real_rotimport numpy as np from scipy.spatial.transform import Rotation def transform_gaussians(xyz, scales, quats, R_g, center): 对一组高斯执行刚体变换。 xyz: (N,3) 高斯中心坐标 scales: (N,3) 存储中的log-scale quats: (N,4) 存储中的四元数 (w,x,y,z) 顺序按3DGS源码约定 R_g: (3,3) 旋转矩阵 center: (3,) 旋转中心 # 1. 位置变换 xyz_new (xyz - center) R_g.T center # 2. 对每个高斯用原始scalequat还原出协方差矩阵然后做相似变换 covs_new [] for i in range(len(xyz)): S np.diag(np.exp(scales[i])) R Rotation.from_quat(quats[i]).as_matrix() cov R S S.T R.T cov_new R_g cov R_g.T # 特征值分解回scale和四元数 eigval, eigvec np.linalg.eigh(cov_new) idx np.argsort(eigval)[::-1] eigval eigval[idx] eigvec eigvec[:, idx] if np.linalg.det(eigvec) 0: eigvec[:, -1] * -1 scale_new np.log(np.clip(eigval, 1e-8, None)) quat_new Rotation.from_matrix(eigvec).as_quat() # 返回 (x,y,z,w) quat_new quat_new[[3,0,1,2]] # 转成 (w,x,y,z) 与3DGS对齐 covs_new.append((scale_new, quat_new)) scales_new np.array([c[0] for c in covs_new]) quats_new np.array([c[1] for c in covs_new]) return xyz_new, scales_new, quats_new这个实现用纯Python循环几十万高斯跑下来可能有点慢但胜在直观。工程上你可以用矩阵批量运算把它向量化但本质还是这一套。我自己在一台普通桌面机上处理30万高斯循环版本全量旋转大约需要十几秒向量化版本能做到零点几秒。如果你要反复试验多个角度向量化是必须的。3.4 SH系数的旋转补偿严格方案与偷懒方案SH旋转是数学上最麻烦的一块。它的思路是每个求和高斯携带一组球谐系数描述不同视角下的颜色。对场景做旋转后每个高斯的“局部坐标系”朝向改变了原本从方向d看过去的颜色现在应该从R_g * d方向看过去。要精确重建这层对应关系需要把SH系数向量乘以一个“Wigner D矩阵”。以3阶SH为例3DGS默认是3阶共48个系数它的张量结构如下l0: 1个系数DC项旋转不影响。l1: 3个系数对应向量旋转矩阵就是3x3的R_g。l2: 5个系数需要一个5x5旋转矩阵。l3: 7个系数需要一个7x7旋转矩阵。网上能找到各种语言的SH旋转实现。如果你只是想快速出结果我提供一个工程上的折中方案先不考虑Wigner D矩阵只把DC项f_dc_0~2保留把高阶f_rest全部置零。这样物体会丢失视角相关高光变成漫反射外观但在大部分室内环境预览中反而更“干净”也不太会出错。代价是亮面反射、金属质感全部消失。如果你的项目对质量要求高就要认真实现Wigner D。这个代码比较长这里不贴全但思路很清楚对每个l按其量子数m从-l到l构造对应的旋转矩阵块组合起来就是整个SH旋转矩阵。有一个可行的快速集成方案用pyshtools库里的SHRotateRealCoef函数直接把系数矩阵按阶数喂进去。我在实际项目里的建议是如果只是做“大概看看旋转效果”直接置零高阶SH即可如果是要导出出去给别人用或者做最终交付一定要把Wigner D矩阵实现完整。两条路我都试过区别在物体轮廓边缘的反光和金属平面上很明显。4. 障碍物遮挡去除裁剪、藏匿与语义删除三套打法4.1 最直接粗暴AABB空间裁剪遇到场景里有个碍事的障碍物最常见的方式是定义三个轴对齐的包围盒边界然后删除落在盒子内部的高斯。代码非常直接def remove_gaussians_in_box(xyz, scales, quats, opacities, sh_coeffs, x_range(0,1), y_range(0,1), z_range(0,1)): mask ((xyz[:,0] x_range[0]) (xyz[:,0] x_range[1]) (xyz[:,1] y_range[0]) (xyz[:,1] y_range[1]) (xyz[:,2] z_range[0]) (xyz[:,2] z_range[1])) keep ~mask return xyz[keep], scales[keep], quats[keep], opacities[keep], sh_coeffs[keep], keep看起来简单现实里有个问题你框选障碍物的时候边界不可能精确贴合物体一定会框进一些背景高斯或者留下一些属于障碍物的高斯基元没删干净。前者会让背景出现一个“切面空洞”后者会让障碍物残影残留。我的建议是第一次框选做粗删然后渲染一帧看看哪里有残留再局部精修边界。4.2 进阶打法用Mesh或语义分割结果选择待删高斯如果要删除的障碍物是完整物体比如一辆车、一尊雕塑用AABB粗暴裁切边界会很丑。更好的办法是借助语义分割。具体流程是先用传统分割模型如SAM、MobileSAM在几个关键视角上选出障碍物的2D mask然后把mask反投影到3D空间用3DGS的渲染深度把mask映射成3D点云区域最后删除这些点对应的高斯。这个思路和很多现成3DGS编辑工具比如GaussianEditor、Gaussian Grouping的核心逻辑一致。区别在于它们额外加了训练微调步骤我为了快速出结果经常直接删高斯不微调。在只做删除不微调的情况下边缘会出现少量游离高斯解决办法是最后对全部剩余高斯做一次孤立点扫描如果一个高斯的K近邻数量极少且距离远超均值大概率是从障碍物边缘脱落的直接删掉。4.3 删除后留下的“空腔”要不要补很多人删完障碍物发现被遮挡区域露出了一个颜色异常的空腔然后就开始怀疑人生。这里要说清楚这是正常现象。因为重建时被遮挡的区域本来信息就不足删除障碍物并不会凭空还原背后的场景。如果背后的墙面纹理是重建完整的空腔只是暂时没有高斯覆盖渲染时会有残缺如果背后本来就没有重建数据那就要看你对“干净”的定义了。两种补救路线不补用后期mask遮罩。如果障碍物只出现在某一个固定视角附近可以保留原始高斯只是在渲染输出时用深度或颜色条件过滤。这个做法不会破坏场景数据。从同一场景的不同帧/不同视角补。如果原数据集有覆盖更深层的视角可以针对性训练一个局部补全模型用生成方式填充缺失高斯。这属于修复范畴成本高不是编辑的默认选项。我做项目时大多数情况下选择“不彻底删除”而是用遮挡区域外的高斯做一种软删除——把被删高斯的不透明度乘以一个极小值比如0.01而不是彻底移除。好处是如果临时要恢复还能把透明度调整回来不用重新读入原始文件。这种“软删除”尤其适合反复微调的场景。4.4 不删数据只遮渲染另一种更安全的做法举一个实际例子你拍了一条街道场景画面里有辆车挡路你想把它“去掉”但其实那辆车背后的墙体本来就贴着它深度连续硬删会把墙切穿。这种情况下我更推荐的做法是保留高斯基元只在渲染管线里做mask先正常渲染一帧不带mask的图像再用同样的相机参数渲染一份“根据高斯基元ID着色”的图像用颜色索引把障碍物像素在RGB图像上抠掉再用图像修补算法填充。这个流程不修改3DGS场景本身原理类似视频后期擦除优点是几乎零风险缺点是最终输出不是3D模型而是一组修好的图像不适合自由视角漫游。如果你做的是产品演示、静态展示这个方案性价比很高如果你要导出真实的3D场景文件那还是回到4.1/4.2的裁剪路线。5. 编辑后的验证流程伪影排查比操作本身更费时间5.1 快速渲染预览不重训也能看效果编辑完高斯基元最关心的就是“到底改对没有”。3DGS官方模型训练完会有一个SIBR viewer也支持加载PLY但那个viewer对自定义ply结构的兼容性有时候很捉急。我自己的做法是写一个最简单的splat渲染脚本用PyTorch让它只做前端光栅化推理不训练。一个最小可用方案大概是import torch from gaussian_splatting.utils.general_utils import build_rotation from gaussian_splatting.utils.graphics_utils import focal2fov # 读取编辑后的ply # 构造参数 means3D torch.tensor(xyz, dtypetorch.float32, devicecuda) scales torch.tensor(exp(scale), dtypetorch.float32, devicecuda) rotations build_rotation(torch.tensor(quats, dtypetorch.float32, devicecuda)) opacities torch.sigmoid(torch.tensor(opacity, dtypetorch.float32, devicecuda)) shs torch.tensor(sh_coeffs, dtypetorch.float32, devicecuda) # 调用官方代码库里的 render 函数 # rendered_image, _ render(...)这样你不用重新训练网络只要加载新参数选几个固定视角做渲染就能从图像上直观判断旋转方向对不对、删除边界干不干净。5.2 量化检查旋转之后的数学一致性光靠眼睛看有时会漏问题尤其是旋转后协方差矩阵分解这一层如果scale和quat恢复不准确视觉上可能只是轻微模糊不细看看不出来。我的做法是对比旋转前后两版文件里的几个关键统计量旋转前后的整体包围盒尺寸应该大致一致。旋转前所有高斯协方差矩阵的行列式总和和旋转后应该基本一致行列式对应椭球体积。随机取几百个高斯验证det(Σ_new) ≈ det(Σ_old)误差在1e-6以内。如果行列式变化过大说明我在分解协方差时把scale搞丢了比如log未还原、特征值截断太小等。这个检查在批量处理中非常有用能在渲染之前就发现问题。5.3 常见伪影及对应排查方向伪影现象根因排查方向旋转后的物体被拉长/压扁scale更新错误特征值截断过狠检查np.clip(eigval, 1e-8, None)是否太激进物体旋转后颜色闪动SH高阶级数未做Wigner D旋转看是否用置零方案或检查D矩阵阶数对齐删除障碍物后边缘有一圈杂色AABB裁剪边界剩余半颗高斯做孤立点过滤或边缘软衰减旋转后整体出现微小偏移旋转中心选错了确保center是目标集合的包围盒中心而不是原点预览正常但导出SIBR viewer崩溃quat没有归一化或PLY属性类型不匹配导出前对所有quat重新normalize说到SIBR viewer还遇到过一个莫名其妙的崩溃修改PLY时不小心把scale属性名从scale_0改成了scales_0viewer加载时直接抛错。3DGS文件的属性名有严格约定自定义导出工具时要保留原有字段名。这个小细节救了很多人。6. 实操落地的几个经验补充坐标系、批量管理、工具链6.1 坐标系的坑你和重建的COLMAP对齐了吗3DGS重建依赖COLMAP估计相机位姿输出的坐标系是由COLMAP决定的通常是任意尺度、任意朝向。如果你想让编辑后的物体精确放到指定位置必须先把场景坐标系和你的目标坐标系对齐。常规做法是用几个已知控制点在COLMAP稀疏点云和真实坐标系之间求一个相似变换旋转平移统一缩放然后把这个变换应用到所有高斯基元上。这个变换属于刚体缩放和前面讲的旋转处理方式不太一样因为缩放会改变尺度需要额外小心。我见过不少人直接在COLMAP坐标系里做平移操作结果物体“飘”到奇怪角度。原因是COLMAP场景不是正南正北你以为是“往上移”实际是沿着某个倾斜轴在移动。所以操作前先确认场景水平的基准。6.2 大场景下的内存与性能优化一个街景场景的高斯数量经常在百万级。直接对整个数组做旋转分解每个高斯都要做一个3x3特征分解CPU版本跑起来很感人。我的建议是只对待编辑的子集做变换不要全场景都算。先用KDTree或AABB圈出目标范围剩下的高斯原样保留。用PyTorch写批量特征分解GPU上有大量现成算子比逐元素循环快几个数量级。如果非要用NumPy尽量用np.linalg.eigh的批量版本np.linalg.eigh(cov_batch)。PLY文件读写也值得优化几百万个高斯的ply有几百MB频繁读写磁盘会浪费时间。可以把“读取—编辑—保存”封装成一个函数中间全程用内存数组一步到位。6.3 模块化的编辑工具链设计思路到最后阶段我一般会沉淀一个项目本地的编辑工具脚本接口大致长这样load_scene(path)读取PLY并解析成结构化numpy数组。transform_subset(mask, matrix, center)对指定高斯基元做刚体变换。remove_subset(mask, softFalse)硬删除或软删除透明度衰减。export_scene(path)写回PLY。render_preview(camera_json)快速渲染一组预览图。这个设计的好处是每一步只做一个原子操作可以随时回到上一步重新调整。因为编辑本身是不会破坏原始文件的存在最坏情况无非是重新加载原始PLY再改一遍。所有“危险”操作都留在内存里完成不写回磁盘直到你确认渲染结果没问题。我自己的习惯是任何编辑前都先备份原始PLY文件名加时间戳。3DGS场景文件巨大745文件备份很占空间但相比重新训练几小时的成本备份几十秒完全可以接受。这里多说一句如果只是调旋转角度不想每次都复制几百MB文件可以用软链接或者只保存原始文件路径编辑完直接输出新文件不覆盖旧文件。6.4 关于“编辑后能不能再训练”的问题最后说一个经常被问到的问题删了一些高斯基元后能不能继续训练来修复空洞答案是能但有前提条件。3DGS的优化器是照着完整训练集的目标函数来的你删掉一部分高斯后如果重新开始训练优化器会尝试在稀疏区域生成新高斯来拟合原视角的信息但“背后区域原本没有观测数据”这件事无法通过训练解决——它只会拟合出和附近颜色相近的“幻觉补全”结果。所以训练修复适合修补小的遮挡孔洞不适合恢复大范围的缺失几何。如果把3DGS本身当成可微渲染器编辑后的场景完全可以作为一个初始化继续微调几十步让颜色过渡更自然。这也是目前很多3DGS编辑工具例如GaussianEditor、Instruct-GS2G走的路子先编辑几何或语义再微调颜色和透明度让删除边界更干净。如果你手上的数据质量不错又希望效果达到“交付级”这个“编辑微调”的组合很值得尝试。我自己的习惯是先用透明衰减做软删除跑几十步微调看看效果如果边缘依然不理想再升级成硬删除。两种方案的取舍点很简单软删除适合“可再生背景”硬删除适合“确定要彻底拿掉的物体”。实际操作几次后你会形成自己的判断标准。