ComfyUI-3D-Pack简介

ComfyUI-3D-Pack是一套全面的节点套件，用于支持ComfyUI处理3D输入（如Mesh和UV Texture等），采用先进算法（如3DGS、NeRF等）。该项目支持从单张图片到3D高斯模型的快速转换，并提供3DGS和3D网格的可视化。

ComfyUI-3D-Pack  Github地址：https://github.com/MrForExample/ComfyUI-3D-Pack

ComfyUI-3D-Pack功能特点

大型多视图高斯模型：3DTopia/LGM
在RTX3080 GPU上，30秒内实现单张图片到3D高斯的转换，之后还可以将3D高斯转换为网格。

三平面高斯变换器：VAST-AI-Research/TriplaneGaussian
在RTX3080 GPU上，10秒内实现单张图片到3D高斯的转换，之后还可以将3D高斯转换为网格。

3DGS和3D网格预览：在ComfyUI中的3D可视化
分别使用gsplat、js和three、js来进行3DGS和3D网格的可视化。

堆叠轨道相机姿态：自动生成所有范围的相机姿态组合

可以使用它来调整StableZero123（首先需要下载检查点），在一个提示中使用全部范围的相机姿态
可以使用它来生成轨道相机姿态，并直接输入到其他3D处理节点（例如GaussianSplatting和BakeTextureToMesh）

坐标系统：
方位角：在顶视图中，从0度开始旋转360度，步长为-90，你将得到(0, -90, -180/180, 90, 0)，在这种情况下，相机顺时针旋转，反之亦然。
仰角：当相机水平向前指时为0，向下指向地面是负角度，反之亦然。

3D高斯喷涂
改进的差分高斯光栅化技术
从Gsgen获得更好的基于紧凑性的密化方法，
支持从给定的3D网格初始化高斯（可选），
支持小批量优化，
多视图图像作为输入，
支持导出到标准的3DGS 、ply格式。

路线图

1、添加DMTet算法，允许从点云（高斯/、ply）转换为网格（、obj, 、ply, 、glb）
2、整合三平面遇见高斯喷涂：快速且通用的单视图3D重建与变换器
3、在ComfyUI内添加交云3D UI，以可视化3D表示的训练和生成结果
4、添加一个新节点，以给定3D高斯和轨道相机姿态生成渲染图像序列（这样我们可以稍后将其馈送到可微分渲染器中，将其烘焙到给定网格上）
5、整合LGM：大型多视图高斯模型，用于高分辨率3D内容创建
6、添加一个通用的SDS/ISM优化算法，允许使用扩散模型训练3D表示，真正的乐趣从这里开始 😉
需要对间隔得分匹配（ISM）进行深入研究，因为其背后的数学原理非常合理，而且有很多方法可以改进从LucidDreamer获得的结果
7、改进3DGS到网格转换算法：
支持使用图像（RGB、Alpha、法线图）
训练DMTet找到更好的方法将3DGS或点云转换为网格（可能是法线图重建？）
8、添加来自运动（SfM）的结构初始化为3DGS（更好的第一猜想 -> 更快的收敛和更好的结果）