LGM简介
LGM是一种用于从文本提示或单视图图像生成高分辨率3D模型的新型框架。这种模型利用了多视图高斯特征作为一个高效且强大的表示方式,能够将这些特征融合在一起以生成高分辨率的3D模型。LGM的关键技术包括使用高效轻量的非对称U-Net作为骨干网络,直接从四个视角的图片中预测高分辨率的高斯基元,并通过可微渲染技术呈现出任意视角下的3D内容。此外,LGM解决了有限计算量下高效3D表征和高分辨率下的三维骨干生成网络的挑战,支持Text-to-3D和Image-to-3D任务,同时提供了高效的Mesh转换方法。
LGM的开发旨在满足元宇宙中对3D创意工具不断增长的需求,特别是在三维内容生成(3D AIGC)领域,它在质量和速度方面都取得了显著进步。通过这种模型,可以在短时间内产出高质量的3D物体,这对于需要快速创建复杂3D物体的需求来说是一个巨大的优势。
综上所述,LGM是一个专门用于生成高分辨率3D模型的框架,它通过多视角高斯特征作为高效表示方式,结合高效的三维骨干生成网络和Mesh转换方法,解决了在有限计算量下实现高效3D表征和高分辨率三维骨干生成网络的挑战,从而支持高质量的Text-to-3D和Image-to-3D任务。
论文标题:LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation
项目主页:https://me.kiui.moe/lgm/
代码:https://github.com/3DTopia/LGM
论文:https://arxiv.org/abs/2402.05054
在线 Demo:https://huggingface.co/spaces/ashawkey/LGM