Make-A-Character支持一句话生成超逼真的3D数字人。只需要通过文字描述人的脸型、五官、发型等特征,它就能在不到2分钟的时间内生成一个超逼真的3D角色。
项目及演示:https://human3daigc.github.io/MACH/
论文地址:https://arxiv.org/pdf/2312.15430.pdf
代码:https://github.com/Human3DAIGC/Make-A-Character
试玩地址:https://www.modelscope.cn/studios/XR-3D/InstructDynamicAvatar/summary
而且你可以自定义面部特征,例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子,以及添加皱纹和雀斑等。
Make-A-Character(MACH)的主要特点:
1、可控制性:用户可以详细自定义面部特征,例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子,以及添加皱纹和雀斑等。
2、高度逼真:角色基于真实人类扫描数据集生成,发型为实际发丝而非网格,使用Unreal Engine的物理基础渲染(PBR)技术渲染,以实现高质量实时渲染效果。
3、完整模型:每个角色都是完整模型,包括眼睛、舌头、牙齿、全身和服装,无需额外建模即可立即使用。
4、可动画化:角色配备复杂的骨骼装置,支持标准动画,增强其逼真外观和多样化应用。
5、行业兼容:生成的3D角色可以无缝集成到现有的计算机图形(CG)工作流程中,特别是在游戏和电影行业中常用的工作流程。
MACH支持英文和中文提示,可根据详细的文本描述快速生成3D角色,例如“圆脸胖女士”或“棕皮肤戴黑眼镜的男孩,绿色头发”等等。
工作原理:
Make-A-Character(MACH)结合了大语言模型、视觉模型和3D生成技术。
1、文本解析:首先,MACH使用大语言模型(比如GPT类模型)来理解用户输入的文本描述。这个过程中,它会识别出文本中提到的各种面部特征,例如脸型、眼睛形状、嘴巴形状、发型和颜色等。
2、视觉映射:接着,这些语义属性(如脸型、眼睛形状等)被映射到对应的视觉线索上。这意味着系统会根据文本中的描述生成一个参考的人脸图像。这个步骤通常使用像“Stable Diffusion”这样的图像生成模型来完成。
3、2D面部解析:生成的参考图像接下来会经过2D面部解析过程,这一过程涉及到对人脸的不同部分进行识别和分割。
4、3D生成:基于面部解析的结果,MACH开始生成目标角色的3D网格和纹理。这个过程包括创建角色的3D模型,并且将纹理(如皮肤、头发等)应用到模型上。
5、附加配件:如果文本描述中提到了其他配件(如眼镜、帽子等),这些也会在这一步骤中添加到3D角色上。
6、参数化表示和动画:最终生成的3D角色是参数化的,这意味着可以容易地对其进行动画处理,比如添加行走、说话等动作。
通过这些步骤,MACH可以快速从简单的文本描述中生成逼真的、完整的、可动画化的3D角色,适用于各种娱乐和专业场景。