什么是CatVTON
CatVTON是中山大学和美图发布的一款专为时尚爱好者设计的AI虚拟换衣模型。该模型通过在空间维度上简单拼接输入,实现了店内或穿着的任意类别服装与目标人物的无缝转移。CatVTON去除了所有不必要的条件和预处理步骤,包括姿态估计、人体解析和文本输入,只需要服装参考、目标人物图像和掩码即可完成虚拟试衣过程。
CatVTON相关链接:
- CatVTON项目链接:https://zheng-chong.github.io/CatVTON/
- 代码地址:https://github.com/Zheng-Chong/CatVTON
- CatVTON论文地址:https://arxiv.org/abs/2407.15886
- 项目演示:http://120.76.142.206:8888/
CatVTON主要功能和特点如下:
- 轻量级网络:CatVTON拥有总参数量为899.06M,训练时只需要49.57M可训练参数。
- 高分辨率支持:该模型支持1024x768高分辨率操作,显存需求低于8G。
- 基于Diffusion的虚拟试穿:CatVTON是一个简单高效的基于Diffusion的虚拟试穿项目,利用扩散模型实现虚拟试穿效果。
- 简化推理流程:在推理过程中,消除了所有不必要的条件和预处理步骤,如姿态估计、人工解析和文本输入,只需要服装参考、目标人物图像和虚拟试穿过程的面具。
- 多品类服装支持:不仅能够实现传统的平铺服装图到人物的换装,还支持上衣、裤子、裙子、套装等不同品类服装,保持较高的一致性。
- 无缝转移技术:通过简单高效的图像拼接方法,在空间维度上将服装图像与人物无缝地结合。
- 原生实现的ComfyUI节点:官方提供了原生实现的ComfyUI节点,方便用户使用。
CatVTON以其轻量级网络、高分辨率支持、简化推理流程和多品类服装支持等特点,成为时尚爱好者理想的虚拟试穿工具。