什么是Follow-Your-Emoji
Follow-Your-Emoji是一种基于扩散模型的肖像动画框架,由香港科技大学、腾讯混元团队和清华大学的研究人员共同推出。该框架的主要功能是将目标表情序列动画化到参考人像上,同时确保人像身份的一致性、表情的传递、时间的连贯性和保真度。
Follow-Your-Emoji可以处理各种类型的参考头像,如真人照片、卡通人物、雕塑甚至动物,并将这些头像的表情和动作转换为动画。它通过使用目标地标序列对参考肖像进行动画处理,能够精细控制和生成丰富表情的动画。
该框架的一个显著特点是能够在保持原始头像身份特征的同时,生成自由风格和丰富表情的动画。它采用了表情感知标志点和面部细粒度损失技术,显著提高了模型在控制自由风格人像表情方面的表现。
Follow-Your-Emoji还支持使用单一的驱动视频或动作序列来驱动多个不同的参考头像生成动画,每个参考头像都会按照同一个动作序列表现出相同的动作和表情。
用户可以通过访问官方网站了解产品介绍和主要功能,观看Demo视频体验产品效果,并根据需要选择相应的动画制作工具或插件进行动画生成。
项目地址:https://follow-your-emoji.github.io/