什么是ReSyncer

ReSyncer是一个由清华大学、百度公司、中关村实验室和南洋理工大学的研究人员共同推出的新技术框架，用于创建统一的音频-视觉同步的面部表演者系统。ReSyncer不仅可以实现更高稳定性和质量的口型同步，而且还支持创建虚拟表演者所必需的各种有趣属性，包括快速个性化微调、视频驱动的口型同步、说话风格的转换，甚至换脸。

ReSyncer相关链接：

论文地址：http://arxiv.org/abs/2408.03284v1

项目地址：https://guanjz20.github.io/projects/ReSyncer

ReSyncer主要功能和特点如下：

1. 高保真度的唇形同步：ReSyncer能够生成与音频高度同步的唇部动作视频。
2. 说话风格和身份的传递：它不仅能实现高保真的唇形同步，还能传递说话者的风格和身份。
3. 快速个性化的微调：支持创建虚拟主持人或表演者所需的各种有魅力的特性，并能进行快速个性化微调。
4. 风格注入唇同步变换器（Style-SyncFormer） ：该阶段负责从音频输入预测3D面部动态。
5. 基于风格的生成器：第二阶段是重新配置的基于风格的生成器，用以将3D动态渲染成高保真的面部图像。

这些特点使得ReSyncer在音频-视觉同步领域具有显著的优势，特别是在生成高质量的面部动画方面表现出色。