什么是CyberHost

CyberHost功能特点

• 区域码本注意力机制：通过区域码本注意力机制，将细粒度的局部特征与学习到的运动模式先验相结合，提高了面部和手部动画的生成质量。区域码本包括从数据集中学习的运动码本和从裁剪的局部图像中提取的身份描述符，能够平衡一般细节和特定于身份的细节。
• 多模态驱动支持：支持混合信号驱动，如2D手关键点和音频的组合，能够提高手生成的稳定性和与音频的相关性。
• 人类先验引导的训练策略：包括身体运动图、手部清晰度得分、姿势对齐的参考特征和局部增强监督等。身体运动图用于稳定身体根部的运动幅度，手部清晰度得分增强了模型对模糊手部数据的鲁棒性，姿势对齐的参考特征确保了生成视频的视觉和拓扑一致性，局部增强监督帮助模型更好地学习人体的内在拓扑结构。

CyberHost应用场景

• 虚拟角色与动画制作：在虚拟角色的创建和动画制作中，能够根据音频自动生成虚拟角色的动作和表情，使角色更加生动、逼真，提升用户的沉浸感。
• 视频会议与远程沟通：在视频会议和远程沟通中，根据发言人的音频实时生成自然的头部运动和面部表情，使沟通更加直观、自然，增强参与者之间的情感联系。
• 数字娱乐与社交媒体：在数字娱乐领域，为用户创造有趣、独特的音频驱动人类动画内容，增加娱乐性和互动性。