什么是Still-Moving
Still-Moving是Google推出的一项创新技术,旨在通过静态图像来定制和生成视频。这一技术无需任何定制化的视频数据,能够将个性化或风格化的静态图像转换成具有自然运动特性的视频。
Still-Moving相关链接
项目链接:https://still-moving.github.io
Still-Moving的主要功能特点包括:
通用框架:这是一个新颖的通用框架,适用于文本到视频(T2V)模型的定制,而不需要任何特定的视频数据。
风格化与个性化:用户可以轻松地将静态图像转换成视频,并且这些视频可以保持一致的风格,例如使用预训练的风格化T2I模型(如StyleDrop)。这使得视频不仅在视觉上一致,还能在风格上符合用户的偏好。
运动特性保留:在调整视频模型时,仍能保留先前的运动特性,这意味着即使是在静止图像上进行调整,也不会影响到视频的自然流畅性。
应用广泛:该技术不仅适用于个性化视频生成、风格化视频生成,还适用于条件视频生成等多种场景。
无需定制化数据:该框架的一个显著优势是无需任何定制化的视频数据,这大大降低了使用门槛并提高了灵活性。Still-Moving提出了一种无需定制视频数据的方法,直接扩展T2I模型的定制化成果到T2V模型。
- 运动适配器训练:引入运动适配器,用于控制模型生成视频的运动量。通过在静态视频上训练这些适配器,模型学会生成静态视频。
- 空间适配器训练:注入定制化的T2I权重,并训练空间适配器,这些适配器在组合了定制化图像和自然视频的数据上进行训练,从而在保持模型运动先验的同时,适应定制化的空间先验。
Still-Moving通过其独特的通用框架和强大的功能,为视频个性化和风格化提供了新的可能性,使用户能够更加便捷地创建高质量的定制视频内容。