Create AI 开源 Ruyi-Mini-7B 图生视频模型,专为消费级 GPU 设计

CreateAI 开源的 Ruyi-Mini-7B 图生视频模型是一款专为消费级 GPU 设计的图像生成视频模型,旨在将静态图像转化为动态短视频。该模型基于 EasyAnimate V4 架构优化,采用 Casual VAE 模块和扩散变换器模块(Diffusion Transformer),并结合了 DDPMCLIP 引导特性进行训练。

Ruyi-Mini-7B 拥有约 71 亿参数,支持从 360p 到 720p 的多种分辨率和灵活的长宽比,最大视频时长可达 5 秒。此外,该模型还支持多分辨率生成,范围从 384x384 到 1024x1024,最长可生成 120 帧或 5 秒的视频。用户可以通过控制首尾帧定制视频内容,并设置最多 5 个起始和结束帧,实现任意长度的视频创作。

Ruyi-Mini-7B 特别优化了在消费级显卡上的运行效率,如 RTX 4090 显卡,确保用户无需高端硬件即可轻松使用。模型提供了详尽的部署指南和 ComfyUI 工作流,帮助初次用户快速上手。

尽管 Ruyi-Mini-7B 在功能上表现出色,但仍存在一些不足之处,例如手部动作不够自然、多人场景中面部细节失真以及不可预测的转场效果。图森未来表示,这些问题正在积极改进中,并计划在未来更新中逐步修复。

Ruyi-Mini-7B 的开源特性使其成为科研和创意场景的理想选择,用户可以通过 Hugging Face 平台免费下载使用。该模型不仅适用于游戏、视频制作和社交平台等领域,还能够降低动漫和游戏内容制作的开发周期与成本。

CreateAI 开源的 Ruyi-Mini-7B 图生视频模型是一款功能强大且易于使用的工具,特别适合需要在消费级硬件上运行的用户。其灵活的分辨率和时长控制功能,以及对消费级 GPU 的优化设计,使其在 AI 视频生成领域具有重要的应用价值。

来源:www.aiug.cn
声明:文章来源于网络,如有侵权请联系删除!