Google Genie简介
Google Genie是通过大量未标记的互联网视频以无监督方式训练而成的,能够根据文本、合成图像、照片甚至草图生成各种可控的虚拟世界。Genie模型包含110亿个参数,可以被视为一个基础世界模型,它由时空视频分词器、自回归动力学模型和一个简单且可扩展的潜在动作模型组成。
论文地址:https://arxiv.org/abs/2402.15391
项目地址:https://sites.google.com/view/genie-2024/home
Google Genie应用场景:
游戏开发:Genie可以用来生成新的游戏环境和关卡,为游戏设计师提供无限的创意空间,同时减少手动设计关卡的工作量。
虚拟现实(VR)和增强现实(AR):在VR和AR应用中,Genie可以创造出交互式的虚拟环境,为用户提供沉浸式的体验。
电影和动画制作:Genie可以用于生成电影场景或动画序列,为导演和动画师提供新的创作工具,加速内容生产过程。
教育和培训:Genie可以用来创建教育模拟环境,例如历史重现、科学实验模拟等,帮助学生更好地理解复杂概念。
机器人和自动化:Genie训练出的模型可以用于机器人学习,通过模仿视频中的行为来提高机器人的操作技能。