阿里巴巴推出了名为MotionShop的新项目,这一项目可以将视频中的角色替换为3D化身。MotionShop利用先进的视频处理和3D渲染技术,能够高效地将视频中的某个角色替换为3D人物,同时不改变视频中的其他场景和人物。被替换的3D人物能够完整复刻原视频中人物的动作,保持动作一致。
项目地址:https://aigc3d.github.io/motionshop/
试用地址:https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
技术原理:
1、视频处理和背景提取,利用视频处理技术分离出人物,留下无人的背景,并使用角色检测和分割追踪方法完成对目标的检测和追踪。
2、姿势估计,利用姿势估计技术分析视频中人物的动作,并生成相应的3D动画人物。光照估计和高性能渲染则保证了3D模型能够更自然地融入原视频背景,并具有高度的真实感和视觉效果。
3、视频合成将渲染好的3D动画人物合成回无人背景视频中,生成最终的视频成果。
MotionShop项目的推出将为视频制作和特效增添更多可能性,让用户可以更灵活地创作出富有创意的视频内容。
具体操作步骤如下:
上传一段视频,AI自动识别视频中的运动主体人物,并一键替换成有趣的3D角色模型,生成与众不同的AI视频。
第一步:上传一个包含人物的视频(请保证人物完整,视频时长不超过15秒);
第二步:选择视频中要替换的人物(自动选择);
第三步:选择要替换的虚拟角色模型并点击生成,等待10分钟即可生成结果。