什么是ToonCrafter

ToonCrafter 是一种超越传统基于对应的卡通视频插值的新方法，为生成插值铺平了道路。传统方法隐式假设线性运动，不存在遮挡等复杂现象，因此经常难以处理卡通中常见的夸张的非线性和大运动以及遮挡，导致插帧结果不合理甚至失败。为了克服这些限制，腾讯探索了在生成框架内调整真人视频先验以更好地适应卡通插值的潜力。ToonCrafter 有效地解决了将真人视频运动先验应用于生成卡通插值时面临的挑战。以上是官方介绍，就是用两张图片，采用插帧的方式生成动态视频，特别是针对动画视频而设计。

论文地址：
arxiv.org/abs/2405.17933v1

项目地址：
github.com/tooncrafter/tooncrafter

在线试用地址：
huggingface.co/spaces/Doubiiu/tooncrafter

SD Comfyui里安装ToonCrafter 节点和下载模型使用

ToonCrafter功能特点

这应该是动画制作人的福音。之前一秒要画24张手稿的动画片（动画片一般每秒24帧），整部片子一般都要画10多万张手稿，现在就只要十二分之一的手稿了。一贯对AI抵制的宫崎骏老爷子，看到这个又该如何说呢。

为了让动画更可控，在输入起始帧和结束帧的图像外，还可以输入线稿草图控制生成。

对于卡通素描线稿也可以生成插帧动画。

以往动画先画线稿，然后还得一张一张上色。在用ToonCrafter 生成黑白线稿动画后，仅需要一张已经上色的参考图片，就可以让线稿动画作色。

ToonCrafter 的工作原理核心在于生成插帧算法。ToonCrafter 利用它的3D解码器和交叉参考的细节注入机制，分析提供的起始帧和结束帧，然后生成一系列的中间帧。