IP-Adapter 它的全称是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models,翻译成中文就是:用于文本到图像扩散模型的文本兼容图像提示适配器。IP-Adapter 是一个目前比较新的 ControlNet 类型,是由腾讯AI实验室发布的一个开源项目。IP-Adapter提供了一种图像提示的方法,用于实现预训练文本到图像扩散模型的图像提示能力,让新生成的图片可以直接使用参考图中的某种主题元素。当我们无法准确用prompt描述心中那副图时,最简单的办法就是找一张近似的,然后img2img流程启动,很多同学也称这个能力为垫图。
IP-Adapter由两部分组成:图像编码器从图像提示中提取图像特征,以及具有解耦交叉注意机制的自适应模块将图像特征嵌入到预训练的文本到图像扩散模型中。
项目地址:https://github.com/tencent-ailab/IP-Adapter
项目主页:https://ip-adapter.github.io/
论文:https://arxiv.org/abs/2308.0672