什么是MimicBrush

MimicBrush是阿里和港大提出的可以通过对参考图模仿进行零样本图像编辑。将一张图片的某一部分融合到领一张图片上去。用在电商商品展示上或者单纯的图片编辑和内容迁移很有用。从官方演示来看效果也很好。

MimicBrush，它会随机选择视频剪辑中的两帧，遮盖其中一帧的某些区域，并学习使用另一帧的信息恢复这些被遮盖的区域。通过MimicBrush这种方式，模型基于扩散先验发展而来，能够自监督地捕捉不同图像之间的语义对应关系。

MimicBrush 产生的编辑结果多种多样，用户只需在源图像中指定要编辑的区域（即白色蒙版），并提供一个野生参考图来说明编辑后该区域的效果。模型会自动捕获它们之间的语义对应关系，并在一次执行中完成编辑。

MimicBrush相关链接

论文地址：https://arxiv.org/abs/2406.07547

代码地址：https://github.com/ali-vilab/MimicBrush

项目主页：https://xavierchen34.github.io/MimicBrush-Page

演示地址：https://huggingface.co/spaces/xichenhku/MimicBrush

MimicBrush论文阅读

MimicBrush：使用参考模仿进行零样本图像编辑

MimicBrush摘要

图像编辑是一项实用而又具有挑战性的任务，因为用户的需求多种多样，其中最困难的部分之一是准确描述编辑后的图像应该是什么样子。在这项工作中，我们提出了一种新的编辑形式，称为模仿编辑，以帮助用户更方便地发挥创造力。

具体来说，为了编辑感兴趣的图像区域，用户可以自由地直接从一些自然参考（例如，一些在线遇到的相关图片）中汲取灵感，而不必处理参考和源之间的契合。这样的设计要求系统自动找出对参考的期望以执行编辑。为此，我们提出了一个生成训练框架，称为 MimicBrush，它从视频剪辑中随机选择两帧，屏蔽一帧的某些区域，并学习使用另一帧的信息恢复被屏蔽的区域。这样，我们的模型（从扩散先验发展而来）能够以自监督的方式捕捉单独图像之间的语义对应关系。

我们通过实验证明了我们的方法在各种测试用例下的有效性以及它相对于现有替代方案的优越性。我们还构建了一个基准以促进进一步的研究。

MimicBrush方法

MimicBrush 的训练过程。

首先，我们从视频序列中随机采样两帧作为参考和源图像。然后对源图像进行遮罩处理并通过数据增强进行增强。之后，我们将源图像的噪声图像潜伏层、遮罩层、背景潜伏层和深度潜伏层输入到模拟 U-Net 中。参考图像也经过增强并发送到参考 U-Net。对双 U-Net 进行训练以恢复源图像的遮罩区域。参考 U-Net 的注意键和值与模拟 U-Net 连接起来，以协助合成遮罩区域。

MimicBrush实验

本地区域编辑


纹理转移


后处理细化

MimicBrush结论

我们提出了一种简单交互的图像编辑新形式，称为模仿编辑。在我们的设置时，用户只需要在源图像上标记编辑区域并提供参考包含所需视觉元素的图像。MimicBrush自动找到相应的参考区域完成源图像。

为了实现模仿编辑，我们充分利用了这些优势的一致性和变异性，并设计了一个自监督的训练管道，使用一帧完成另一帧的遮罩区域。MimicBrush演示令人印象深刻性能的各种编辑任务，并支持广泛的应用程序。

通过探索，我们构建了一个综合评价模仿编辑的基准。这项工作是期望为社会带来新的灵感，探索更先进的影像技术生成和编辑。

MimicBrush功能特点介绍：

零样本图像编辑：用户无需提供大量样本或进行复杂的训练，即可实现图像风格的转换。
参考图像模仿：用户在源图像上圈定希望编辑的特定区域，并提供一张包含所需样式或对象的参考图像，MimicBrush会自动捕捉两者之间的语义对应关系，并一次性完成编辑。
自动区域识别：MimicBrush利用先进的AI技术，能够自动识别源图像中的编辑区域，并根据参考图像进行相应的修改。
多样化的编辑结果：包括局部区域编辑、纹理转移和后期处理优化等功能。
自监督学习：MimicBrush通过自监督学习捕捉不同图像间的语义关系，无需用户准确描述编辑效果。
智能捕捉联系：用户只需指明想要编辑的区域，再配上一张参考图，MimicBrush就能智能捕捉两者间的联系，一键搞定编辑。

MimicBrush应用场景：

电商商品展示：通过将一张图片的某一部分融合到另一张图片上，提升商品展示效果。
图片编辑和内容迁移：在图片编辑和内容迁移等多个领域具有广泛的应用潜力。

MimicBrush通过其创新的模仿编辑技术，极大地简化了图像编辑流程，为用户提供了高效、便捷的图像编辑解决方案。