什么是DistriFusion

DistriFusion是一种新颖的并行计算方法，旨在通过分布式并行推理加速高分辨率扩散模型的图像生成。其核心思想是将图像分割成多个补丁，并在多个GPU上并行处理这些补丁，从而减少单样本生成的延迟，同时保持图像质量。

DistriFusion相关链接

论文地址：https://arxiv.org/pdf/2402.19481

代码地址：https://github.com/mit-han-lab/distrifuser

项目地址：https://hanlab.mit.edu/projects/distrifusion

DistriFusion的主要功能特点：

1. 速度与质量兼得：DistriFusion能够在增加GPU数量时有效提升生成图像的速度，同时保持甚至超过单GPU的图像质量。
2. 无缝集成：该算法设计兼容现有的扩散模型，不需要额外的训练步骤即可使用。
3. 并行处理补丁：DistriFusion将输入图像分割成多个补丁，并在多个GPU上并行处理这些补丁，从而降低单样本生成的延迟。
4. 利用输入相似性：通过观察相邻去噪步骤之间的高相似性，DistriFusion重用前一时间步的预计算特征图来为当前步骤提供上下文，支持异步通信和流水线化计算。
5. 减少通信开销：通过置换补丁并行性，减少跨设备的通信开销，使得在多台NVIDIA A100 GPU上的性能比单机快6.1倍。
6. 高效生成高质量图像：DistriFusion能够显著加速扩散过程，同时保持或改善与传统单GPU方法相当的感知质量。
7. 适用于交互式应用：由于其高效的计算性能，DistriFusion特别适合需要快速响应的应用场景，如实时图像合成和编辑。

总之，DistriFusion通过创新的分布式并行推理技术，在不牺牲图像质量的前提下，大幅提升了高分辨率图像生成的速度和效率，是当前AI图像合成领域的一大突破。