FreeU简介

FreeU是一个旨在提升Diffusion U-Net模型图像生成质量的工具或方法。它主要通过增强U-Net的去噪能力来实现这一目标，而不需要额外的训练或微调。FreeU利用U-Net架构的特点，包括基础连接和跳线连接，这两个组件在U-Net中分别主要贡献去噪能力和高频细节。这种方法不仅适用于文生图，还支持文生视频的生成，并且是通用的，与现有的扩散模型兼容。

FreeU的工作原理是通过战略性地重新衡量来自U-Net的跳跃连接和backbone特征图对最终输出的贡献，从而在不增加训练、参数和内存或采样时间的情况下，显著提高了扩散模型样本的质量。此外，FreeU还被描述为一个无需额外训练即可直接提升扩散模型生成效果的即插即用方法，可以和现有的使用了U-net架构的所有扩散模型相结合。

FreeU项目地址：https://chenyangsi.top/FreeU/

HuggingFace Demo：https://huggingface.co/spaces/ChenyangSi/FreeU

论文地址：https://arxiv.org/abs/2309.11497