Hyper-SD简介
Hyper-SD是由字节跳动推出的一个基于扩散模型蒸馏的图像生成框架。它旨在解决现有扩散模型在多步推理过程中计算成本高昂的问题，通过轨迹分段一致性蒸馏和人类反馈学习，显著提升了低步数下的图像生成性能。该框架结合了ODE轨迹保持和重构的优势，实现了高效的图像合成，并在步骤压缩期间保持近乎无损的性能。
Hyper-SD相关链接：
- 论文地址：https://arxiv.org/pdf/2404.13686
- 项目地址：https://hyper-sd.github.io/
- 模型链接：https://huggingface.co/ByteDance/Hyper-SD
- 试用地址：https://huggingface.co/spaces/ByteDance/Hyper-FLUX-8Steps-LoRA
Hyper-SD核心原理
Hyper-SD项目通过一系列扩散感知蒸馏算法，有效减轻了扩散模型在多步推理过程中的计算负担。其核心原理包括：
1. 轨迹分割一致性蒸馏：通过在特定时间步段内进行一致性蒸馏，Hyper-SD能够保留原始的ODE轨迹，从而在更高的层次上保持模型的一致性。
2. 人类反馈学习：在低步长情况下，通过人类反馈学习提升模型性能，减少蒸馏过程中的性能损失。
3. 得分蒸馏：通过得分蒸馏进一步提升模型的低步长生成能力，同时首次尝试使用统一的LoRA支持所有推理步骤。
Hyper-SD应用场景：
图像生成：广泛应用于手绘生图、图像合成等图像生成任务。
资源优化：适用于计算资源有限的环境，提供高效的图像生成解决方案。
AI研究：为人工智能研究人员提供高效图像生成工具，推动扩散感知蒸馏算法的发展。
Hyper-SD实验成果
Hyper-SD在图像合成领域取得了显著的成果。在1到8步推理步骤中，无论是SDXL还是SD1.5，Hyper-SD都展现出了超越现有技术的性能。特别是在1步推理中，Hyper-SDXL在CLIP得分上超越了SDXL-Lightning 0.68分，在Aes得分上超越了0.51分。
Hyper-SD应用潜力
Hyper-SD的LoRAs能够适应不同的基础模型，并始终生成高质量的图像。此外，Hyper-SD的统一LoRAs与ControlNet兼容，这意味着它可以在涂鸦或边缘图像等条件下进行条件化生成，为图像合成提供了更多可能性。
Hyper-SD项目不仅展示了字节跳动在图像合成领域的技术实力，也为整个行业提供了新的思路和方向。随着人工智能技术的不断进步，我们可以期待Hyper-SD在未来将带来更多令人激动的应用。
