StreamDiffusion简介

StreamDiffusion是一个高吞吐量和低延迟的实时交互式图像生成开源项目，它通过一系列关键技术优化，旨在提高图像生成的吞吐量和效率。StreamDiffusion包括流批处理策略、剩余无分类器引导（RCFG）、输入输出队列、随机相似滤波（Stochastic Similarity Filter）、预计算程序以及微型自动编码器的模型加速工具等关键部分。这些技术的结合，使得StreamDiffusion能够在消费级显卡上达到实时交互生成的效果，每秒能够生成高达110张图像。

StreamDiffusion的工作原理是将原始图像的顺序噪声转换为批量去噪，从而实现高吞吐量和流体流。它基于LCM和SDXL Turbo技术，通过工程性优化提升了GPU利用，减少了冗余推理耗时，实现了超过100fps的惊人速度。此外，StreamDiffusion还支持与SD模型的加速结合，进一步提升了性能。

总的来说，StreamDiffusion为实时交互式图像生成领域提供了一个全面的管道级解决方案，通过其高效的算法和技术优化，实现了快速、高质量的图像生成，为开发者和研究人员提供了强大的工具。

开源地址：https://github.com/cumulo-autumn/StreamDiffusion

论文地址：https://arxiv.org/abs/2312.12491

Demo展示：https://github.com/cumulo-autumn/StreamDiffusion/blob/main/assets/demo_03.gif