SD-Forge-LayerDiffusion简介
SD-Forge-LayerDiffusion 是LayerDiffusion作者自己开发的一个基于forge ui的项目,目前功能正在更新迭代中,该项目旨在为Stable Diffusion WebUI(通过Forge)提供生成透明图像和图层的能力,目前已实现基本的文生图功能,但透明的img2img(图生图)还未完成。
和普通版本的WebUI一样,在扩展处安装layer
其登录界面后所有模型都是自动下载的,适用于SDXL模型。能处理透明玻璃、半透明发光效果等,比简单的背景移除方法更为高级。
用于将SDXL转换为透明图像生成器,以及处理前景、背景和混合组合的图层生成模型等。
SD-Forge-LayerDiffusion Github地址:https://github.com/layerdiffusion/sd-forge-layerdiffusion
注意事项: 目前仅支持 SDXL 模型。
sd-forge-layerdiffusion相关模型说明:
layer_xl_transparent_attn.safetensors 一个LoRA,可将SDXL变成一个透明图像生成器。
layer_xl_transparent_conv.safetensors 将SDXL变成透明图像生成器的替代模型。
layer_xl_fg2ble.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于前景,并生成融合的组合。
layer_xl_fgble2bg.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于前景和融合的组合,并生成背景。
layer_xl_bg2ble.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于背景,并生成融合的组合。
layer_xl_bgble2fg.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于背景和融合的组合,并生成前景。
vae_transparent_encoder.safetensors 这是一个图像编码器,用于从像素空间提取潜在偏移量。该偏移量可以添加到潜在图像中,以帮助透明度的扩散。
vae_transparent_decoder.safetensors 这是一个图像解码器,输入为SD VAE输出和潜在图像,输出为真实的PNG图像。