ControlNet简介

ControlNet是Stable Diffusion用于图像风格迁移和控制的一款插件。 它允许通过线稿、动作识别、深度信息等对原有的图像进行控制，用户可以手动编辑源图像,控制其某些属性，改变图像的画风、动作、颜料等，生成新的图像。 ControlNet应用领域非常广，如时尚设计师可以输入不同款式和图案，快速生成服装设计灵感和样品；游戏设计者可以使用该插件快速生成不同主题和风格的游戏资源，如不同时代的建筑、衣服、植被等；电商商家可以控制AI模特的动作，摆出相应的姿态等。

ControlNet项目地址：https://github.com/lllyasviel/ControlNet

ControlNet 的 WebUI 扩展：https://github.com/Mikubill/sd-webui-controlnet#examples

模型下载（5G）https://huggingface.co/lllyasviel/ControlNet/tree/main/models

模型下载（700mb）https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main

ControlNet功能特点

ControlNet 把每一种不同类别的输入分别训练了模型，目前公开的有下面8个。分别是：canny，depth，hed，mlsd，normal，openpose，scribble，seg。

1、canny 边缘检测，提取线稿
通过从原始图片中提取线稿，来生成同样构图的画面。这个案例是输入鸟的图片和提示词。通过给线稿上色来制作的小动画，稳定性很好。

2、depth 深度检测，提取深度图
通过提取原始图片中的深度信息，可以生成具有同样深度结构的图。用Blender创建空间→创建深度图→用ControlNet Depth创建插图→粘贴为Blender空间中的纹理，就可以创建无限弹出的立体书

3、hed HED边缘提取，跟canny类似
相对于使用普通的 img2img ，边缘线提取的方式可以生成更加清晰完整的图，黑色描边也得到了很好的重绘。

4、mlsd 线段识别，适用于建筑场景

5、normal 模型识别，适用于建模
跟深度图有点类似，通过读取原图片中的深度信息和法线背景阈值。它比深度模型对于细节的保留更加的精确。

6、openpose 姿势识别，用于人物动作
这个功能对于人物设计和动画十分有利，应该会很快用在影视行业。除了生成单人的姿势，它甚至可以生成多人的姿势，这点非常关键，在此之前AI生成的画面里多个人物的特定动作是几乎无法靠提示词来实现的。通过控制人物姿势，在人物角色设计上的尝试。

7、scribble 黑白稿提取

8、seg 语义分割识别
这个之前英伟达做过类似的产品。