5分钟系列：5分钟学会2023年最火的AI绘画（ControlNet 1.1）-AIGC-AI绘画部落

2023-04-26_5分钟学会2023年最火的AI绘画（ControlNet 1.1）

系列文章目录请看第一篇：

2023-03-10_5分钟学会2023世界顶级AI绘画神器Stable Diffusion（入门篇）

交流可加扣裙：四二642八九七2

介绍

ControlNet 1.1已经更新了一段时间了，本次更新不会更改升级网络架构，也就是说可以直接使用.官方承诺在ControlNet 1.5之前都不会更改升级网络架构，ControlNet 1.1对以前的所有模型质量进行了提高，稳定性更好，并且新增了几个模型：inpaint、lineart、shuffle

、ip2p、tile，

模型命名规范

并且更新了命名规范，如下所示：

control_：项目名字，官方的ControlNets通常使用control开头，第三方的模型可能会使用其他名字
v11

：版本标识，v11意思是1.1版本，第三方模型可能使用其他自己喜欢的标识，f表示bug修复版本，v11f1意为第一个bug修复的1.1版本
p：质量标识
- p：可用于生产
- e：实验性的
- u：未完成的

sd15：基础模型版本
- sd15：Stable Diffusion 1.5
- sd15s2：Stable Diffusion 1.5 with clip skip 2
- sd21：Stable Diffusion 2.1
- sd21v：Stable Diffusion 2.1v-768

canny：模型的名字，强烈建议和处理器对应起来，便于区分
.pth：文件后缀，pth是模型，yaml是配置文件，从1.1版本开始每个模型都有配置文件，并且名字必须一致

安装

要安装ControlNet 1.1，需要先把之前的卸载掉，重新克隆仓库代码，如下

# 进入到SD WEBUI项目根目录下的extensions
cd /f/AI/stable-diffusion-webui-stable/extensions

# 备份并clone新的仓库代码
mv sd-webui-controlnet ../sd-webui-controlnet.bak
git clone https://github.com/Mikubill/sd-webui-controlnet.git

然后是模型下载，模型很大，做好思想准备，可能会下载很久，直接使用git来下载，无需去网页上面一个一个点，但是需要T子，否则很慢，新的1.1模型大概有几十个G

首先安装LFS，下载Git LFS的安装包并安装：https://github.com/git-lfs/git-lfs/releases
安装完成后在执行下git lfs install

git lfs install
Git LFS initialized

下载对应的模型

# 进入到controlnet的models目录中
cd sd-webui-controlnet/models

# 设置代理[可选]
git config --global http.proxy socks5://127.0.0.1:1080
git config --global https.proxy socks5://127.0.0.1:1080
# 取消设置代理[可选]
git config --global --unset http.proxy
git config --global --unset https.proxy

# 在huggingface下载对应ControlNet 1.1模型
git lfs clone https://huggingface.co/lllyasviel/ControlNet-v1-1

# 如下表示正在下载中
`git clone` has been updated in upstream Git to have comparable
speeds to `git lfs clone`.
Cloning into 'ControlNet-v1-1'...
remote: Enumerating objects: 42, done.
remote: Counting objects: 100% (7/7), done.
remote: Compressing objects: 100% (7/7), done.
remote

: Total 42 (delta

 2), reused 0 (delta 0), pack-reused 35
Unpacking objects

: 100% (42/42), 6.49 KiB | 2.00 KiB/s, done.
Downloading LFS objects:  57% (8/14), 12 GB | 6.6 MB/s


# 在huggingface下载对应T2I模型[可选]
git lfs clone https://huggingface.co/TencentARC/T2I-Adapter

并且WebUI，如果能在控制台

看到下面输出，说明成功

$ ./webui-user.bat
venv "F:AIstable-diffusion-webui-stablevenvScriptsPython.exe"
Python 3.10.8 (tags/v3.10.8:aaaf517, Oct 11 2022, 16:50:30) [MSC v.1933 64 bit (AMD64)]
Commit hash: <none>
Installing requirements for Web UI

Launching Web UI with arguments: --listen --xformers --enable-insecure-extension-access --api
# ...
ControlNet v1.1.112
ControlNet v1.1.112

需要注意的是，旧版本已经归档，并且不会在更新：

https://github.com/lllyasviel/webui-controlnet-v1-archived

预处理器

-对应关系表

有时候会弄混淆，不知道哪个预处理器对用哪个模型，并且在新的模型里面有些模型换了名字，可能不是很好对应，下面整理出了一个对应表。

预处理器	模型	备注
Depth_Midas	control_v11f1p_sd15_depth.pth
Depth_Leres	control_v11f1p_sd15_depth.pth
Depth_Zoe	control_v11f1p_sd15_depth.pth
Normal BAE	control_v11p_sd15_normalbae.pth
Canny	control_v11p_sd15_canny.pth
MLSD	control_v11p_sd15_mlsd.pth
Scribble_HED	control_v11p_sd15_scribble.pth
Scribble_PIDI	control_v11p_sd15_scribble.pth
Scribble_XDOG	control_v11p_sd15_scribble.pth
SoftEdge_PIDI	control_v11p_sd15_softedge.pth
SoftEdge_PIDI_safe	control_v11p_sd15_softedge.pth
SoftEdge_HED	control_v11p_sd15_softedge.pth
SoftEdge_HED_safe	control_v11p_sd15_softedge.pth
Seg_OFADE20K	control_v11p_sd15_seg.pth
Seg_OFCOCO	control_v11p_sd15_seg.pth
Seg_UFADE20K	control_v11p_sd15_seg.pth
所有Openpose系列	control_v11p_sd15_openpose.pth
所有lineart系列	control_v11p_sd15_lineart.pth	新模型
所有lineart系列	control_v11p_sd15s2_lineart_anime.pth	新模型
shuffle	control_v11e_sd15_shuffle.pth	新模型
无预处理器	control_v11e_sd15_ip2p.pth	新模型
inpaint_global_harmonious	control_v11p_sd15_inpaint.pth	新模型
无预处理器	control_v11f1e_sd15_tile.pth	新模型