第7章SD-ControlNet插件应用

ControlNet 是基于 Stable Diffusion 架构开发的高性能拓展控制插件，核心作用是实现图像生成过程的精细化、定制化控制，弥补原生模型在画面细节、构图逻辑、形态约束等方面的管控短板。熟练运用 ControlNet 插件，可精准落地各类创意设计需求，优化AI绘画作品的画面质感、细节表现力与场景感染力，实现更逼真、生动的视觉创作效果。

从技术原理来看，ControlNet 通过约束神经网络模块的输入条件，精准调控模型训练与生成的运算逻辑，实现对AI绘图过程的定向干预。简单而言，ControlNet 可精准提取用户上传参考图像的轮廓、结构、姿态、光影等核心特征，依托提取的特征参数约束模型生成逻辑，引导AI按照用户预设的特征规则，完成定制化图像生成，具备极强的可控性与适配性。

针对采用秋叶整合包部署的 Stable Diffusion 环境，ControlNet 插件模块默认集成于程序内，用户可在「文生图」功能页面底部找到对应ControlNet功能入口，直接启用ControlNet控制功能。

若页面未显示 ControlNet 插件入口，说明插件未正常安装或加载异常，需手动完成插件安装部署，具体操作流程如下：

登录 Stable Diffusion WebUI 操作界面，进入「扩展」功能模块，切换至「可下载」选项卡，点击「加载扩展列表」按钮，刷新并加载全网可安装拓展插件资源库。

待扩展列表加载完成后，在页面搜索框内输入“ControlNet”，检索对应官方插件资源，在检索结果中点击右侧「安装」按钮，即可启动全自动安装部署流程。本次演示设备已完成该插件安装，因此检索列表无对应资源展示。

插件安装完成后，需完整重启 Stable Diffusion WebUI 程序方可生效，仅刷新页面无法完成插件激活。本地部署环境需关闭原有启动程序后重新运行启动器；云端部署环境需先暂停 Stable Diffusion 运行进程，再重新启动服务，确保插件配置完全加载生效。

初次完成 ControlNet 插件部署后，打开插件面板的「模型」下拉选择框，列表内不会显示任何可用模型。ControlNet 插件本身不附带预置模型，相关权重文件需要独立下载获取；只有完成对应模型权重的下载部署，ControlNet 插件的各项功能才可正常生效。下文将详细说明 ControlNet 模型的下载与部署操作流程。

访问 HuggingFace 平台，跳转至 ControlNet 模型资源下载页面（https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main），在目标模型条目内点击“Download file”按钮，即可执行模型文件下载。需注意，下载对象必须为后缀为“.pth”的权重文件，该类文件常规大小约 1.45GB。

模型文件下载完毕后，将获取的“.pth”权重文件拷贝至路径：`sd‑webui‑aki‑webui‑aki‑v4\models\ControlNet`目录下，即完成 ControlNet 模型的部署安装。

完成 ControlNet 模型的下载与部署后，重新启动 Stable Diffusion WebUI 服务，即可在 ControlNet 插件的模型下拉列表中读取到已部署完成的模型权重。

【技巧总结】配置 ControlNet 多模型并发上限

首次安装 ControlNet 插件时，下拉列表中通常仅展示 1‑2 个可用模型。如需使用更多 ControlNet 模型，可进入 WebUI 的「设置」界面，切换至 ControlNet 配置选项卡，调整“多重 ControlNet 的最大模型数量 (需重启)” 参数。

该参数最大支持设置为 10，代表可同时加载 10 组 ControlNet 模型；但实际业务场景极少用到该上限，同时开启 10 组模型极易造成显存溢出，引发显卡运算崩溃。常规使用场景下，将该参数设置为 4‑5 即可满足绝大多数绘图需求。

完成 ControlNet 插件安装后，可通过功能校验确认插件是否能够正常工作，具体校验操作流程如下：

展开 ControlNet 插件面板，上传待测试参考原图。

在面板下方「控制类型」区域，勾选“Canny(硬边缘)”选项，点击`Run preprocessor`（运行预处理程序）按钮。

操作完成后，若原图右侧成功输出黑白边缘线稿，则说明 ControlNet 插件运行状态正常，安装校验通过。

ControlNet 插件内置二十余种预处理器，部分预处理器还包含细分子模式，整体合计可达四十余种。其中线稿轮廓类预处理器的种类最为丰富，典型代表包括 Canny (硬边缘)、Lineart (线稿)、SoftEdge (软边缘)、Scribble (涂鸦) 等。线稿轮廓类预处理器的核心功能为提取输入图像的线条与轮廓特征，以此约束生成画面的构图与形体，具体操作流程如下：

展开 ControlNet 插件面板，上传参考原图。

在面板下方的「控制类型」区域，选择`Lineart(线稿)`选项，点击“Run preprocessor”按钮，生成对应的线稿轮廓图，参见配图。

勾选「启用」复选框，加载大模型，并填写对应的正向、反向提示词，多次点击「生成」按钮，即可依据原图的特征，输出风格图像，效果参见配图。

Stable Diffusion具备种类繁多、功能各异的扩展插件，可有效提升AI绘画的出图品质与创作效率。本节选取若干实用性较强的扩展插件进行讲解，助力使用者充分发挥Stable Diffusion的图像生成能力。

Stable Diffusion的提示词通常都是一大片英文，对于英文水平不好的用户来说比较麻烦，其实用户可以使用自动翻译插件来解决这个难题，具体操作方法如下。

进入“扩展”页面，切换至“可下载”选项卡，单击“加载扩展列表”按钮，搜索prompt-all，单击相应插件右侧的“安装”按钮。

插件安装完成后，切换至“已安装”选项卡，单击“应用更改并重启”按钮，重启 Stable Diffusion WebUI。

执行操作后，进入“文生图”页面，可以看到提示词输入框的下方显示了自动翻译插件，单击“设置”按钮，在弹出的工具栏中单击“翻译接口”按钮，如图所示，可以选择相应的翻译接口，如百度翻译、有道翻译等。

在插件右侧的“请输人新关键词”文本框中，输入相应的中文提示词，按【Enter】键确认即可自动翻译成英文并填入到提示词输入框中。

使用相同的操作方法，输人其他的正向提示词和反向提示词，多次单击“生成”按钮，即可生成相应的图像。

ADetailer插件可以自动修复低分辨率下生成的人物全身照的脸部，轻松解决低显存下人物脸部变形的情况。ADetailer插件的安装方法可以参考上面的其他插件。下面介绍使用ADetailer插件优化与修复人物脸部的操作方法。

进入“文生图”页面，输入相应的正向提示词“(best quality, masterpiece), 1girl, looking at viewer, blurry background, upper body,contemporary, dress”和反向提示词“(worst quality, low quality)”，单击“生成”按钮，生成相应的图像。

在页面下方固定图像的Seed值，展开ADetailer插件选项区，选中“启用AfterDetailer”复选框，开启人脸修复功能。

再次单击“生成”按钮，对图像中的人脸进行修复处理，可以看到修复后的人脸细节更加丰富。

Ultimate SDUpscale是一款非常受欢迎的图像放大插件，它会先将图像分割成一个个小的图块后再分别放大，然后拼合在一起，比较适合低显存的计算机。下面介绍使用Ultimate SD Upscale插件无损放大图像的操作方法.

进入“图生图”页面，上传一张原图，选择原图生成时使用的大模型，并输入与原图一致的提示词。

在页面下方，设置与原图一致的采样方法和重绘尺寸，同时设置“迭代步数”为30、“重绘幅度”为0.25，对图像的生成参数进行调整，提升图像的生成效果。

在页面最下方的“脚本”下拉列表中选择Ultimate SDupscale选项，展开相应的插件选项区，设置“目标尺寸类型”为Scale fromimage size(从图像大小缩放)、“放大算法”为ESRGAN_4x(逼真写实类)、“类型”为Chess(分块)，可以减少图像伪影。

单击“生成”按钮，即可生成相应的图像，并将图像放大为原来的两倍。