【文生图系列】如何在Stable Diffusion Webui中使用ControlNet

2023-07-24 16:18:17

文章目录

ControlNet

ControlNet是一个神经网络结构，通过添加额外的条件控制扩散模型。给定任务条件，ControlNet能够提升已训练好的图像扩散模型。对于任意一个神经网络块，如下图所示， x , y x,y x,y为神经网络中的特征，蓝色虚线框为ControlNet。ControlNet由zero convolution和神经网络块组成，其中zero convolution为 1 × 1 1 \times 1 1×1的卷积，weight和bias的初始值为0，神经网络块为原神经网络块的复制品，原模型中的神经网络块在训练过程中被冻结，只有ControlNet中的复制品进行训练。 c c c是我们想要添加到扩散网络中的额外条件。
在这里插入图片描述

Stable Diffusion + ControlNet

Stable Diffusion生成的图片随机性太强，即使精心设计提示词，生成的图片仍不能满意。将ControlNet应用到Stable Diffusion模型中，用来控制stable diffusion模型的图片输出。ControlNet能够复用stable diffusion的编码器，将其作为一个强大的鲁棒的backbone用来学习不同的控制条件。
在这里插入图片描述

安装ControlNet插件

  1. 在Stable Diffusion Webui找到扩展(Extensions)，选择从网址安装(Install from URL)，输入网址https://github.com/Mikubill/sd-webui-controlnet.git，点击下载，然后等待下载sd-webui-controlnet项目。
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/6b307b6c7d914154910a74378f9702f1.png
  2. 然后返回已安装(Installed)界面，点击检查更新（Check for Updates）,等待一段时间，加载下载的sd-webui-controlnet项目。再然后点击应用并重启用户界面（Apply and restart UI）按钮，重启用户界面。
    在这里插入图片描述
  3. 返回文生图（txt2img）界面，在随机种子下面，多了ControlNet的选线，点击右面的三角进行展开。
    在这里插入图片描述
    ControlNet展开界面如下所示：
    在这里插入图片描述
  4. 在ControlNet展开页面中，找到模型选项，即使更新，还是None，没有模型。所以还需要从huggingface中下载模型到stable-diffusion-webui/models/ControlNet文件下。
    在这里插入图片描述
    目前huggingface中有ControlNet和ControlNet-v1-1两个版本。预训练的模型为Annotators，在进行预训练计算时，会自动下载，不过，如果网不是很好，就会报ConnectionError错误。
    下图是ControlNet模型界面的截图，模型都比较大。ControlNet-v1-1包含更多模型和yaml文件，相比于ControlNet，模型会小一些。
    在这里插入图片描述
  5. 设置ControlNet Unit的个数。默认只有一个Unit。设置–>ControlNet–>设置Multi ControlNet的最大网络数量，我设置了3，ControlNet将有三个Unit。然后保存设置并重启Webui。
    在这里插入图片描述

bug

Stable Diffusion的模型是v2-1_512，ControlNet和Stable Diffusion图像尺寸大小均是512，进行图片生成时，报下述运行错误。
在这里插入图片描述
解决方案：下载Stable Diffusion V1.5版的预训练模型，即可。

例子展示

首先，输入提示词“a cute dog”，大模型选择Stable Diffusion v1.5版的预训练模型，先不启用ControlNet，点击生成按钮，生成一张可爱的小狗照片。
在这里插入图片描述
下面，文生图的参数保持不变，在ControlNet Unit中上传图像，启用ControlNet，控制类型选择Canny，如下图所示。允许预处理查看（Allow Preview），点击预处理旁边的闪电标志，就能看到上传图片的轮廓图。补充提示词，然后点击生成按钮，就能返回一张可爱的小狗图片和轮廓图。
在这里插入图片描述
下表是不同模型生成图的对比，加入ControlNet之后的Stable Diffusion模型的生成图与参考图动作形态比较相似。

SD V1.5SD+ControlNet参考图控制类型
在这里插入图片描述在这里插入图片描述在这里插入图片描述Canny

参考

  1. stable diffusion webui
  2. ControlNet
  3. Adding Conditional Control to Text-to-Image Diffusion Models
更多推荐

C++笔记之文档术语——将可调用对象作为函数参数

C++笔记之文档术语——将可调用对象作为函数参数相关博文：C++笔记之函数对象functors与可调用对象文章目录C++笔记之文档术语——将可调用对象作为函数参数1.在函数参数中传递可调用对象2.‘在参数中传入可调用对象’和‘将可调用对象作为函数参数’哪个描述更加专业官方？3."将可调用对象作为函数参数"是不是和‘回调

【Java 基础篇】Java网络编程基础知识详解

网络编程是现代软件开发中不可或缺的一部分，它使我们能够在不同的计算机之间实现数据传输和通信。Java作为一种强大的编程语言，提供了丰富的网络编程库，使开发者能够轻松地创建网络应用程序。本文将介绍Java网络编程的基础知识，面向初学者，详细讨论网络通信的概念、Socket编程、服务器和客户端编程等内容。1.网络通信的基本

二刷力扣--栈和队列

栈和队列栈和队列基础（Python）栈一种先进后出，队列先进后出。Python中可以用list实现栈，用append()模拟入栈，用pop()模拟出栈。也可以用list实现队列，但是效率较低，一般用collections.deque模拟（双端）队列。5.数据结构—Python3.11.5文档使用list进行栈的操作st

git 命令总结

git初始化gitinit添加文件gitadd<file>添加注释gitcommit-m"注释"重新提交覆盖上一次提交内容gitcommit--amend查看当前所处状态gitstatus克隆仓库gitclone<remoteURL>关联远程仓库gitremoteadd<remote><remoteURL>查看git对

【Java 基础篇】Java TCP通信详解

TCP（TransmissionControlProtocol）是一种面向连接的、可靠的网络传输协议，它提供了端到端的数据传输和可靠性保证。TCP通信适用于对数据传输的可靠性和完整性要求较高的场景，如文件传输、网页浏览等。本文将详细介绍Java中如何使用TCP协议进行网络通信，包括TCP套接字、服务器和客户端的创建、数

麒麟信安的2023世界计算大会时刻

9月15至16日，由工业和信息化部、湖南省人民政府主办的2023世界计算大会在长沙隆重举行。麒麟信安连续五年亮相世界计算大会，本届大会麒麟信安作为计算产业的重要建设者、国家新一代自主安全计算系统产业集群内核心企业，在展览展示、主题演讲、工控操作系统创新研究院揭牌仪式等多环节中深度参与。大会以“计算万物湘约未来——计算产

Leetcode算法入门与数组丨3. 数组基础

文章目录前言1数组简介2数组的基本操作2.1访问元素2.2查找元素2.3插入元素2.4改变元素2.5删除元素3总结task03task04前言Datawhale组队学习丨9月Leetcode算法入门与数组丨打卡笔记这篇博客是一个入门型的文章，主要是自己学习的一个记录。内容会参考这篇笔记（很详细）：LeetCode算法笔

Python中的3D矩阵操作

迷途小书童读完需要6分钟速读仅需2分钟3D矩阵又称为立体矩阵，是指一个具有三个维度的矩阵结构。相比二维矩阵，它增加了一个深度维度。在3D矩阵中，第一个维度表示行数，第二个维度表示列数，第三个维度表示层数或深度，可以想象成一个多层的立方体结构。三维矩阵通常也称为NxNxN矩阵，在计算机视觉、医学成像、深度学习、增强现实等

Unity使用Mirror制作局域网的同步

1.脚本布置.参考tank那个demo制作1.新建空物体,为管理脚本的物体:manager,挂载NetworkManager,kcpTransport,NetworkManagerHud.2.设置玩家出生点,spawnPoint,设置好初始化的position的位置(*),挂载NetworkStartPosition的

Cortex-M3/M4基础

一、Cortex-M3/M4通用寄存器1、我们首先来了解一下M3/M4的寄存器，M4比M3多了一个浮点单元FPU。其他的部分基本和M3是一样的。2、Cortex-M3/M4系列处理器拥有通用寄存器R0-R15以及一些特殊功能的寄存器。3、R0‐R12是最“通用目的”的。4、但是绝大多数的16位指令只能使用R0‐R7（低

学习JVM调优

学习JVM调优是为了优化Java应用程序的性能和资源利用。本文将从以下几个方面详细介绍学习JVM调优的步骤和技巧，帮助读者更好地理解和应用这些调优技术。第一部分：理解JVM在学习JVM调优之前，我们需要先理解JVM的工作原理和内部机制。Java虚拟机是Java程序运行的环境，它负责将Java字节码转换为机器代码并运行。

热文推荐
  1. 【面试经典150 | 数组】跳跃游戏 II

    文章目录写在前面Tag题目来源题目解读解题思路方法一：贪心写在最后写在前面本专栏专注于分析与讲解【面试经典150】算法，两到三天更新一篇文章，欢迎催更……专栏内容以分析题目为主，并附带一些对于本题涉及到的数据结构等内容进行回顾与总结，文章结构大致如下，部分内容会有增删：Tag：介绍本题牵涉到的知识点、数据结构；题目来源

  2. 软件测试/测试开发丨利用人工智能ChatGPT编写晋级报告

    点此获取更多相关资料简介不管是在哪个公司，如果想要有一个长足的发展，想要获得晋升，除了平时的表现与积累，还有就是晋级答辩与晋级报告。不同的岗位，比如设计、产品、研发、测试，都有不同的答辩通道和晋级标准。一篇好的晋级报告，可以完整地体现一个人过去的工作贡献，以及未来的工作展望。而晋级报告的编写，也可以借助ChatGPT轻

  3. 微信CRM系统致力于帮助金融保险行业

    在当今信息化的时代，金融保险行业面临着越来越大的竞争与挑战，那么微信CRM系统是怎么帮助金融保险行业解决问题的呢？金融保险行业面临的困难①销售管理困难，企业资源容易流失；金融保险业通过在线销售实现业务。电话销售、微信沟通难以监控管理，销售部员工流动性大，导致监管风险和客户资源流失。②客户营销困难，用户意向定位模糊；由于

  4. 《golang设计模式》第二部分·结构型模式-06-享元模式（Flyweight）

    文章目录1.概述1.1角色1.2类图2.代码示例2.1设计2.2代码2.3类图示例1.概述享元（Flyweight）模式采用共享方式向客户端提供数量庞大的细粒度对象。所谓细粒度对象，是指实现了业务细节并相互独立的对象。细粒度对象是一种相对概念，一般不会进行更小粒度的拆分。1.1角色抽象享元（Flyweight）：通常是

  5. 【跟小嘉学 Rust 编程】三十、Rust 使用 Slint UI

    系列文章目录【跟小嘉学Rust编程】一、Rust编程基础【跟小嘉学Rust编程】二、Rust包管理工具使用【跟小嘉学Rust编程】三、Rust的基本程序概念【跟小嘉学Rust编程】四、理解Rust的所有权概念【跟小嘉学Rust编程】五、使用结构体关联结构化数据【跟小嘉学Rust编程】六、枚举和模式匹配【跟小嘉学Rust

  6. （vue2）面经基础版-案例效果分析

    配路由先配一级，一级里面配二级。一级路由：首页（二级：嵌套4个小页面）、详情页高亮a->router-link，高亮效果对自带高亮类名router-link(-exact)-active设置注：通过children配置项，可以配置嵌套子路由。并在该组件中准备路由出口<router-view></router-view>

  7. 「聊设计模式」之 设计模式的前世今生

    🏆本文收录于《聊设计模式》专栏，专门攻坚指数级提升，助你一臂之力，带你早日登顶🚀，欢迎持续关注&&收藏&&订阅！目录：一、什么是设计模式设计模式的定义设计模式的作用二、设计模式的发展历程设计模式的起源设计模式的发展阶段三、设计模式的分类创建型模式结构型模式行为型模式四、常用的设计模式工厂模式单例模式装饰器模式代理模

  8. 【SpringBoot项目】SpringBoot+MyBatis+MySQL电脑商城

    在b站听了袁老师的开发课，做了一点笔记。01-项目环境搭建_哔哩哔哩_bilibili基于springboot框架的电脑商城项目（一）_springboot商城项目_失重外太空.的博客-CSDN博客项目环境搭建1.项目分析1.项目功能:登录、注册、热销商品、用户管理(密码、个人信息、头像、收货地址)、购物车(展示、增加

  9. Promise的链式调用

    catch方法.catch(onRejected)=.then(null,onRejected)链式调用then方法必定会返回一个新的Promise可理解为后续处理也是一个任务新任务的状态取决于后续处理：若没有相关的后续处理，新任务的状态和前任务一致，数据为前任务的数据若有后续处理但还未执行，新任务挂起。若后续处理执行