Sign In

Stable Diffusion 潜工具书【中文文档】

Stable Diffusion 潜工具书【中文文档】

提示:本文章仅写给识字的人,不识字的人请右转重修义务教育,谢谢!

本文档部分链接文档/内容无对应中文版,考虑到部分为专业性文档,需要有很强的英语能力/熟练使用GPT等工具才能正常阅读。固请不要以此问题询问他人,如有需要请自行寻找GPT等工具使用教程。

前言

介绍说明

Stable Diffusion (稳定扩散) 是一个扩散模型,2022年8月由德国CompVis协同Stability AI和Runway发表论文,并且推出相关程序。SD-WebUI本身并不难,但在并联计划失效之后,缺乏一个能够集合相关知识的文档供大家参考。本文档的目的正在于此,用于弥补并联计划这个空缺。入有想要增加的内容,请联系 千秋九yuno779

1. 基础链接

WebUI的git仓库

AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI (github.com)

ComfyUI&ComfyBox的git仓库:

comfyanonymous/ComfyUI: A powerful and modular stable diffusion GUI with a graph/nodes interface. (github.com)

space-nuko/ComfyBox: Customizable Stable Diffusion frontend for ComfyUI (github.com)

Hugging Face

Hugging Face – The AI community building the future.

HCP-WebUI:

7eu7d7/HCP-Diffusion-webui: webui for HCP-Diffusion (github.com)

2. 黑话解释

AI绘画方面有很多黑话,很多不单独做解释是比较难以理解的。虽然有人在尽可能的阻止一些不必要的黑话的产生,但仍然不可避免的产生了一些例如“魔法师”、“炼丹炉”这种的黑话。

AI有定义的专用名称解释解释

【AI术语】看不懂炼丹黑话?相关词条整理(什么是炸炉?过拟合?学习率? - 哔哩哔哩 (bilibili.com)

其他黑话

咒语:指代提示词prompt

魔法师:指代写出提示词prompt的人

炼丹:指代训练练AI模型

炼丹术士:指代训练AI模型的人

炸炉:指炼丹炼炸了,包括但不限于:CUDA OUT OF MEMORY、loss=nan、过拟合等

炼丹炉:指代训练AI模型的地方

3. 新手入门

两个视频、一本书:

AI绘画基础理论科普 by:飞鸟白菜

我希望每个人都去看完这个视频,而不是只停留在解压缩、双击、运行、输关键词、出图,或者是单单的拿着一些“好用的”参数去生成一些AI模型。

【轻科普】StableDiffusion那些事儿,关于LoRA、DreamBooth、模型分层融合等_哔哩哔哩_bilibili

深入理解Stable Diffusion by:秋葉aaaki

SD-AI绘画和模型作用基本的原理讲解,比较适合适合新人原理讲解视频

【AI绘画】深入理解Stable Diffusion!站内首个深入教程,30分钟从原理到模型训练 买不到的课程_哔哩哔哩_bilibili

《扩散模型从原理到实战》

扩散模型我们如今已经都不陌生,它是我们熟知的当下流行的 AI 绘图背后的技术。这本书由 Hugging Face 中国社区的本地化志愿者团队成员完成,书的内容基于 Jona 和 Lewis 在 Hugging Face 上发布的扩散模型课程

Hugging Face 第一本中文图书出版啦_哔哩哔哩_bilibili

《扩散模型从原理到实战 开启AI绘画新时代!AIGC大模型来临,配套赠送Diffusion视频课程!(异步图书出品)》(李忻玮,苏步升,徐浩然,余海铭)【摘要 书评 试读】- 京东图书 (jd.com)

百科/教程/安装/使用

Stable Diffusion 从入门到卸载

Stable Diffusion WebUI 从入门到卸载

保姆级下载、安装、使用甚至到卸载一本全浅度解析手册:当然了,文章因为内容比较多是比较长的所有肯定有很多人看不下去。所以推荐去看一看一些up主的视频。

  • 注意:

    ①除非你完全可以信任一个模型,那么请尽量避免使用.ckpt后缀的模型。

    ②请不要听从其他人的任何建议,关闭模型检查。请及时拉黑让你开启允许加载不安全模型这个选项的人。

ComfyUI 使用手册

Comfy节点UI使用手册,使用 comfyui来手撕潜空间吧!

ComfyUI插件节点使用手册 (shimo.im)

【专业向节点AI】SD ComfyUI大冒险-基础篇 00安装与部署(含满血版整合包)_哔哩哔哩_bilibili

AiDraw-wiki

AiDraw | AiDraw (novelai.dev)

较深的一个AI百科,里面讲解了从新手指南到深入的训练等各种内容

秋葉aaaki

目前b站AI生成图片领域的头部Up,新人入坑推荐去看她的视频,不仅讲解很详细,同时还有对于新人极度友好的整合包和训练包使用。

秋葉aaaki的个人空间_哔哩哔哩_bilibili

这是使用教程/知识合集的专栏,想要了解的可以查看一下

AI绘画使用教程- 文集 哔哩哔哩专栏 (bilibili.com)

AI绘画知识合集- 文集 哔哩哔哩专栏 (bilibili.com)

只剩一瓶辣椒酱

目前b站ComfyUI讲解全面的Up主,如果想要使用ComfyUI推荐去系统的看完视频。同样有对于新人极度友好的AI绘画包。

只剩一瓶辣椒酱的个人空间_哔哩哔哩_bilibili

合集_ComfyUI大冒险_哔哩哔哩_bilibili

4. 安装与部署

SD git 安装

有能力的可以自行部署stable dffusion相关UI,不过一般而言更推荐下面的整合包(工具)

WebUI:AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

ComfyUI:https://github.com/comfyanonymous/ComfyUI

SD WebUI 秋叶整合包与启动器

【【AI绘画】Stable Diffusion整合包v4发布!全新加速 解压即用 防爆显存 三分钟入门AI绘画 ☆可更新 ☆训练 ☆汉化】 https://www.bilibili.com/video/BV1iM4y1y7oA/?share_source=copy_web&vd_source=b315aefe546aaa25153160a5d2c908c4

【【AI绘画】绘世启动器正式发布!一键启动/修复/更新/模型下载管理全支持!】 https://www.bilibili.com/video/BV1ne4y1V7QU/?share_source=copy_web&vd_source=b315aefe546aaa25153160a5d2c908c4

SD WebUI 贴吧一键整合包

搭载了dreambooth等插件,方便的自己炼制大模型(最低要求12G显存)。能够有效避免自行安装dreambooth插件时出现的各种问题。

WebUI | SD - WebUI 资源站 (123114514.xyz)

SD ComfyUI 无限圣杯AI节点

无限圣杯工具是由只剩一瓶辣椒酱-幻之境开发小组开发的一款基于SD ComfyUI 核心的 Blender AI 工具,它将以开源&免费的方式提供给 blender 用户使用。

无限圣杯AI节点(ComfyUI) 使用者手册

5. 提示词编写&基本功能使用

提示词辅助站

实际上这些辅助站用处并不是很大,通常写出来的词条也都是非常简单的“1girl”提示词。所以还是建议对照《元素法典》等提示词合集照着葫芦画瓢。

aitag

词图PromptTool - AI绘画

NovelAI tag在线生成器 (wolfchen.top)

……(类似的网站有很多)

交流站

AIGODLIKE-开源AI冒险社区

提示词合集:现成的提示词任君采撷

元素法典:

元素法典为写好的现成提示词合集,其中2.0和2.5卷含有众多高质量提示词。1和1.5卷受限于时代原因问题众多不做推荐,新人也不建议查看。

元素法典 第二卷——Novel AI 元素魔法全收录

元素法典 第二点五卷——Novel AI 元素魔法全收录

旧日黎明:

比较新的一个提示词合集,但是由于目前模型众多的原因,很多提示词不再通用,所以需要自行测试提示词的效果

旧日黎明——献给朋友们的法术书 (kdocs.cn)

C站/社区常用高质量提示词:

C站的低质量提示词,为什么说是低质量呢?因为里面的提示词全是在描写一个怎么样的“1girl”

[C站/社区常用高质量提示词]High quality parameters on Civitai&community - v2.0 | Stable Diffusion Other | Civitai

元素同典:提示词编写的基础理论

元素同典是法典组几乎全部研究的合集,从原理来说明讲解如何合理的编写提示词,如果想要写入高质量的提示词,那么最好看完这个文档

元素同典:确实不完全科学的魔导书

从玄学到科学

有关提示词编写过程中一些玄学民科的东西的纠错与解释

浅考sd-webui大括号{}处理

【Diffusion绘画工作流】:重绘学派法术绪论

图生图超详细教程,AI绘画真正的未来。详细讲解了修复细节、命题作文、艺术创作等方法和内容

重绘学派法术绪论1.1

6. 模型站

提示:不建议使用一部分国内的AI模型站(例如:LibLibAI等),其中有网站曾出现过例如“霸王条款事件”等很多离谱操作,有能力还是尽可能使用Civitai和hf。

Civitai

也就是常说的C站,使用最为方便,绝大部分模型都是从这里发布的。但是目前的情况是模型质量较为杂糅,不下载下来很难分辨垃圾模型和好模型。

civitai

抱脸(hugging face)

应该是最大的AI交流站,内有部分sd模型

huggingface

AITool模型交流站

上不去Civitai和Huggingface的可以使用这个网站,比较方便。

AiTool.ai - Explore the world of AI

吐司AI

国内新晋AI模型站,因其方便免费的生成图功能并且无其他网站的离谱操作而广受好评。特色是具有功能比较全的在线文生图功能。

[Blocked Link][Blocked Link]

其他模型站

TI模型站:

远古时期的ti模型站,主要分享ti模型为主,现状用处已经不是很大了

Stable Diffusion Textual Inversion Embeddings (cyberes.github.io)

臭站

国内社群制作的Stable diffusion资源站,内容比较多但是目前似乎缺乏更新

http://www.123114514.xyz/

7. 模型相关

推荐模型

TMND相关风格:

SDHK V3SDHK - v3.0 | Stable Diffusion Checkpoint | Civitai

2.5D(动漫脸):

AOM2WarriorMama777/OrangeMix2 (huggingface.co)

二次元动漫:

Anything V5/inkAnything V5/Ink - ink | Stable Diffusion Checkpoint | Civitai

CF V3Counterfeit-V3.0 - v3.0 | Stable Diffusion Checkpoint | Civitai

真人模型:

ChilloutmixChilloutMix - Chilloutmix-Ni | Stable Diffusion Checkpoint | Civitai

不推荐的热门模型

其中的很多模型都是存在很多问题,有的过拟合相当严重,例如只能生成同一张脸或是提示词失效或模型本身有各种问题……

TMND相关风格:

TMND(本体)、大颗寿司Mix、MeinaMix

2.5D(动漫脸):

AOM3、AnythingElse V4/4.5、(各种类似风格的橘3mix)

二次元动漫:

Anything V3、Counterfeit-V2.5、Pastel-Mix、MeinaMix、MeinaPastel

真人模型(或更偏3D的2.5D模型):

majicMIX

模型基础理论

从原理和模型结构上详解了模型的一些基本的东西,有助于帮助大家分别好模型和不好的模型。以及帮助大家自己制造比较好的模型。上面这些模型为啥推荐为啥不推荐,在这个文章都有答案。

模型理论科普V2.0.0627

Civitai | Model basis theory

clip与提示词的测试&clip修复

微笑测试:

[調査] Smile Test: Elysium_Anime_V3 問題を調べる #1|bbcmc (note.com)

[調査] Smile Test: Elysium_Anime_V3 問題を調べる #2|bbcmc (note.com)

[調査] Smile Test: Elysium_Anime_V3 問題を調べる #3|bbcmc (note.com)

clip修复:

Skip/Reset CLIP position_ids FIX (rentry.org)

并不科学的Model Block Merge

注意,MBW相关内容请不要无脑的认为那一层是画什么的,现有的这一部分理论都是有限实践测试的内容,仅在部分条件下通用。

Merge Block Weightedを使ってモデル合成をする方法|フェイさん (note.com)

[実験レポ] Model Block Merge で、 U-Net の各レイヤーの影響を調べる #2|bbcmc (note.com)

Merge Block Weight 魔法密录1.0正式版

What is Block merging? (rentry.org)

8. 训练

模型训练内容详解

这里详解了除LoRA训练之外的其他常用训练方法,讲解十分详细,内有Textual Inversion、Hypernetwork、Dreambooth的训练初步教程

深入 | AiDraw (novelai.dev)

UP主:青龙圣者

LoRA的详细训练教程推荐查看青龙圣者的视频教程,讲解极为详细

青龙圣者的个人空间_哔哩哔哩_bilibili

青龙圣者的个人空间_合集·AI绘画进阶教程_哔哩哔哩_bilibili

训练教程

入门级LoRA训练教程

Lora训练入门教程 (yuque.com)

THE OTHER LoRA TRAINING RENTRY

kohya_ss/sd-scripts

市面上见到的绝大部分教程视频、说明文档等内容,都是围绕这个展开的,git仓库地址:

kohya-ss/sd-scripts (github.com)

微调(fine tuning)、DreamBooth、训练LoRA和文本反转(Textual Inversion)(包括XTI:P+ )的通用的学习数据准备方法和选项等:

kohya_ss/docs/train_README-zh.md at df1a9acb38951c6b1312379e73daedfdb713f19c · bmaltais/kohya_ss · GitHub

另附:秋叶魔改的LoRA训练器,中文UI界面更直观,并且自带tagger等功能,十分方便。

Akegarasu/lora-scripts: LoRA training scripts use kohya-ss's trainer, for diffusion model. (github.com)

HCP-Diffusion

  • 我非常推荐能够自行顺利安装并能顺利跑起来的人,都去使用HCP-Diffusion。但是如果不能自行顺利安装并顺利跑起来,那么说明这个工具与你无缘。

    ————yuno779

HCP-Diffusion的github仓库地址和中文说明文档

7eu7d7/HCP-Diffusion: A universal Stable-Diffusion toolbox (github.com)

HCP-Diffusion/README_cn.md at main · 7eu7d7/HCP-Diffusion · GitHub

7eu7d7/HCP-Diffusion-webui: webui for HCP-Diffusion (github.com)

相关教程链接:

模型训练教程

DreamArtist++使用教程

图像生成教程

配置文件说明

webui模型转换教程

9. 工具网站/文章

有需要再进行补充,暂时先放这两个

Tools and Resources for AI Art

https://pharmapsychotic.com/tools.html

快速分别AI图

能够通过多种方法快速分辨AI生成图,并且有较高的识别率

如何快速分辨AI生成图V

a Neural Network playground

这个用来解释训练参数应该怎么调还挺直观的

http://playground.tensorflow.org/

10. 工作流工作流

重绘学派法术绪论

图生图超详细教程。详细讲解了修复细节、命题作文、艺术创作等方法和内容

重绘学派法术绪论1.1

DragDiffusion控制器

可以根据自己需要控制图片中的内容的一个工具,具体效果可以查看下面的链接

DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing (yujun-shi.github.io)

本地安装部署教程

DragGAN官方本地安装部署教程

ControlNet控制网相关应用

生成可识别风格二维码

相关模型:Controlnet QR Pattern (QR Codes) - v1.0 | Stable Diffusion Controlnet | Civitai

相关git仓库:qrcode-toolkit: Anthony's QR Code Toolkit for AI generated QR Codes

与之相关教程与链接合集,以及如何制作有效的风格二维码:

Stylistic QR Code with Stable Diffusion (antfu.me)

Refining AI Generated QR Code (antfu.me)

原始链接,最开始提出概念的文章:

AI 生成可扫码图像 — 新 ControlNet 模型展示 (qq.com)

11. 社群与论坛

当然除了以下推荐之外,还有一大堆QQ群或者其他群聊可以进行交流,需要注意分辨是否为打着AI交流群的买课/诈骗或者就是单纯使用AI机器人的群。

CGKIT-AI论坛

https://bbs.cgkit.cn/

秋叶的甜品店

https://pd.qq.com/s/52gnwun21

12. 【重要】拒绝民科!

相关问题原因&说明

AI绘画使用的超低门槛与实际研究群体的超高门槛之间存在着非常严重的断层。这就意味着玄学民科的内容会非常的多。

模型理论科普V2.0.0627

这个文档反驳了非常多的玄学民科内容,然而还有更多的玄学民科内容还在等着我们去科普

SD社区现状

SD目前并没有专门的交流社区/或者说即使有交流社区那么环境也是比较差的(例如猫鼠队),而一般的网站又过于简单零碎,各自为阵的群聊也有一部分人在输出玄学民科内容,并且还有相当的一部分人进行吹捧。而刚接触的新人也没啥分辨能力,再加上一部分国内网站不干人事的追求流量的行为,自然而然的会出现,玩了几个月发现自己玩的都是垃圾,或者自己也加入输出这种民科内容等等情况。

举例说明

  • 例如:

  • “采样器影响提示词准确性”

  • “LoRA训练dim无脑开128最好”

  • “训练时长和模型质量是直接相关的”

  • “训练集图片越大质量越好”

  • “AI模型里含有图片”

  • ……

以上这些都是已经证伪的民科理论,相关的东西还有很多。

私货环节:

来试试Anything ink动漫模型吧!

万象熔炉 | Anything V5/Ink - ink | Stable Diffusion Checkpoint | Civitai

X779/Anything_ink · Hugging Face

这个模型不含有junk data、模型clip等无错误、提示词准确且不乱加不相干的细节,并且可以画男孩子和纯风景图。

345

Comments