为方便平时查阅参考,这里列出了30多个 Stable Diffusion插件,主要适用于Automatic1111 WebUI(还有部分独立工具,不是插件但很好用)。我主要参考了Github的星标值,社区呼声高的插件, 以及自己平时生图时用的顺手的工具。有一些插件虽然还没深度使用,但Github星标很高,油管推荐的也比较多,我也列出来了。后续还会继续研究补充。
最近一次更新(2024.7.5):本周又发现两个新插件,在 SD 里面用精准控制测试了一下,很有意思,相关介绍已加入第 5 部分。
本文翻译自上一篇文章,希望能帮助到更多人。还有哪些你用的比较顺手的插件或者其他相关工具呢?请在下面评论区分享哦,我会整理进来,一起进步!!
如何安装插件?
• 从 A1111 WebUI 插件选项卡进行安装
复制插件对应的Github地址,在A1111界面“Install from URL”栏粘贴进行安装。
• 手动安装
把插件对应仓库文档克隆到插件文件夹,然后重启 web UI。
例如,命令行输入 git clone https://github.com/toshiaki1729/stable-diffusion-webui-text2prompt.git extensions/text2prompt
或者下载压缩包,解压到插件文件夹:\extensions\[extension name]
第 1 部分. 图片超分和增强插件
教程:如何使用 Stable Diffusion 实现图片超分 >
(方法包含:highres.fix、ultimate SD upscale、tiled diffusion、Extras后期工具、独立软件)
1. Tiled Diffusion & VAE
4.6k 星标 | 330 个分支
https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111
Tiled Diffusion 可以用比较低的显存使用率超分 2K 以上的图片。在 highres.fix 达到 1.5 或 2 倍 CUDA 内存限制后,它可以集成到 Stable Diffusion 的图片超分工作流程。
它支持将 Regional Prompt Control、ControlNet、DemoFusion 集成到工作流,使其灵活且方便地用于生产流程。
参考 PotatCat 出的详细教程 (PDF):https://civitai.com/models/34726
2. Ultimate SD Upscale
1.5k 星标 | 153 个分支
https://github.com/Coyote-A/ultimate-upscale-for-automatic1111
Ultimate SD Upscale 插件可以帮助你实现更高的分辨率,尤其当 highres.fix 出现 cuda 内存不足或无法实现更大图片尺寸的时候。推荐与 ControlNet 结合起来使用,有助于保持构图,避免产生多头或图像变形。
它的工作原理是将图像分成网格(图块)并对其进行修复。你可以调整接缝的大小,让图块过渡变得自然。这个超分工具下面可以选很多算法,对于真实类照片,我一般直接无脑选 ESRGAN,其他图片选择 R-ESRGAN 4x+。有关该插件的各参数教程和说明,可以看这里。
3. 单独的超分软件 (限时免费)
除了上面提到的插件,我们还可以直接使用单独的 AI 图片超分软件。比如生图时设置高分辨率遇到 CUDA 爆显存,或者想批量进行图片超分(且保留真实细节),超分软件可能更方便高效一些。特别是喜欢一次抽卡几百几千张,那SD里面设置768左右,后面再跑超分,整个流程就顺很多。
Aiarty Image Enhancer: 支持把图片超分至8K/16K,支持批量图片超分,生成适量细节,增强画质,对低显存也很友好。目前可以免费领取一年注册码。
第 2 部分. 适合 Stable Diffusion 提示词和标签的插件
1. Promptgen
448 星标 | 85 个分支
https://github.com/AUTOMATIC1111/stable-diffusion-webui-promptgen
Promptgen 的作用是在 Stable Diffusion WebUI 中直接生成提示词。插件的作者从 lexica.art 和 majinai.art 抓取提示词并通过 GPT2 微调(带 NSFW 过滤)。用户可以在设置中添加更多模型。
2. Tokenizer
139 星标 | 23 个分支
https://github.com/AUTOMATIC1111/stable-diffusion-webui-tokenizer
Tokenizer 分词器可适用于 stable-diffusion-webui A1111,让你可以预览 CLIP(Contrastive Language-Image Pre-training)模型是怎么理解提示词的,把句子词元化(tokenize)。
3. Model-keyword
233 星标 | 13 个分支
https://github.com/mix1009/model-keyword
Model-keyword 是一个 A1111 WebUI 插件,能为 stable diffusion 定制模型、LoRA 模型自动填充关键词,适合 txt2img 和 img2img。写提示词的时候,确保此插件已开启。它会检测当前使用的 checkpoint 定制模型或者LoRA 模型然后插入匹配的关键词。
4. Prompt Generator
228 星标 | 19 个分支
https://github.com/imrayya/stable-diffusion-webui-Prompt_Generator
Prompt Generator 支持在 AUTOMATIC1111 WebUI 上运行。它可以把基本的提示词拓展成详细的描述与风格。该脚本基于 FredZhang7 制作的 distilgpt2-stable-diffusion-v2 和 Gustavosta 制作的 MagicPrompt-Stable-Diffusion,无需互联网即可在本地运行。
Fred 的脚本可以生成描述性的 safebooru 和 danbooru 标签,对于侧重动漫风格的 txt2img 模型来说是十分便捷的插件。MagicPrompt 系列是用于生成 AI 图片提示词的 GPT-2 模型。
只要模型托管在 huggingface 上,你就可以编辑 \extensions\stable-diffusion-webui-Prompt_Generator\models.json 中的 json 文件。
5. Text2prompt
159 星标 | 15 个分支
https://github.com/toshiaki1729/stable-diffusion-webui-text2prompt
适用于 A1111 WebUI 的提示词生成器,主要用于动漫。可以增加 K 和 P 值使提示词更有创意,或者降低 Power 值的同时打开 Cutoff 和 Power 选项。反之则降低两个值。
6. Novelai-2-local-prompt
69 星标 | 14 个分支
https://github.com/animerl/novelai-2-local-prompt
此脚本可以将 NovelAI 提示词的格式转换为符合 Stable Diffusion 的提示词,它还能调用以前使用过的提示词。
7. Ranbooru
61 星标 | 7 个分支
https://github.com/Inzaniak/sd-webui-ranbooru
来自 ivragi 的推荐,此插件可以从 boorus 图片(包括 Gelbooru、Rule34、Safebooru、yande.re、konachan、aibooru、danbooru 和 xbooru)中随机挑选一组标签,并添加到提示词中。
第 3 部分. Stable Diffusion A1111 界面相关插件
1. Stable Diffusion Themes – Lobe Theme
2.3K 星标 | 215 个分支
https://github.com/lobehub/sd-webui-lobe-theme
如果不喜欢默认的 A1111 WebUI 界面,可以用这个主题插件,看起来更现代简洁风。在 Github 上有详细的安装说明和自定义指南。
注意:在安装主题之前,请仔细阅读兼容性问题。例如,Lobe Theme v3 仅适用于 SD WebUI v1.6 及更高版本。如果是旧版本,则需要使用旧版主题。
2. A1111 WebUI Image Browser
596 星标 | 109 个分支
https://github.com/AlUlkesh/stable-diffusion-webui-images-browser
该插件支持查看以前创建的图片,检查与图片生成相关的元数据,在 A1111 WebUI 中把这些数据直接运用到后续的图片生成,例如文生图或者图生图提示词。
你可以把喜欢的图片整理收藏,或删除不感兴趣的图片。
3. Config-Presets
252 星标 | 16 个分支
https://github.com/Zyin055/Config-Presets
Config-Presest 支持配置人性化、可调整的下拉式菜单,方便修改 txt2img 和 img2img 选项卡的参数。
可以根据个人偏好调整数值,进一步提高工作效率。
4. Inspiration (艺术风格、流派)
114 星标 | 22 个分支
https://github.com/yfszzx/stable-diffusion-webui-inspiration
Stable Diffusion WebUI Inspiration 插件可显示具有特定艺术家或艺术流派的随机图片。选中后将显示更多来自该艺术家或流派的图片,让您轻松查找想要的风格。
它收藏了大约 6000 位艺术家和风格供参考使用,你可以通过关键词筛选并搜索艺术家、流派,也可以收藏你喜欢的风格,并减少不感兴趣的风格。
5. Infinity Grid Generator Script
174 星标 | 24 个分支
https://github.com/mcmonkeyprojects/sd-infinity-grid-generator-script
此插件的设计是用于生成无限维网格。如果你熟悉 X/Y 绘图网格,可以把它理解为具有更多轴的“无限轴网格”。利用此插件,你可以快速分析大量参数组合后的结果。
注意:生成网格所需的时间呈指数级增长。例如,有四个变量,每个变量有五种不同的选项,按 5 的 4 次方计算,结果为 625 张图像。
第 4 部分. 用于 Stable Diffusion 动画和视频的插件
1. Animate Diff
2.9k 星标 | 246 个分支
https://github.com/continue-revolution/sd-webui-animatediff
Animate Diff 是用 Stable Diffusion 生成视频的热门插件之一。它不仅是简单好用的视频工具包,也是可以生成 GIF 的脚本工具。Animate Diff 的作者还创建了 Segment Anything 这个工具哦。
2. Deforum
2.6k 星标 | 383 个分支
https://github.com/deforum-art/sd-webui-deforum
Deforum 官方移植版,适用于 Stable Diffusion Automatic1111 WebUI。通过 Deforum 你可以创建文字提示和运镜设置来制作动画视频。
该工具提供 2D 和 3D 运动样式,你可以根据特定偏好定制动画或视频的视觉外观,还可以使用插帧功能。
3. Seed Travel
302 星标 | 25 个分支
https://github.com/yownas/seed_travel
Seed Travel 是一个 Stable Diffusion WebUI 插件,可以根据指定的种子数值范围生成一系列图片。
工作原理是这样的:比如我们把所有可能的噪声模式比作一副地图,每颗种子在地图上表示一个点。种子旅行的作用是选择这张地图上的两个“点”,然后在它们之间“旅行”并生成一系列图片,你可以用这些图片来做动画。
4. Prompt Fusion
257 星标 | 16 个分支
https://github.com/ljleb/prompt-fusion-extension
Prompt Fusion可以在单张图片的采样阶段进行“旅行”,从而创建一致且略有迭代的视觉效果。这个插件可以在潜在空间迭代不同的值来生成一系列图片,方便创建视频。它还支持attention interpolation功能,用于生成具有细微变化的多个图像组。
其他类似插件:
Prompt Travel: https://github.com/Kahsolt/stable-diffusion-webui-prompt-travel
第 5 部分. 精准控制和编辑相关插件
1. ControlNet
16.3k 星标 | 1.9k 个分支
https://github.com/Mikubill/sd-webui-controlnet
ControlNet 是集成到 Stable Diffusion 模型中的一项高级功能。它引入了对图像生成过程的控制级别,这在以前很难实现。该插件允许用户通过提供特定的约束或条件来引导扩散过程,并使用诸如 OpenPose、Canny、HED、Scribble、Mlsd、Seg、Depth 和 Normal Map 等工具来适用于各种场景。
2. DWPose
2k 星标 | 133 个分支
https://github.com/IDEA-Research/DWPose
DWPose 声称在 ControlNet 中的输出结果比 Openpose 更好。它支持一致且可控的图像-视频合成,从而在角色动画任务中实现高质量输出。注意:在使用 sd-webui-controlnet v1.1237 及更高版本时,DWPose 作为预处理器(例如 dw_openpose_full)对输入数据进行预处理。
3. ADetailer
3.9k 星标 | 303 个分支
https://github.com/Bing-su/adetailer
ADetailer 是 Stable Diffusion WebUI 中最受欢迎的自动遮罩和图片修复工具之一。开启后,它能自动检测、遮罩和增强面部细节。
根据你的图片输出,有时增强后的图像可能会过度拟合。可以尝试调整参数设置来获得更好的结果。
4. Detection Detailer
336 星标 | 74 个分支
https://github.com/dustysys/ddetailer
此插件专为对象检测和自动遮罩而设计。它可以从背景中分离出人物和面部,并自动改善面部细节。
5. Reactor (Face Swap)
2.3k 星标 | 245 个分支
https://github.com/Gourieff/sd-webui-reactor
Reactor 是适用于 Stable Diffusion WebUI 的一个换脸插件。在运行此脚本前,您需要在系统上安装脚本依赖。例如,对于 A1111,只需安装 Visual Studio 或 VS C++ Build Tools(如果不需要整个 Visual Studio)。作者在 GitHub 上有详细教程。
你可以标记面部或指定性别。如果生成的图片中面部模糊,你可以启用“修复面部(Restore face)”选项。
还可以使用 Roop: https://github.com/s0md3v/sd-webui-roop
免责声明:在使用换脸功能时,请务必谨慎并遵守当地法规。如果使用软件改变真人面貌,建议先征得有关个人的许可。必须明确声明图片或视频是经过人工智能生成的虚假内容。
6. Depth Map Script
1.6k 星标 | 152 个分支
https://github.com/thygate/stable-diffusion-webui-depthmap-script
此插件支持生成深度图、3D 网格、法线贴图并创建 3D 立体图像组。
对于立体图片,你可以选择 "Generate Stereo SBS" 或 "Generator Anaglyph" 选项。"Generate 3D inpainted mesh" 可以生成视频所需的网格。除此之外,你还可以把 Depth Map 脚本用于已有的图片。
7. Dynamic Thresholding
1.1k 星标 | 100 个分支
https://github.com/mcmonkeyprojects/sd-dynamic-thresholding
Dynamic thresholding (CFG Scale Fix) 插件适用于多个 Stable Diffusion WebUI 界面,包括A1111和ComfyUI。安装这个插件之后,我们可以使用更高的 CFG 比例而不会出现颜色问题。这样,我们在使用 Stable Diffusion 生成图像时有更多灵活的选择,不必担心高 CFG 比例可能引起的失真。
8. Multi-subject Render
365 星标 | 27 个分支
https://github.com/Extraltodeus/multi-subject-render
有 depth analysis 技术加持,此插件可以为复杂场景一次生成多个主体。平时我们拿来放提示词的那个窗口,在这里就只用于生成背景。所以这里只需要描述场景布置之类的,不描述主体。
然后我们去到 “前景提示词”专门的窗口来描述。可以把所有主体包含在一行,也可以使用多行,每行描述一个角色。最后合成的图片宽度和高度在blend section这里设置即可。
9. Composable LoRA
470 星标 | 72 个分支
https://github.com/opparco/stable-diffusion-webui-composable-lora
此插件可以将 LoRA 的影响限制在指定的子提示词内。这样可以有效减轻或者低效自带预设带来的不利影响。
10. Cutoff for SD WebUI
1.2k 星标 | 85 个分支
https://github.com/hnmr293/sd-webui-cutoff
此插件可以限制 token 的影响范围。什么意思呢?看看下面的解释就清楚了。
当图片不同区域有大量颜色时,Stable Diffusion 有概率会在颜色上出错。例如,我们想要动漫女孩有蓝色头发、穿粉色短裙,生成的图片可能出现粉色头发、裙子变乱的问题。
启用 Cutoff 插件后,可以将我们想要限制范围的词放在 "Target tokens" 里面。
如图,第二排是启用 Cutoff 插件后生成的图片。头发颜色(蓝色)和裙子颜色(粉色)与提示词一致。
11. Latent Couple (Two Shot Diffusion Port)
704 星标 | 105 个分支
https://github.com/opparco/stable-diffusion-webui-two-shot
此插件可以帮助你确定能映射子提示词的潜在区域。用通俗的话说,你可以屏蔽画布并控制各区域要出现什么样的主体或物件。例如,为蒙版 1 设置提示词:山脉,蒙版 2 提示词:树木,蒙版 3 提示词:月亮,让结果更符合构图和主体。
第 6 部分. 更多好用的 Stable Diffusion 插件
1. A1111 Aspect Ratio Selector
209 星标 | 35 个分支
https://github.com/alemelis/sd-webui-ar
Aspect Ratio Selector 适用于 Stable Diffusion Automatic1111 WebUI,让你无需手动计算就能得到不同的宽高比例。
安装方法:点击 WebUI 中的 Extensions 标签 > Install from URL > 粘贴链接 https://github.com/alemelis/sd-webui-ar > Install。
安装后,在宽度和高度下方会出现宽高比选项。宽高比大于 1 时(例如 3:2、4:3、16:9),脚本允许在固定宽度的同时改变高度。宽高比小于 1 时(例如 2:3、3:4、9:16),宽度会随着你调整的高度而变化。
你可以根据个人偏好编辑 /sd-webui-ar/aspect_ratios.txt,参考格式:
button-label, width, height, #这里放备注。
例如:
1, 512, 512 # 1:1 square
# 号代表备注, 因此 # 行之后的内容会被忽略。
2. OpenOutpaint
395 星标 | 24 个分支
https://github.com/zero01101/openOutpaint-webUI-extension
openOutpaint 可无缝集成到 AUTOMATIC1111 Web 的用户界面。你还可以将 A1111 webUI txt2img 和 img2img 的输出直接传到 openOutpaint。
请注意,要激活此插件,webui-user 启动脚本中必须包含 --api 标记。
3. 3D Model Loader
228 星标 | 22 个分支
https://github.com/jtydhr88/sd-3dmodel-loader
Gradio 虽然有 Gradio.Model3D 组件,但只支持 ojb、glb 和 gltf,所以作者制作了这个插件。它支持加载 3D 模型或者动画,编辑模型姿势,然后传到 txt2img/img2img。
4. Save Intermediate Images
109 星标 | 16 个分支
https://github.com/AlUlkesh/sd_save_intermediate_images
正如其名,此插件可以在生成图片的基础上保存中间帧,你可以使用这些图像创建视频 (webm/mp4) 和 GIF 来演示“绘图过程”。
5. Conditioning-highres-fix
46 星标 | 8 个分支
https://github.com/klimaleksus/stable-diffusion-webui-conditioning-highres-fix
该脚本可以改进 sd v1.5 修复模型的 highres.fix 功能。在生成过程中,它可以通过关联 "Inpainting conditioning mask strength" 和 "Denoising strength",将前者的数值重写为后者的一半。
这是脚本作者提供的网格对比图。可以看到,调节强度越低,图像质量越好,越清晰。高降噪强度会导致 AI 图片变得过度饱和和简化。
6. SD Scale Calculator
https://preyx.github.io/sd-scale-calc/
这是一款在线工具,非 Stable Diffusion 插件,但我在生图的时候经常用到,所以把这个工具也列在这里。
我数学不好,一下反应不过来某画幅比对应的分辨率应该是多少。
在 SD Scale Calculator 中输入目标宽度和高度即可计算出初始生图宽度和高度。对于 highres. fix 和设置img2img 分辨率来说非常方便。
感谢大家阅读这篇文章和积极参与投票的朋友,我会多更新一些大家感兴趣的内容。从投票结果看,对 SD 精准控制、编辑、微调和 AI 超分相关插件感兴趣的人比较多,也许接下来我应该专注于这些领域?欢迎到评论区说一说你们的看法。