[ComfyUI Workflow] ControlNet Cannyでディテールアップ / DetailUpWithControlNetCanny

t2iの後にControlNet CannyでディテールアップするComfyUIのサンプルワークフローです。UltimateSDUpscaleによるアップスケーリングに対応しています。ご自由にカスタマイズしてお使いください。

This is a sample workflow of ComfyUI where t2i is followed by detail-up with ControlNet Canny. Supports upscaling using UltimateSDUpscale. Please feel free to customize and use it.

前提条件 / Prerequisites

• ComfyUIとComfyUI-Managerがインストールされている。

• ComfyUI and ComfyUI-Manager are installed.

カスタムノード / Custom nodes

以下のカスタムノードを使用しています。

The following custom nodes are used.

• ComfyUI-Custom-Scripts

• ComfyUI_UltimateSDUpscale

• Efficiency Nodes for ComfyUI Version 2.0+

• rgthree-comfy

• smZNodes

使用方法 / How to use

同じ内容がワークフロー内のNoteノードにも記載されています。

The same information is also written in the Note node in the workflow.

1. Settings & Promptsグループの「SDXL Empty Latent Image (rgthree)」に生成する画像サイズを設定。

2. Settings & Promptsグループの「Eff. Loader SDXL」の「base_ckpt_name」に使用するモデル、「base_clip_skip」にCLIP Skipを設定。

3. LoRAを使用する場合、Settings & Promptsグループの「LoRA Stacker」に使用するLoRAを設定。

4. Settings & Promptsグループの「Eff. Loader SDXL」にポジティブプロンプトとネガティブプロンプトを入力。

5. Generateグループの「KSampler SDXL (Eff.)」にステップ数、CFG、サンプラー、スケジューラーを設定。

6. ControlNet Cannyグループの「Load ControlNet Model」に使用するCannyモデルを設定。
   Cannyモデルをお持ちでない場合は https://huggingface.co/diffusers/controlnet-canny-sdxl-1.0 から diffusion_pytorch_model.fp16.safetensors をダウンロードしてください。
   ダウンロード後にCannyモデルとわかるようにファイル名をリネームをしておくと便利です。

7. ControlNet Cannyグループの「Canny Edge」のパラメーターをお好みで調整。(よくわからない場合はこのままの設定を使用してください)

8. ControlNet Cannyグループの「CLIP Text Encode++ (Positive)」に追加のポジティブプロンプトを入力。
   空欄でも良いですが、追加でプロンプトを入力すればさまざまな調整を行うことができます。
   例えばサンプルワークフローの様に"Light particles"を入力するとt2iの画像に光のパーティクルが追加で生成されますし、"Satin dress"を入力するとドレスがよりサテンの質感になります。
   "Blue texture"を入力すれば画像全体が青味がかり、"Cat ears"を入力すれば後から猫耳にできたり、可能性は無限大です。

9. ControlNet Cannyグループの「CLIP Text Encode++ (Negative)」に追加のネガティブプロンプトを入力。

10. ControlNet Cannyグループの「Apply ControlNet (Advanced)」のstrengthをお好みで調整。ここの数値が大きいほどControlNetの効きが強くなります。

11. ControlNet Cannyグループの「KSampler (Efficient)」にステップ数、CFG、サンプラー、スケジューラー、denoiseを設定。denoiseが大きいとt2iからの変化も大きくなります。

12. Upscale & Save Imageの「Load Upscale Model」に使用するアップスケーラーを設定。

13. Upscale & Save Imageの「Ultimate SD Upscale」にステップ数、CFG、サンプラー、スケジューラー、denoise、その他パラメーターを設定。(よくわからない場合はこのままの設定を使用してください)

14. 生成を実行する。

1. Set the image size to be generated in “SDXL Empty Latent Image (rgthree)” in the Settings & Prompts group.

2. In the "Eff. Loader SDXL" in the Settings & Prompts group, set "base_ckpt_name" to the model to use and "base_clip_skip" to the CLIP Skip.

3. If you use LoRA, set the LoRA you want to use in "LoRA Stacker" in the Settings & Prompts group.

4. Enter positive and negative prompts in "Eff. Loader SDXL" in the Settings & Prompts group.

5. Set the number of steps, CFG, sampler, and scheduler in “KSampler SDXL (Eff.)” in the Generate group.

6. Set the Canny model to be used in “Load ControlNet Model” of the ControlNet Canny group.
   If you don’t have the Canny model, download diffusion_pytorch_model.fp16.safetensors from https://huggingface.co/diffusers/controlnet-canny-sdxl-1.0.
   After downloading, it is convenient to rename the file so that it can be identified as a Canny model.

7. Adjust the parameters of "Canny Edge" in the ControlNet Canny group to your liking. (If you are not sure, use the settings as they are.)

8. Enter additional positive prompt to "CLIP Text Encode++ (Positive)" in the ControlNet Canny group.
   You can leave this blank, but you can make various adjustments by entering additional prompts.
   For example, if you enter "Light particles" as in the sample workflow, additional light particles will be generated in the t2i image, and if you enter "Satin dress", the dress will have a more satin texture.
   If you input "Blue texture" the entire image will have a blue tint, if you input "Cat ears" you can add cat ears later; the possibilities are endless.

9. Enter additional negative prompts to "CLIP Text Encode++ (Negative)" in the ControlNet Canny group.

10. Adjust the strength of "Apply ControlNet (Advanced)" in the ControlNet Canny group to your liking. The higher the value here, the stronger the effect of ControlNet.

11. Set the number of steps, CFG, sampler, scheduler, and denoise in the "KSampler (Efficient)" of the ControlNet Canny group. The larger the denoise, the larger the change from t2i.

12. Set the upscaler to be used for "Load Upscale Model" in Upscale & Save Image.

13. Set the number of steps, CFG, sampler, scheduler, denoise, and other parameters in "Ultimate SD Upscale" of Upscale & Save Image. (If you are not sure, use the settings as they are.)

14. Run the generation.

ポイント / Point

• 上部の「Fast Groups Muter (rgthree)」でControlNet CannyグループとUpscale & Save Imageグループを"No"に設定しておくとt2iのみ実行されるので生成のリトライがしやすいです。

• ワークフローが横長なので「Fast Groups Muter (rgthree)」を複数追加しました。各グループの「->」をクリックするとそのグループにジャンプできます。

• If you set the ControlNet Canny group and Upscale & Save Image group to "No" in the "Fast Groups Muter (rgthree)" at the top, only t2i will be executed, making it easier to retry generation.

• Since the workflow is horizontal, I added multiple "Fast Groups Muter (rgthree)". You can jump to each group by clicking "->" of each group.

英文はGoogle翻訳を使用して翻訳されています。

The English text has been translated using Google Translate.