Comfy UIで、コントロールネットを使うやりかたの紹介です。コントロールネットは、人のポーズなどを指定できるので、よりイメージに近い画像を生成することができます。
Comfy UIで、コントロールネットを使うやりかた
マネージャー
機能拡張マネージャーを入れていれば、「 ComfyUI's ControlNet Auxiliary Preprocessors」「ComfyUI-Advanced-ControlNet」なんかがインストールできます。
機能拡張マネージャーの入手はこちら。
GitHub - ltdrdata/ComfyUI-Manager
セットアップなどはこちらを参照ください。
ComfyUIの拡張機能を管理するComfyUI-Managerのセットアップと使い方 | 鷹の目週末プログラマー (happy-shibusawake.com)
インストール後に確認してみると、先に入っていたので以下の検証に合致するかは不明。動かいない場合はこれらを入れてみると動くかもしれません。
ワークフロー
↓のサイトで画像をダウンロードして、その画像をComfy UIへドロップすると、コントロールネットを使うワークフローが入手できます。
ControlNet and T2I-Adapter Examples | ComfyUI_examples (comfyanonymous.github.io)
depthを使うので「control_v11f1p_sd15_depth.pth」があれば、「comfyui>models>controlnet」にいれておきます。
ない人はControlnet用モデルの入手先などで検索してみましょう。
手動でやる場合は「LoadCotrolNet Model Model(diff)」を「Load Checkpoint」につなげます。
「LoadCotrolNet Model Model(diff)」は、「AddNode＞loaders」のなかにあります。
さらにこのノードと、生成のために使う画像とを「Apply Controlnet」へ入力し、その出力を「KSampler」へ送っています。
「Apply Controlnet」は「AddNode＞Coditioning」のなかにあります。
「Image」は、「AddNode＞image」のなかにあります。
Scribble
ワークフローを改良して、手書きから画像を作ってみましょう。scribbleを使いますので、「control_v11p_sd15_scribble」を「comfyui>models>controlnet」にいれておきます。
「LoadCotrolNet Model」で「control_v11p_sd15_scribble」を指定。
さらに画像は手書き画像を指定。
これで手書きのレイアウトに似た構図の画像が生成できました。
Reference_onlyを使うには？
Reference_onlyは、画像の顔だけ差し替えるもので、同じキャラを使いたい場合に便利な機能です。
みてみると、公式サポートはないので入れてほしいとのお願いがありました。
ただ慣れている人だと「reference_only.py」を組み込んでつくれるようです。
Comfy UIの使い方はこちら。
