Comfy UIで、コントロールネットを使うやりかたの紹介です。
Comfy UIで、コントロールネットを使うやりかた
マネージャー
機能拡張マネージャーを入れていれば、「 ComfyUI's ControlNet Auxiliary Preprocessors」「ComfyUI-Advanced-ControlNet」なんかがインストールできます。
先に入っていたので以下の検証に合致するかは不明。動かいない場合はこれらを入れてみると動くかもしれません。
ワークフロー
こちらのサイトで以下ダウンロードして画像をドロップすると、コントロールネットを使うワークフローを入手できます。
depthを使うので「control_v11f1p_sd15_depth.pth」があれば、「comfyui>models>controlnet」にいれておきます。
ない人はControlnet用モデルの入手先などで検索してみましょう。
ControlNet and T2I-Adapter Examples | ComfyUI_examples (comfyanonymous.github.io)
手動でやる場合は「LoadCotrolNet Model Model(diff)」を「Load Checkpoint」につなげます。「LoadCotrolNet Model Model(diff)」は、「AddNode＞loaders」のなかにあります。
さらにこのノードと、生成のために使う画像とを「Apply Controlnet」へ入力し、その出力を「KSampler」へ送っています。
「Apply Controlnet」は「AddNode＞Coditioning」のなかにあります。
「Image」は、「AddNode＞image」のなかにあります。
Scribble
ワークフローを改良して、手書きから画像を作ってみましょう。scribbleを使いますので、「control_v11p_sd15_scribble」を「comfyui>models>controlnet」にいれておきます。
「LoadCotrolNet Model」で「control_v11p_sd15_scribble」を指定。
さらに画像は手書き画像を指定。
これで手書きのレイアウトに似た構図の画像が生成できました。
Reference_onlyを使うには？
Reference_onlyは、画像の顔だけ差し替えるもので、同じキャラを使いたい場合に便利な機能です。
みてみると、公式サポートはないので入れてほしいとのお願いがありました。
ただ慣れている人だと「reference_only.py」を組み込んでつくれるようです。
