AIで稼ぐ教科書

ChatGPT, Stable Diffusion, Visual Studio, Excelなど教科書

【Comfy UI】コントロールネットを使うには?

Comfy UIで、コントロールネットを使うやりかたの紹介です。コントロールネットは、人のポーズなどを指定できるので、よりイメージに近い画像を生成することができます。

Comfy UIで、コントロールネットを使うやりかた

マネージャー

機能拡張マネージャーを入れていれば、「 ComfyUI's ControlNet Auxiliary Preprocessors」「ComfyUI-Advanced-ControlNet」なんかがインストールできます。

 

機能拡張マネージャーの入手はこちら。

GitHub - ltdrdata/ComfyUI-Manager

 

セットアップなどはこちらを参照ください。

ComfyUIの拡張機能を管理するComfyUI-Managerのセットアップと使い方 | 鷹の目週末プログラマー (happy-shibusawake.com)

 

 

インストール後に確認してみると、先に入っていたので以下の検証に合致するかは不明。動かいない場合はこれらを入れてみると動くかもしれません。

 

 

ワークフロー

↓のサイトで画像をダウンロードして、その画像をComfy UIへドロップすると、コントロールネットを使うワークフローが入手できます。

ControlNet and T2I-Adapter Examples | ComfyUI_examples (comfyanonymous.github.io)

 

 

depthを使うので「control_v11f1p_sd15_depth.pth」があれば、「comfyui>models>controlnet」にいれておきます。

 

ない人はControlnet用モデルの入手先などで検索してみましょう。

 

手動でやる場合は「LoadCotrolNet Model Model(diff)」を「Load Checkpoint」につなげます。

 

「LoadCotrolNet Model Model(diff)」は、「AddNode>loaders」のなかにあります。

 

さらにこのノードと、生成のために使う画像とを「Apply Controlnet」へ入力し、その出力を「KSampler」へ送っています。

 

「Apply Controlnet」は「AddNode>Coditioning」のなかにあります。

 

「Image」は、「AddNode>image」のなかにあります。

 

 

 

 

Scribble

ワークフローを改良して、手書きから画像を作ってみましょう。scribbleを使いますので、「control_v11p_sd15_scribble」を「comfyui>models>controlnet」にいれておきます。

 

「LoadCotrolNet Model」で「control_v11p_sd15_scribble」を指定。

さらに画像は手書き画像を指定。

 

これで手書きのレイアウトに似た構図の画像が生成できました。

 

 

Reference_onlyを使うには?

Reference_onlyは、画像の顔だけ差し替えるもので、同じキャラを使いたい場合に便利な機能です。

 

みてみると、公式サポートはないので入れてほしいとのお願いがありました。

ただ慣れている人だと「reference_only.py」を組み込んでつくれるようです。

[Feature Request] Please add "reference_only" ControlNet feature · Issue #661 · comfyanonymous/ComfyUI · GitHub

 

 

 

Comfy UIの使い方はこちら。

www.kyoukasho.net

このブログは、ネットや書籍上の情報、個人の体験や感想を中心にまとめたものです。 正確性を期していはいますが、間違い・誤訳等あるかもしれません。 当サイトの情報によって生じたいかなる損失について一切の責任を負わないものとします. あらかじめご了承ください。

プライバシーポリシー |〇利用規約 |〇問い合わせ