Stable Diffusion web UIの機能拡張がいろいろと出ています。Stable Diffusion web UIは自機でステーブルディフュージョンできるため、使うと便利です。機能拡張があれば、さらに多彩な表現力を備えることができます。
ここではStable Diffusion web UI用の機能拡張のインストール方法や、種類の紹介をしていきます。
Stable Diffusion web UIの機能拡張の使い方
Stable Diffusion web UIを自機にインストールすれば、Stable Diffusionを簡単に扱えるようなりました。
また、そこで使えるいろんな機能拡張がリリースされています。表現力がどんどんアップし、日進月歩で使い勝手がアップしています。
機能拡張はこちらからチェックできます。
Extensions · AUTOMATIC1111/stable-diffusion-webui Wiki (github.com)
機能拡張のインストールその1
一番簡単なインストール方法です。
まず「Extensions」タブ、「Available」タブへ移動。
パラメータの変更とかはせずにそのまま「Load from」ボタンを押します。
これだけでインストール可能な機能拡張の一覧が出てきます。
あとはお目当ての機能拡張の「Install」を押してしばし待ちます。
機能拡張のインストールその2
リストにない場合は「Extensions」タブ＞「Install form URL」タブへ移動。GitなどのURLを入れてから「Install」を実行します。
Installing...が終わってリストから消えれば完了です。
機能拡張のインストールその3
Githubから手動でダウンロード。
WebUI＞Stable-diffusion-webui＞extensionsタブ内へコピーします。
インストール後は「Installed」タブを押してインストールされた機能拡張の一覧をチェックできます。
機能拡張が使えない？
インストール後は「Apply and restart UI」でリスタートさせます。
手動でWebUIをリスタートさせても大丈夫です。
スクリプトの選択方法
WebUIのtxt2img、img2imgの下の方にScript欄があります。
インストール済の機能拡張を選択します。
生成すると、通常版に加え、スクリプトを経由した出力も出てきます。
Stable Diffusion web UIのおすすめ機能拡張は？
入力
ポーズを指定
・posex
https://github.com/hnmr293/posex
3次元空間でopenposeの図形を動かすことができる拡張機能です。
・OpenPose Editor
https://github.com/fkunn1326/openpose-editor
複数のポーズキャラクターを追加したり、画像からポーズを検出し、PNGに保存したり、コントロールネットの拡張機能に送信することができます。
インストール後はタブから選んで、ポーズを指定。「send to img2img」などで送ります。
おすすめ度：★★★★
画像でポーズを指定
・ControlNet
GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet
ポーズ画像を渡すことで、同じようなポーズの画像を生成してくれます。
モデルファイルは以下から入手できます。
webui/ControlNet-modules-safetensors at main (huggingface.co)
入手後は「webUI\stable-diffusion-webui\extensions\sd-webui-controlnet\models\」フォルダに。
おすすめ度：★★★★★
アニメーションGIFの入力
・gif2gif
LonicaMewinsky/gif2gif: Automatic1111 gif extension (github.com)
アニメーションGIFファイルを入力に使い、生成されたアニメーションGIFとして出力しなおします。
おすすめ度：★★★
アスペクト比変更
GitHub - alemelis/sd-webui-ar: Select img aspect ratio from presets in sd-webui
キャンバスの比率をワンタッチで変更。
プロンプト
プロンプト翻訳
・Prompt Translator
https://github.com/butaixianran/Stable-Diffusion-Webui-Prompt-Translator
DeeplやBaiduを使ってプロンプトを英語に翻訳。
おすすめ度：★★★
プロンプト作成支援
・Prompt Generator
https://github.com/imrayya/stable-diffusion-webui-Prompt_Generator
おすすめ度：★★★
日本語プロンプト作成支援
・easy-prompt-selector
blue-pen5805/sdweb-easy-prompt-selector (github.com)
インストールをすると「タグを選択」ボタンが出現。
すると、いろんなプロンプトを選択できるようになります。これなら入力がだいぶ楽になります。日本語対応してあるのがうれしいです。
おすすめ度：★★★
画像からプロンプトを生成
・clip-interrogator
GitHub - pharmapsychotic/clip-interrogator: Image to prompt with BLIP and CLIP
画像からプロンプトを生成します。
インストール後、img2imgに画像を読み込んで「interrogae」ボタンを実行します。
初回はモデルのダウンロードが始まるので時間がかかります。
一度終われば、プロンプト画面にプロンプトが生成されます。
画像生成AI「Stable Diffusion」で自動生成された画像からどのようなプロンプト・呪文だったのかを分解して表示できる「CLIP interrogator」の使い方 - GIGAZINE
おすすめ度：★★★★
特定範囲の加工
指定範囲ごとのプロンプト
・LLuL
GitHub - hnmr293/sd-webui-llul: LLuL - Local Latent upscaLer
領域を指定して、ディテールを強調することができます。
・Latent Couple extension
https://github.com/opparco/stable-diffusion-webui-two-shot
指定領域ごとにプロンプトを指定できる機能拡張。
これによって絵柄をかえたり、キャラクターの感じを変更することができます。
・Dump U-Net
hnmr293/stable-diffusion-webui-dumpunet (github.com)
使い方が日本語であるのは便利
Stable DiffusionのU-Netでブロックごとに異なるプロンプトを与えて画像生成する（ブロック別プロンプト）｜Kohya S.｜note
出力
アップスケール
Tiled Diffusion
画像を分割生成させることで、VRAM不足でも大きい画像を作れます。
Multidiffusion
背景削除
・ABG_extension
GitHub - KutsuyaYuki/ABG_extension
背景除去ツール。
ディテール修正
・adetailer
Bing-su/adetailer: Auto detecting, masking and inpainting with detection model. (github.com)
その名の通り、ディテールを追加する機能拡張。顔の崩れなどを改善してくれます。
インストール後は「Enable ADetailer」をチェックして利用しましょう。
おすすめ度：★★★★
色範囲制限
・Cutting Off Prompt Effect
hnmr293/sd-webui-cutoff: Cutoff - Cutting Off Prompt Effect (github.com)
色映りを防ぐ機能拡張。
線画
・LoRA
https://civitai.com/models/16014/anime-lineart-style
線画で出力可能。
ドット絵
・Pixelization
https://github.com/AUTOMATIC1111/stable-diffusion-webui-pixelization
ドット絵のように粗いピクセルを生成。
モザイクをかけたようなジャギーのある絵柄に変換。
パノラマ作成
・txt2imgでパノラマを生成。
MultiDiffusion with Tiled VAE
作成中の画面も保存
・Save Intermediate Images
https://github.com/AlUlkesh/sd_save_intermediate_images
AIが完成品を作るまでの過程も保存してくれます。
DepthMap
・depthmap2mask
https://github.com/Extraltodeus/depthmap2mask
・Depth Maps
DepthMapを作成。
メディア生成
音楽生成
GitHub - enlyth/sd-webui-riffusion: Riffusion extension for AUTOMATIC1111's SD Web UI
音楽を作る機能拡張。
modelとして14.6GB程度必要。
riffusion/riffusion-model-v1 at main
３Dモデル作成
３Dモデルを作成します。
動画生成
リップシンク動画
・Sad Talker
音声ファイルに合わせて口を動かすSadTalkerのStable Diffusion版です。
機能拡張以外の設定も必要で、動くまでちょっと面倒でした。
おすすめ度：★★★★★
ビデオ生成 Deforum
動画生成用機能拡張。
利用方法は以下。
おすすめ度：★★★★★
ビデオ生成 ModelScope
deforum-art/sd-webui-modelscope-text2video: Auto1111 extension consisting of implementation of ModelScope text2video using only Auto1111 webui dependencies (github.com)
利用方法は以下。
おすすめ度：★★★
Web UIのカスタマイズ
バイリンガル化
・Bilingual Localization
https://github.com/journey-ad/sd-webui-bilingual-localization
バイリンガル翻訳で、ボタン探しも簡単に。
プリセットを作成
・Preset Utilities
https://github.com/Gerschel/sd_web_ui_preset_utils
WebUIのプリセットを作成、カスタマイズ。
出力設定のプリセットを作成
・Config-Presets
GitHub - Zyin055/Config-Presets: Extension for Automatic1111
どういうサイズで出力するか、など自分好みの初期設定を作りプルダウンから選択可能に。
システム情報タブを追加
・System Info
https://github.com/vladmandic/sd-extension-system-info
システム情報というタブを追加し、メモリなどをチェックできるようになります。
Web UIのスキン
・Kitchen Theme
https://github.com/canisminor1990/sd-web-ui-kitchen-theme
WebUI用スキン。
・カプチーノテーマ
https://github.com/catppuccin/stable-diffusion-webui
パステル調のWebUIスキン。
当ブログで紹介しているモデルや機能拡張の一覧はこちら。