AIクリエイターの教科書

ChatGPT, Stable Diffusion, Visual Studio, Excelなど教科書

【Stable Diffusion web UI】機能拡張 インストールするには?おすすめは?

Stable Diffusion web UIの機能拡張がいろいろと出ています。Stable Diffusion web UIは自機でステーブルディフュージョンできるため、使うと便利です。機能拡張があれば、さらに多彩な表現力を備えることができます。

ここではStable Diffusion web UI用の機能拡張のインストール方法や、種類の紹介をしていきます。

Stable Diffusion web UIの機能拡張の使い方

Stable Diffusion web UIを自機にインストールすれば、Stable Diffusionを簡単に扱えるようなりました。

 

また、そこで使えるいろんな機能拡張がリリースされています。表現力がどんどんアップし、日進月歩で使い勝手がアップしています。

 

機能拡張はこちらからチェックできます。

Extensions · AUTOMATIC1111/stable-diffusion-webui Wiki (github.com)

 

機能拡張のインストールその1

一番簡単なインストール方法です。

まず「Extensions」タブ、「Available」タブへ移動。

パラメータの変更とかはせずにそのまま「Load from」ボタンを押します。

 

これだけでインストール可能な機能拡張の一覧が出てきます。

あとはお目当ての機能拡張の「Install」を押してしばし待ちます。

 

機能拡張のインストールその2

リストにない場合は「Extensions」タブ>「Install form URL」タブへ移動。GitなどのURLを入れてから「Install」を実行します。

Installing...が終わってリストから消えれば完了です。

 

機能拡張のインストールその3

Githubから手動でダウンロード。

WebUI>Stable-diffusion-webui>extensionsタブ内へコピーします。

 

 

インストール後は「Installed」タブを押してインストールされた機能拡張の一覧をチェックできます。

 

機能拡張が使えない?

インストール後は「Apply and restart UI」でリスタートさせます。

手動でWebUIをリスタートさせても大丈夫です。

 

スクリプトの選択方法

WebUIのtxt2img、img2imgの下の方にScript欄があります。

インストール済の機能拡張を選択します。

 

生成すると、通常版に加え、スクリプトを経由した出力も出てきます。

 

 

Stable Diffusion web UIのおすすめ機能拡張は?

入力

ポーズを指定

・posex

https://github.com/hnmr293/posex

3次元空間でopenposeの図形を動かすことができる拡張機能です。

www.youtube.com

 

 

・OpenPose Editor

https://github.com/fkunn1326/openpose-editor

複数のポーズキャラクターを追加したり、画像からポーズを検出し、PNGに保存したり、コントロールネットの拡張機能に送信することができます。

 

インストール後はタブから選んで、ポーズを指定。「send to img2img」などで送ります。

おすすめ度:★★★★

 

画像でポーズを指定

・ControlNet

GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet

ポーズ画像を渡すことで、同じようなポーズの画像を生成してくれます。

www.youtube.com

 

モデルファイルは以下から入手できます。

webui/ControlNet-modules-safetensors at main (huggingface.co)



入手後は「webUI\stable-diffusion-webui\extensions\sd-webui-controlnet\models\」フォルダに。

おすすめ度:★★★★★

 

アニメーションGIFの入力

・gif2gif

LonicaMewinsky/gif2gif: Automatic1111 gif extension (github.com)

アニメーションGIFファイルを入力に使い、生成されたアニメーションGIFとして出力しなおします。

おすすめ度:★★★

 

アスペクト比変更

GitHub - alemelis/sd-webui-ar: Select img aspect ratio from presets in sd-webui

キャンバスの比率をワンタッチで変更。

 

プロンプト

プロンプト翻訳

・Prompt Translator

https://github.com/butaixianran/Stable-Diffusion-Webui-Prompt-Translator

DeeplやBaiduを使ってプロンプトを英語に翻訳。

おすすめ度:★★★

 

プロンプト作成支援

・Prompt Generator

https://github.com/imrayya/stable-diffusion-webui-Prompt_Generator

おすすめ度:★★★

 

日本語プロンプト作成支援

・easy-prompt-selector

blue-pen5805/sdweb-easy-prompt-selector (github.com)

 

インストールをすると「タグを選択」ボタンが出現。

 

すると、いろんなプロンプトを選択できるようになります。これなら入力がだいぶ楽になります。日本語対応してあるのがうれしいです。

おすすめ度:★★★

 

画像からプロンプトを生成

・clip-interrogator

GitHub - pharmapsychotic/clip-interrogator: Image to prompt with BLIP and CLIP

画像からプロンプトを生成します。

インストール後、img2imgに画像を読み込んで「interrogae」ボタンを実行します。

初回はモデルのダウンロードが始まるので時間がかかります。

一度終われば、プロンプト画面にプロンプトが生成されます。

画像生成AI「Stable Diffusion」で自動生成された画像からどのようなプロンプト・呪文だったのかを分解して表示できる「CLIP interrogator」の使い方 - GIGAZINE

おすすめ度:★★★★

 

 

特定範囲の加工

指定範囲ごとのプロンプト

・LLuL

GitHub - hnmr293/sd-webui-llul: LLuL - Local Latent upscaLer

領域を指定して、ディテールを強調することができます。

 

 

・Latent Couple extension

https://github.com/opparco/stable-diffusion-webui-two-shot

指定領域ごとにプロンプトを指定できる機能拡張。

これによって絵柄をかえたり、キャラクターの感じを変更することができます。

www.youtube.com

 

・Dump U-Net

hnmr293/stable-diffusion-webui-dumpunet (github.com)

使い方が日本語であるのは便利

Stable DiffusionのU-Netでブロックごとに異なるプロンプトを与えて画像生成する(ブロック別プロンプト)|Kohya S.|note

 

 

出力

アップスケール

Tiled Diffusion

GitHub - pkuliyi2015/multidiffusion-upscaler-for-automatic1111: Tiled Diffusion and VAE optimize, licensed under CC BY-NC-SA 4.0

画像を分割生成させることで、VRAM不足でも大きい画像を作れます。

 

Multidiffusion

GitHub - pkuliyi2015/multidiffusion-upscaler-for-automatic1111: Tiled Diffusion and VAE optimize, licensed under CC BY-NC-SA 4.0

 

 

背景削除

・ABG_extension

GitHub - KutsuyaYuki/ABG_extension

背景除去ツール。

 

ディテール修正

・adetailer

Bing-su/adetailer: Auto detecting, masking and inpainting with detection model. (github.com)

その名の通り、ディテールを追加する機能拡張。顔の崩れなどを改善してくれます。

 

インストール後は「Enable ADetailer」をチェックして利用しましょう。

おすすめ度:★★★★

 

色範囲制限

・Cutting Off Prompt Effect

hnmr293/sd-webui-cutoff: Cutoff - Cutting Off Prompt Effect (github.com)

色映りを防ぐ機能拡張。

 

 

線画

・LoRA

https://civitai.com/models/16014/anime-lineart-style

線画で出力可能。

 

 

ドット絵

・Pixelization

https://github.com/AUTOMATIC1111/stable-diffusion-webui-pixelization

ドット絵のように粗いピクセルを生成。

モザイクをかけたようなジャギーのある絵柄に変換。

 

 

パノラマ作成

・txt2imgでパノラマを生成。

MultiDiffusion with Tiled VAE

pkuliyi2015/multidiffusion-upscaler-for-automatic1111: MultiDiffusion implementation with VAE VRAM optimize (github.com)

 

 

作成中の画面も保存

・Save Intermediate Images

https://github.com/AlUlkesh/sd_save_intermediate_images

AIが完成品を作るまでの過程も保存してくれます。

 

DepthMap

・depthmap2mask

https://github.com/Extraltodeus/depthmap2mask

・Depth Maps

GitHub - thygate/stable-diffusion-webui-depthmap-script: High Resolution Depth Maps for Stable Diffusion WebUI

DepthMapを作成。

 

 

メディア生成

音楽生成

GitHub - enlyth/sd-webui-riffusion: Riffusion extension for AUTOMATIC1111's SD Web UI

音楽を作る機能拡張。

modelとして14.6GB程度必要。

riffusion/riffusion-model-v1 at main

 

3Dモデル作成

jtydhr88/sd-webui-txt-img-to-3d-model: A custom extension for sd-webui that allow you to generate 3D model from txt or image, basing on OpenAI Shap-E. (github.com)

3Dモデルを作成します。

 

動画生成

リップシンク動画

・Sad Talker

GitHub - Winfredy/SadTalker: (CVPR 2023)SadTalker:Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation

 

音声ファイルに合わせて口を動かすSadTalkerのStable Diffusion版です。

機能拡張以外の設定も必要で、動くまでちょっと面倒でした。

www.kyoukasho.net

おすすめ度:★★★★★

 

ビデオ生成 Deforum

動画生成用機能拡張。

利用方法は以下。

www.kyoukasho.net

おすすめ度:★★★★★

 

 

ビデオ生成 ModelScope

deforum-art/sd-webui-modelscope-text2video: Auto1111 extension consisting of implementation of ModelScope text2video using only Auto1111 webui dependencies (github.com) 

利用方法は以下。

www.kyoukasho.net

おすすめ度:★★★

 

 

 

 

Web UIのカスタマイズ

バイリンガル化

・Bilingual Localization

https://github.com/journey-ad/sd-webui-bilingual-localization

バイリンガル翻訳で、ボタン探しも簡単に。

 

プリセットを作成

・Preset Utilities

https://github.com/Gerschel/sd_web_ui_preset_utils

WebUIのプリセットを作成、カスタマイズ。

 

出力設定のプリセットを作成

・Config-Presets

GitHub - Zyin055/Config-Presets: Extension for Automatic1111

どういうサイズで出力するか、など自分好みの初期設定を作りプルダウンから選択可能に。

 

システム情報タブを追加

・System Info

https://github.com/vladmandic/sd-extension-system-info

システム情報というタブを追加し、メモリなどをチェックできるようになります。

 

 

Web UIのスキン

・Kitchen Theme

https://github.com/canisminor1990/sd-web-ui-kitchen-theme

WebUI用スキン。

 

・カプチーノテーマ

https://github.com/catppuccin/stable-diffusion-webui

パステル調のWebUIスキン。

 

 

当ブログで紹介しているモデルや機能拡張の一覧はこちら。

www.kyoukasho.net

このブログは、ネットや書籍上の情報、個人の体験や感想を中心にまとめたものです。 正確性を期していはいますが、間違い・誤訳等あるかもしれません。 当サイトの情報によって生じたいかなる損失について一切の責任を負わないものとします. あらかじめご了承ください。

プライバシーポリシー |〇利用規約 |〇問い合わせ