Stable Diffusion web UIには、ビデオを作るための機能拡張として「ModelScope」というものがあります。
うちではトラブルなくスムーズに使えました。やはり動画が作れると楽しいです。
「ModelScope」とは？
Stable Diffusion web UIで、ビデオ作製用の機能拡張です。
機能拡張をインストール
まずはインストール。
以下サイトを「Extension＞Install from URL」にコピペでいけます。
インストール後は再起動。
モデルデータをインストール
モデルファイルを以下よりダウンロード。
damo-vilab/modelscope-damo-text-to-video-synthesis at main (huggingface.co)
「stable-diffusion-webui\\models/ModelScope/t2v/」の下に入れます。
ビデオ生成
インストール後は「ModelScope」のタブができるのでプロンプトを入れてGenerateします。
フレーム数が多いと時間がかかるので「Frames」は最初は少なめがいいと思います。
フレームレートの設定は「output settings」のFPSから。
実行後は生成時間がかかります。
UI上は変化はないですが、バッチの方でゲージが動いていたりすればレンダリングが行われていることがわかります。
緑色の「Done」が出れば終了です。
完成後は「Click here after the generation to show the video」ボタンを押します。
これでビデオが下に表示されます。
生成動画はこんな感じ。
素材サイト大手であるShutterstockのロゴが入りますが、課金して消すのか、今回は単なるデモ用なのでということなのか現在調査中。
以下のようなリムーブツールでそこそこ隠すことはできます。
AniEraser: Online Photo and Video Object Remover App (media.io)
