Stable Diffusion Web UIで動画が作れる機能拡張を紹介。
Stable Diffusion Web UIで動画作成できる機能拡張
Stable Diffusion Web UIは、ローカルPCでも画像生成を可能としました。
いろいろな機能拡張があって、なかには動画作成ができるものもあります。
Mov2Mov
既存の動画のアクションでプロンプトからの生成画像を動かします。
ControlNetが併用できるので、比較的イメージに近い動作をさせられます。
おすすめ度:★★★★★
SadTalker
これは「文字から動画」ではなく、「音声ファイル」から「アバターがしゃべっている動画」を作るというものです。
文字や音声から、アバターがしゃべっている動画を作るサービスはいろいろありますが案外有料のものも多いです。
その点SadTalkerならインストールできればあとは使い放題なので楽です。
おすすめ度:★★★★★
Deforum
プロンプトを使って動画を作成できる機能拡張です。
「文字から動画」ならこれが今のところ一番よさそうです。
おすすめ度:★★★★
Anime Diff
注目の機能拡張の1つ。
おすすめ度:★★★★
ModelScope
文字から動画を生成します。
Deforumに近い感じですが、こちらはうっすらと「Shutterstock」のロゴが入ってしまいます。
おすすめ度:★★★
SDエディション別動画機能拡張
現在うちでの稼働状況です。
Stable Diffusion WebUI
× mov2mov なぜかうごかなくなった
× sad talker なぜかうごかなくなった
〇 animate diff(14,15_2)
Forge
× mov2mov インストールしても表示されない
-- sadtoaker リストには未表示
xx wav2clip リップシンク用みたい。インストール後Forgeが起動しなくなった
× animate diff 表示されるが実行するとエラー
Comfy
x animate diff 動いていたた動かなくなった