動画機能拡張「Mov2Mov」の使い方です。
動画機能拡張「Mov2Mov」
Stable Diffusion Web UIで動画を作る機能拡張です。
インストール
以下よりURLからインストールします。
Scholar01/sd-webui-mov2mov: 适用于Automatic1111/stable-diffusion-webui 的 Mov2mov 插件。 (github.com)
インストールするとmov2movのタブができます。
使い方
動画を用意します。
今回は以下の無料素材を使用。動作の元データについては各自で著作権等はクリアにしましょう。テストであって、ネットに非公開であれば問題はないとは思います。
Dancing near the rocks - Free Stock Video Footage | Coverr
プロンプトを入れ、動画も指定。
「Resize mode」は「Just Resize」などに、
「 mode」は「MP4V」などに、
「Movie Frames（１秒当たりフレーム数）」は10ぐらいに。
終わったら「Generate」を実行します。
エラーが出たので「webui-user.bat」に
--disable-nan-check
をつけて再起動。
うちではこれで無事動画が作れました。
コントロールネット
Controlnetも使う場合、ない場合はインストール。
https://github.com/Mikubill/sd-webui-controlnet.git
次に「Settings＞ControlNet」で、Allow other script to control this extensionにチェックを入れ、Apply Settingsをクリックします
ControlNetをEnabledにし、Processor「lineart_realistic」, Model「control_v11p_sd15_lineart」など。
Control Weightは適宜。