ComfyUIでAnimate Diffの利用。
Animatie Diff、導入方法
セットアップ
「Animate Diff for ComfyUI」はこちら。
comfyui-animatediff-mainをCofyUIの「custome_nodes」へいれます。
GitHub - ArtVentureX/comfyui-animatediff: AnimateDiff for ComfyUI
またはcomfyui managerを入れて起動。
AnimateDiffをさがしてインストールを実行します。
モデル
以下を「comfyui-animatediff/models/」へ入れます。
AnimateDiff Motion Modules - v1.5 v2 | Stable Diffusion Motion | Civitai
mm_sd_v15_v2.ckpt · guoyww/animatediff at main
以下を「comfyui-animatediff/rola/」へ入れます。
guoyww/animatediff at main (huggingface.co)
使い方
lora.jsonを入手してConfuUIでLoadすれば、ワークフローができます。
シンプルなワークフローsimple.jsonはこちらから入手できます。
GitHub - ArtVentureX/comfyui-animatediff: AnimateDiff for ComfyUI
Queueで実行して生成されればインストールは問題なく行われていることになります。
comfyui-animatediff/workflows/lora.json at main · ArtVentureX/comfyui-animatediff · GitHub
画像サイズはこちらで指定しているようです。
こっちはパラメーター。
frame_numberが総数？
frame_rateがFPSっぽい。
応用
コントロールネットと組み合わせると、ポーズデータをもとに画像を生成できます。
【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ｜Baku (note.com)
不具合
エラー？
「When loading the graph, the following node types were not found: AnimateDiff Combine AnimateDiff Sampler AnimateDiff ModuleLoader」が出た場合ですが、一度全部アップデートしたら治りました。
Managerを入れてあれば、UpdateAllして再起動してみましょう。
「Prompt outputs failed validation CheckpointLoaderSimple: - Value not in list: ckpt_name: 」
v1-5-pruned-emaonly.ckptを以下より入手し、models\checkpoints\v1-5-pruned-emaonly.ckptへ。
v1-5-pruned-emaonly.ckpt · runwayml/stable-diffusion-v1-5 at main
「Prompt outputs failed validation VAELoader: - Required input is missing: vae_name」
vaeがないというエラーなので適当に？いれる。
ComfyUIの利用ガイドはこちら。
