AIで稼ぐ教科書

ChatGPT, Stable Diffusion, Visual Studio, Excelなど教科書

【Comfy UI】カスタムノード「Animate Diff」導入方法・メリット・使い方 エラーの場合は?

ComfyUIでアニメーションをAI生成してくれるカスタムノード「Animate Diff」の利用についてまとめておきます。

Animatie Diffのセットアップ

カスタムノードを入れる

「Animate Diff for ComfyUI」はこちら。

 

comfyui-animatediff-mainをCofyUIの「custome_nodes」へいれます。

GitHub - ArtVentureX/comfyui-animatediff: AnimateDiff for ComfyUI

 

またはcomfyui managerを入れて起動。

 

「AnimateDiff」をさがしてインストールを実行します。「AnimateDiff Evolved」など似たようなのがいくつか出ますが、とりあえずはシンプルな「AnimateDiff」を試してみましょう。

 

 

必要なモデルデータを入れる

以下を「comfyui-animatediff/models/」へ入れます。

AnimateDiff Motion Modules - v1.5 v2 | Stable Diffusion Motion | Civitai

mm_sd_v15_v2.ckpt · guoyww/animatediff at main

 

以下を「comfyui-animatediff/rola/」へ入れます。

guoyww/animatediff at main (huggingface.co)

 

 

アニメーションの生成

アニメーションの出力

lora.jsonを入手してConfuUIでLoadすれば、ワークフローができます。

 

シンプルなワークフローsimple.jsonはこちらから入手できます。

GitHub - ArtVentureX/comfyui-animatediff: AnimateDiff for ComfyUI

(JSON:

comfyui-animatediff/workflows/simple.json at main · ArtVentureX/comfyui-animatediff · GitHub)

 

 

このJSONでの利用モデルは以下。代替があれば別のでもよい。

Vae:klF8Anime2.ckpt(models\vaeにいれる)

vae/kl-f8-anime2.ckpt · hakurei/waifu-diffusion-v1-4 at main (huggingface.co)

checkpoint:Animelike25d_v11.safetensors(models\checkpointsにいれる)

animelike25D_animelike25DV11Pruned.safetensors · stb/animelike2d at main (huggingface.co)

 

Animediff loader:mm-Stabilized_mid.pth(custom_nodes\comfyui-animatediff\modelsに入れる)

mm-Stabilized_mid.pth · manshoety/AD_Stabilized_Motion at main (huggingface.co)

 

 

「Queue」で実行して生成されればインストールは問題なく行われていることになります。

comfyui-animatediff/workflows/lora.json at main · ArtVentureX/comfyui-animatediff · GitHub

 

画像サイズはこちらで指定しているようです。

 

こっちはパラメーター。

frame_numberが総数?

 

frame_rateがFPSっぽい。

 

アニメーションで作られたファイルは、初期状態では「ComfyUI/output」内に作られます。

 

 

 

ポーズと組み合わせるには?

コントロールネットと組み合わせると、ポーズデータをもとに画像を生成できます。

【AIアニメ】ComfyUIとControlNetでAnimateDiffを楽しむ|Baku (note.com)

 

 

 

SDXLでAnimate Diffを使う

SDXLでAnimate Diffを使うワークフローがCivitaiに公開されています。SDXLとは、より高解像度の画像を生成するフォーマットです。

 

「ipiv's SDXL Lightning -> SparseCtrl -> SD1.5 AnimateDiff LCM」

ipiv's SDXL Lightning -> SparseCtrl -> SD1.5 AnimateDiff LCM - v1.0 | Stable Diffusion Workflows | Civitai

 

ワークフローをドロップすると、いろんなカスタムノードが足りませんでした。

 

ざっと

ADE_LoadAnimateDiffModel
ADE_ApplyAnimateDiffModelSimple
ACN_SparseCtrlLoaderAdvanced
ADE_AnimateDiffSamplingSettings
ADE_LoopedUniformContextOptions
ADE_UseEvolvedSampling
ACN_SparseCtrlRGBPreprocessor
ACN_SparseCtrlSpreadMethodNode
KSampler (Efficient)
ImageSelector
RIFE VFI
Efficient Loader

ACN_AdvancedControlNetApply
VHS_VideoCombine(VideoHelperSuite)

など。

 

これらは機能拡張で、見つからなかったカスタムノードのインストールを実行すると解決できます。

 

それでもうちでは、

・KSampler (Efficient)
・Efficient Loader

が見つからないというエラーになりました。

 

対策ですが、efficiency-nodes-comfyui(LucianoCirino/efficiency-nodes-comfyui: A collection of ComfyUI custom nodes. ⚠️ WARNING: This repo is no longer maintained. (github.com))を、以下のフォークされたバージョンのURLからのインストールにし直したところエラーは治りました。

jags111/efficiency-nodes-comfyui: A collection of ComfyUI custom nodes.- Awesome smart way to work with nodes! (github.com)

 

ワークフローが動くようになったら、カスタマイズしてみましょう。プロンプトはここで記述変更できます。



オリジナル文章は、

A beautiful gen z Viking woman with long flowing black hair and braids with feathers. Blue eyes, smaller upper lip, European features. Has a fierce look on her face, looking off into the distance. There is a crow flying around her

 

 

動画の長さ(分数)は多分こちらの...

 

...Batch_sizeで変更できそうです。初期設定では秒8フレなので8の数値で1秒の長さが生成されることになります。

 

あるといいかもしれないファイル

・animatedifv3_sd15_sparsectrl_rgb.ckpt (ComfyUI/models/controlnet/内に)

v3_sd15_sparsectrl_rgb.ckpt · guoyww/animatediff at main

 

・ip-adapter_sd15.bin(comfyUI/models/ipadapter/内に)

h94/IP-Adapter at main (huggingface.co)

 

・CLIP-ViT-H-14-laion2B-s32B-b79K(comfyUI/models/clipvision/内に)

https://huggingface.co/h94/IP-Adapter/resolve/main/models/image_encoder/model.safetensors

 

 

「IPAdapterApply」がみつからない

上記ワークフローの1つを使っていると、このようなエラーに。

そこで「node」で「IPAdapter Advanced」というのを設置して置き換えます。

 

 

 

不具合

エラー?

「When loading the graph, the following node types were not found: AnimateDiff Combine AnimateDiff Sampler AnimateDiff ModuleLoader」

一度全部アップデートしたら治りました。

 

Managerを入れてあれば、UpdateAllして再起動してみましょう。

 

「Prompt outputs failed validation CheckpointLoaderSimple: - Value not in list: ckpt_name: 」

v1-5-pruned-emaonly.ckptを以下より入手し、models\checkpoints\v1-5-pruned-emaonly.ckptへ。

v1-5-pruned-emaonly.ckpt · runwayml/stable-diffusion-v1-5 at main

 

 

「Prompt outputs failed validation VAELoader: - Required input is missing: vae_name」

vaeがないというエラーなので適当に?いれる。

ComfyUIでSDXLを試してみる (zenn.dev)

 

 

 

画像が汚い場合は?

モデルとの相性があるようです。

 

simple.jsonにあるファイルに近い設定にするには以下のモデルを入手して指定します。

 

「kl-f8-anime2.ckpt」を以下より入手し、「comfy/models/vae」にいれます。

ワークフローではvaeでこのファイルを指定。

vae/kl-f8-anime2.ckpt · hakurei/waifu-diffusion-v1-4 at main (huggingface.co)

 

「animelike25D_animelike25DV11Pruned.safetensors」を以下より入手し「comfy/models/checkpoints」にいれます。

ワークフローではCheckpointsでこのファイルを指定。

animelike25D_animelike25DV11Pruned.safetensors · stb/animelike2d at main (huggingface.co)

 

これらのファイルを指定して画像生成をすると以下のようなクォリテイとなります。

 

 

 

 

 

ComfyUIの利用ガイドはこちら。

www.kyoukasho.net

このブログは、ネットや書籍上の情報、個人の体験や感想を中心にまとめたものです。 正確性を期していはいますが、間違い・誤訳等あるかもしれません。 当サイトの情報によって生じたいかなる損失について一切の責任を負わないものとします. あらかじめご了承ください。

プライバシーポリシー |〇利用規約 |〇問い合わせ