クリエイターの教科書

ChatGPT, Stable Diffusion、Python, Visual Studio、Excelなどいろんな教科書

【ハギングフェイスの教科書】damo-vilabを使った「文字から動画」の生成

ハギングフェイスにあるdamo-vilabを使った動画生成の方法です。

damo-vilabを使った「文字から動画」

damo-vilabnの「テキストーTo-ビデオ」が公開されており、文字から動画生成が利用できます。

damo-vilab/text-to-video-ms-1.7b · Hugging Face

 

 

GoogleColabでも、プレミアムにしてGPUが利用可能なら使えます。

Google Colabの使い方はこちら。

www.kyoukasho.net

 

 

ここでは、GoogleColabで生成してみましょう。

まずライブラリをインストール

!pip install git+https://github.com/huggingface/diffusers transformers accelerate

 

つづいて文字からビデオ生成。

ハギングフェイスのサンプルコードがそのまま使えます。

プロンプトは適宜変更しましょう。

import torch
from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
from diffusers.utils import export_to_video

pipe = DiffusionPipeline.from_pretrained("damo-vilab/text-to-video-ms-1.7b", torch_dtype=torch.float16, variant="fp16")
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()

prompt = "Spiderman is surfing"
video_frames = pipe(prompt, num_inference_steps=25).frames
video_path = export_to_video(video_frames)

 

終了したらtmpに動画ができています。

 

できた動画はこちら。

www.youtube.com

このブログは、ネットや書籍上の情報、個人の体験や感想を中心にまとめたものです。 正確性を期していはいますが、間違い・誤訳等あるかもしれません。 当サイトの情報によって生じたいかなる損失について一切の責任を負わないものとします. あらかじめご了承ください。

プライバシーポリシー |〇利用規約 |〇問い合わせ