【生成AI】DiffSynth Studioを触ってみた

はじめに

最近、生成AIが流行っていますね。画像生成AIはStable Diffusion、Midjourney、DALL-E 2など、どれも高性能なものばかりです。

しかし、動画生成AIとなるとまだまだ発展途上であり、使い方が難しいものも多いです。

そんな中、GitHubで公開されているDiffSynth Studioという動画生成AIのプロジェクトを見つけたので、今回は実際に触ってみた感想などを書いていこうと思います。

DiffSynth Studioとは？

DiffSynth Studioは、Stable Diffusionをベースとした動画生成AIのフレームワークです。

ControlNetやAnimateDiffなどの拡張機能にも対応しており、様々な動画を生成することができます。

また、Stable Video Diffusion、HunyuanDiT、RIFE、IP-Adapterなどのモデルにも対応しており、高品質な動画を生成することができます。

インストール

インストールはpipで簡単に行うことができます。

pip install git+https://github.com/modelscope/DiffSynth-Studio.git

使い方

1. モデルのダウンロード

まず、必要なモデルをダウンロードします。

今回は、Stable Diffusion v1.5、AnimateDiff v2、ControlNet (lineart, tile) を使用します。

from diffsynth import ModelManager, SDVideoPipeline, ControlNetConfigUnit, download_models
import torch


# Download models (automatically)
# `models/stable_diffusion/aingdiffusion_v12.safetensors`: [link](https://civitai.com/api/download/models/229575)
# `models/AnimateDiff/mm_sd_v15_v2.ckpt`: [link](https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt)
# `models/ControlNet/control_v11p_sd15_lineart.pth`: [link](https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_lineart.pth)
# `models/ControlNet/control_v11f1e_sd15_tile.pth`: [link](https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1e_sd15_tile.pth)
# `models/Annotators/sk_model.pth`: [link](https://huggingface.co/lllyasviel/Annotators/resolve/main/sk_model.pth)
# `models/Annotators/sk_model2.pth`: [link](https://huggingface.co/lllyasviel/Annotators/resolve/main/sk_model2.pth)
download_models([
    "AingDiffusion_v12",
    "AnimateDiff_v2",
    "ControlNet_v11p_sd15_lineart",
    "ControlNet_v11f1e_sd15_tile",
])

2. モデルの読み込み

次に、ダウンロードしたモデルを読み込みます。

# Load models
model_manager = ModelManager(torch_dtype=torch.float16, device="cuda")
model_manager.load_models([
    "models/stable_diffusion/aingdiffusion_v12.safetensors",
    "models/AnimateDiff/mm_sd_v15_v2.ckpt",
    "models/ControlNet/control_v11p_sd15_lineart.pth",
    "models/ControlNet/control_v11f1e_sd15_tile.pth",
])

3. パイプラインの作成

モデルを読み込んだら、パイプラインを作成します。

パイプラインは、モデルを実行するための手順を定義したものです。

pipe = SDVideoPipeline.from_model_manager(
    model_manager,
    [
        ControlNetConfigUnit(
            processor_id="lineart",
            model_path="models/ControlNet/control_v11p_sd15_lineart.pth",
            scale=0.5
        ),
        ControlNetConfigUnit(
            processor_id="tile",
            model_path="models/ControlNet/control_v11f1e_sd15_tile.pth",
            scale=0.5
        )
    ]
)

4. 動画の生成

パイプラインを作成したら、動画を生成します。

# Load video (we only use 60 frames for quick testing)
# The original video is here: https://www.bilibili.com/video/BV19w411A7YJ/
video = VideoData(
    video_file="data/examples/bilibili/BV19w411A7YJ.mp4",
    height=1024, width=1024)
input_video =  for i in range(40*60, 41*60)]

# Toon shading (20G VRAM)
torch.manual_seed(0)
output_video = pipe(
    prompt="best quality, perfect anime illustration, light, a girl is dancing, smile, solo",
    negative_prompt="verybadimagenegative_v1.3",
    cfg_scale=3, clip_skip=2,
    controlnet_frames=input_video, num_frames=len(input_video),
    num_inference_steps=10, height=1024, width=1024,
    animatediff_batch_size=32, animatediff_stride=16,
    vram_limit_level=0,
)

5. 動画の保存

最後に、生成した動画を保存します。

# Save video
save_video(output_video, "output_video.mp4", fps=60)

感想

今回は、DiffSynth Studioを使って動画を生成してみました。

Stable Diffusionをベースにしているため、高品質な動画を生成することができました。

また、ControlNetやAnimateDiffなどの拡張機能も使用することができ、動画生成の可能性が広がりました。

今後、動画生成AIがどのように発展していくのか、非常に楽しみです。