はいどうもこんにちわのぶっちです。しぐれうい様の『ロリ神レクイエム』が流行ってますよね。ちびキャラがダンスしている動画をステーブルディフュージョンで再現できないか試みてみてました。
『ロリ神レクイエム』AIダンス動画を作る方法
まず必要なものロリ神BB素材とebsyntは７ｚ 先にダウンロードしてね。
①FFmpeg
②Temporal Kitでキーフレーム抽出
③生成された膨大な画像を動画に合成するebsynth
FFmpegのインストールと環境設定
FFmpeg（エフエフエムペグ）とは動画と音声を記録・変換・再生するためのフリーソフトウェアであるらしいです。こちらは僕の動画で環境設定の仕方は解説していますが、調べるなりしてもらえると幸いです。
こちらの記事で書いてるので分からない方は↓
https://github.com/CiaraStrawberry/TemporalKit.git
Stable DiffusionとTemporalKitの導入とキーフレームの抽出
TemporalKitは、アニメーションのキーフレムを抽出に使用されるツールです。これを導入すると
ステーブルディフュージョンの拡張機能の追加は下のURLからを貼り付けてinstallしてね。
https://github.com/CiaraStrawberry/TemporalKit.git
TemporalKitの使い方
TemporalKitのPre-Processingでは、元動画のキーフレームを抽出する作業になります。
Sidsは、1に設定して、fpsは30秒間に対して５に設定しています。１２秒で０から４つのフォルダーが生成されます。
targetfolderに作成したフォルダーのパスをコピーしてはりつけます。
batch RunとSpirit Videoにチェックを入れてRunを押すとフォルダーが作成されimportに元動画のキーフレームを抽出してくれます。
i2iでテスト画像の生成
i2iでimportに抽出された画像を１枚ドロップしてお好みのモデルやプロンプトで５～１０枚ぐらいテスト生成をします。お気に入りの画像がでたら、seed値を固定して、ドロップしたした画像は削除します。
Denoising strengthは0.75がおすすめです。
コントロールネットを活用するとより良い結果がでるので、デプスやtile,オープンポーズをしようしてね。
i2iでbatch処理
i2iのbatch処理では、inportの画像をoutputに先ほど設定したモデルやプロンプトで新たにトーレス一括生成してくれます。
import directoryに作ったフォルダーのimportのパスをはりつけoutput directoryにoutputのパスをしていしてジェネレイトをクリックすると生成がはじまります。
生成されたマスク画像や棒人間はすべて削除します。
TemporalKitのebsynth process
ebsynth processでは、ebsynthに必要なframeとkeyフォルダーに画像の生成をしてくれ更に再結合して動画をつくってくれる作業になります。
importフォルダには、作るったフォルダーのパスをはりつけます。lead last settingsをクリックすると動画がでてきます。
Maxframeは、１秒間に３０フレームなので、１２秒の動画×３０フレーム360になりますが、それより少し上の数値を設定してください。
FPSやbatchサイズは最初に設定した数値になります。
per sideは、１にしないと２に指定した場合、二つのプレートができます。
outputはサイズ調整でパソコンスペックと相談しながら調整してください。512ぐらいでやってるひとがおおいです。
設定が完了したら、prepare ebsynthをクリックします。
設定が完了したらperpare ebsynthをクリックすると、先ほど作れた数字のframeとkeyに画像が生成されます。
EbSynth-Betaを立ち上げてkeyframeにはkeyフォルダーを,videoにはframeフォルダーをドロップします。
この作業を出来た数字のフォルダーすべて行います。
最後にrecombine ebsynthをクリックすると再結合され動画が完成します。
いかがだったでしょうか？バージョンや設定でキーフレームが生成されない不具合もあるので、その時は動画編集で画像を繋げてみましょう！
こちらもおすすめです。
