AIで動画の動きを画像のキャラクターに転写する方法

鮮明なキャラクター画像

被写体が分かりやすく、体の輪郭がはっきりした画像を選びましょう。手を振る例なら、顔だけのアップより、頭、胴体、腕、手が写った画像のほうが、必要な情報を多く提供できます。

全身のダンスには、全身が写ったキャラクター画像を使います。そうしないと、モデルが見えていない脚、靴、衣装を補って生成する必要があります。背景もシンプルにして、被写体を見分けやすくしましょう。

適切な動作の参照動画

まずは、はっきり見える一人の演者が、分かりやすい動作を一つ行う動画を選びます。例えば、カットを切り替えずに、手を上げて振り、下ろす様子を撮影します。手が画面からはみ出さないよう、演者の周囲に余白を残しましょう。

アップロード前に無関係な部分をカットします。複数人が登場したり、頻繁にカットが切り替わったり、主役の前を人が横切ったりすると、再現したい動きが伝わりにくくなります。

構図と向きを合わせる

生成前に二つの素材を見比べましょう。正面向きのキャラクター画像と正面で手を振る動画は、座った人物の画像と全身で回転する動画より組み合わせやすい素材です。写っている体の範囲をそろえると、見えていない部分を補う量も減らせます。

使用する権利のあるキャラクター画像と参照動画を用意してください。短い動作を自分で撮影すれば、動きと構図を調整しやすくなります。

ステップ1：LitVideo Genjutsuを開く

まず、LitVideo Genjutsuのページを開き、モーション転写のタブを選びます。この例では、手を振る参照動画とイラストキャラクターの画像を用意します。

ページで参照素材を追加してから、生成ワークスペースに進めます。アップロード欄のそばに表示されている素材の条件に従ってください。

ステップ2：参照動画をアップロードする

キャラクターに再現させたい動きが入った動画を追加します。この例では、演者がカメラに向かって簡単に手を振ります。尺を長くするために無関係な動きを加える必要はありません。

アップロード前に一度再生し、手が常に見えているか、動作の途中で別のカットに切り替わっていないかを確認しましょう。

ステップ3：キャラクターの参照画像を追加する

新しい動画に登場させたいキャラクターの画像をアップロードします。衣装、顔、手振りに必要な腕がはっきり分かる画像を選びましょう。

適切な画像がまだない場合は、テキストから画像生成ツールで作成できます。「正面を向き、両腕が見えるオリジナルキャラクター」など、動作に合う構図を指定しましょう。

ステップ4：作りたい結果を説明する

キャラクター画像と動作を結び付ける、要点を絞ったプロンプトを書きます。再現したい動作と重要な外見の要素を説明し、無関係な場面変更をいくつも加えないようにします。

衣装や外見の指定は、自分の画像に合わせて変更してください。このプロンプトは出発点となる例で、検証済みの効果を保証するものではありません。演者が踊っているのにキャラクターには座ったままでいるよう指示するなど、参照動画と矛盾する要求は避けましょう。

ステップ5：生成して確認する

作成ボタンから、参照素材を引き継いだ状態でGenjutsuワークスペースに進みます。利用できる生成設定を確認し、タスクを送信します。

結果と元の動作を比べましょう。腕が上がるタイミングは近いでしょうか。手振りは分かりやすいでしょうか。キャラクターの特徴は残っているでしょうか。変更点を決める前に、冒頭、最も動きの大きい瞬間、最後を確認します。

うまくいかない部分があれば、調整すべき素材を見極めます。手が切れていれば構図、手振りが分かりにくければ参照動作の複雑さが原因かもしれません。一つに絞って調整し、別のバージョンを生成しましょう。

シンプルで分かりやすい動きから始める

最初のテストには、手振りや短い歩行が向いています。キャラクターの生成結果を把握してから、複雑な動作を試しましょう。素早い回転や手足の重なりは、確認が必要な難しい場面を増やします。

画像を動作に合わせる

画像の切り取り方だけでなく、体の比率も考慮します。手足がとても短いキャラクターや特殊な体形に人間のダンスを適用するには、試行錯誤が必要な場合があります。まずは、その体の構造に合う動作を選びましょう。

被写体を見えやすくする

演者と背景を見分けやすい映像を選びましょう。家具で脚が隠れていたり、手が何度も頭の後ろに回ったりする場合は、別の角度や、より分かりやすい動作を試します。

一度に変更する素材は一つにする

キャラクター画像を比較するときは参照動画を固定し、シンプルな動画を試すときは画像を固定します。画像、プロンプト、動画を同時に変えると、どの調整が有効だったか分かりにくくなります。

AI生成のキャラクターに動画の動きを転写できますか？

はい。キャラクター画像を、モーション転写の外見の参照として使えます。鮮明な画像を使い、キャラクターの体の比率に合う動作を選んでください。

イラストやアニメ風の画像も使えますか？

イラストキャラクターも参照に使えますが、結果はデザイン、動作、モデルによって異なります。まずは簡単な動作で試し、元のビジュアルスタイルが分かるか確認しましょう。

全身画像は必要ですか？

参照動画が全身の動作なら、全身画像を使いましょう。上半身のジェスチャーなら、顔のアップより、必要な腕、手、胴体が写った画像が適しています。

参照動画とまったく同じ結果になりますか？

完全な一致は保証されません。参照動画は動きをガイドしますが、出力は生成されたフレームで構成されます。タイミング、体の形、顔の特徴、周囲の様子が変わる場合があります。

モーション転写とキャラクター置換の違いは何ですか？

モーション転写は、参照の動作を使って対象の被写体を動かすことに重点を置きます。AIキャラクター置換は、既存の場面に誰が登場するかを変えることに重点を置きます。両者の手順が重なる場合もありますが、背景などがどの程度維持・再構成されるかはツールと設定によって異なります。

モーションキャプチャ機材やリグ付き3Dモデルは必要ですか？

この記事で紹介したLitVideoの手順では、動画、キャラクターの参照画像、プロンプトを用意します。リグを設定した3Dキャラクターや、モーションキャプチャスーツは必要ありません。