見出し画像

実写×手描きアニメーションVFXの作り方|ChatGPT × Seedance 2.0

こんにちは!GENELです。

今回作ったのは、実写の部屋に手描きのアニメーションが飛び出してきて、そのまま部屋の中でアニメーションが遊んでいる、という実写×アニメーション動画です!

今回は、

  • この動画の作り方

  • 実際に使用したプロンプト

  • 別バージョンにアレンジできる量産型指示文

  • 雰囲気を変える指示文

をご紹介していきます!


いきなりプロンプトを書くと失敗する

この手の映像って、いきなりなんとなくでプロンプトを書き始めると、まず思い通りになりませんよね。

「実写の夜の遊園地で手書きアニメーションが融合&それをカメラは追う~」みたいなプロンプトで生成されたのがこちら👇🏻

画像

良いところもあるけど、手書きアニメーションっぽさがない部分もあり、ちょっと違うかも…って感じました👀

なので今回は、秒単位で細かく舞台設定を考え、プロンプトにしました。


まずは構成を4つに絞る

いきなり秒数を決める前に、15秒の中で何が起きるのかをざっくり決めます。ここで欲張ると必ず破綻するので、話の骨だけを4つに絞りました。

  1. 手からアニメーションが生まれる

  2. PCの画面の中に入る

  3. PCから飛び出して部屋を移動する

  4. モンスターに変わる

こんな感じで、「落書きが現実の部屋に侵食してくる」という、一本の流れですね。

画像

他にもやらせたいことは色々あったんですが、15秒だとまず入りません。ここは我慢どころです💦


秒数に割り振る

構成が決まったら、それを時間に落とし込みます。

0〜3秒:手から白い線が生まれ、黄色い星になってPCへ飛ぶ
3〜6秒:PC画面の中で赤い線→ハート→青い渦に変わり、外へ飛び出す
6〜10秒:蝶→ピンクの蛇→タコのモンスターに変形しながら部屋を移動
10〜13:秒冷蔵庫を開けるとハンバーガーのキャラ→モンスター化
13〜15秒:壁に巨大な目が現れ、まばたきして笑顔に変わる

前回のVFX記事でも書きましたが、時間で区切って順番に書くのが安定します。

ダラッと状況説明するより、区間ごとに分けたほうが指示が通りやすい印象です!


使ったツールは「ChatGPT」と「Seedance2.0」

ここまで決まったら、あとは動画にするだけです。
今回使ったのAIツールはこの2つだけでした。

①ChatGPT|ここまでの設計図をプロンプトに変換する
Seedance 2.0|そのプロンプトで動画化する

ポイントは、ChatGPTに「いい感じの動画を考えて」と丸投げしないことですね。

設計図を自分で持った状態で渡すと、ほぼそのまま形になります。
逆に丸投げすると、最初の遊園地みたいな当たり障りのないものが返ってきます。

ただ、決めたことをそのままChatGPTに投げると、情報がバラけた読みにくい文章が返ってきます。それをそのままSeedanceに渡しても、やっぱり安定しません。

なので、出力する順番まで指定しました。

①冒頭の1行(尺・アスペクト比・何と何を融合した映像か)
②実写空間の雰囲気と、スマホ撮影らしい質感
③秒ごとの動き(0〜3秒 / 3〜6秒 / 6〜10秒 / 10〜13秒 / 13〜15秒)
④最後にまとめて、手描きの質感・カメラの追従方法・禁止事項・環境音

実際にChatGPTへ渡した指示文がこちらです👇🏻

【ChatGPTへの指示文】
これから15秒の動画生成用プロンプトを作ります。
以下の設計図をもとに、動画生成AIへ渡すプロンプトに変換してください。
設計図
舞台:暖色の間接照明と小さなイルミネーションだけで照らされた、生活感のある暗い部屋
映像の種類:実写 × 手描きの発光アニメーション
起きること
0〜3秒:手から白い線が生まれ、黄色い星になってPCへ飛ぶ
3〜6秒:PC画面の中で赤い線→ハート→青い渦に変わり、外へ飛び出す
6〜10秒:蝶→ピンクの蛇→タコのモンスターに変形しながら部屋を移動
10〜13秒:冷蔵庫を開けるとハンバーガーのキャラ→モンスター化
13〜15秒:壁に巨大な目が現れ、まばたきして笑顔に変わる
書き方のルール
・形が変わるときは「消えて次が出る」ではなく「崩れながら次の形へ変形する」と書く
・各区間の最後に、必ずカメラの動きを書く。アニメーションが先に動き、カメラが遅れて追う
・カットを切り替えず、同じ空間の中を歩いて追いかけている連続性を保つ
・実写側は、スマホの片手撮影。手ブレ、暗所ノイズ、ピントの迷い、オート露出の揺れを残す
・手描きアニメは、クレヨン、チョーク、色鉛筆、粗いブラシの質感。線が毎フレーム揺れ、塗りムラと毛羽立ちがある 
出力の順番
1.「15秒、16:9の横動画。実写の〇〇と、手描きの発光アニメーションを融合した映像。」の1行
2. 実写空間の雰囲気と、スマホ撮影らしい質感
3. 0〜3秒 / 3〜6秒 / 6〜10秒 / 10〜13秒 / 13〜15秒 の各区間
4. 最後にまとめて、手描きアニメの質感、カメラの追従方法、禁止事項、環境音
プロンプト内に必ず含める禁止事項
精密すぎる3DCG、滑らかすぎるベクター線、ネオンチューブのような表現、
完全に安定したジンバル撮影、映画的すぎる照明、広告写真のような整った構図、
字幕、ロゴ、BGM
見出しや解説は不要です。プロンプト本文だけを出力してください。
画像

これで出来たプロンプトがこちらです👇🏻

15秒、16:9の横動画。実写の暗い室内と、手描きの発光アニメーションを融合した映像。
暖色の間接照明と小さなイルミネーションライトだけで照らされた、少し散らかった生活感のある部屋。スマートフォンで片手撮影したような強めの手ブレ、わずかなピントの迷い、暗所ノイズ、オート露出の揺れ。広告映像のように整えず、個人が自室で偶然撮影したようなリアルな質感。
0〜3秒:
画面左に持ち上げられた実写の手。指先から白い手描きの線が生まれ、実写の手にまとわりつきながら、もう一つの白い手の形になる。線はクレヨンやチョークで描いたように毛羽立ち、フレームごとに細かく揺れる。白い手は崩れながら黄色い小さな星へ変形し、尾を引いて画面右下のノートPCへ飛んでいく。カメラは少し遅れて星を追い、急激に右下へパンする。
3〜6秒:
黄色い星がノートPCの画面へ入り込む。PC画面上で赤い手描き線が激しく走り書きされ、その線が一瞬で赤いハートへ変形する。ハートは震えながら青い渦へ変わり、PC画面の外へ勢いよく飛び出す。青い線は液体と炎の中間のように伸び、カメラはそれを追って上方向へ素早くチルトする。急なカメラ移動による自然なモーションブラー。
6〜10秒:
青い渦が壁の上で水色の蝶へ変わり、部屋の奥へ飛んでいく。カメラは歩きながら蝶を追う。蝶はピンク色の蛇のような線へ変形し、壁、扉、床を這いながら進む。扉の中央でピンクの線が渦を巻き、小さなタコのような手描きモンスターへ変身する。モンスターは一瞬こちらを見て、すぐに冷蔵庫の方向へ逃げる。カメラも慌てて追いかける。
10〜13秒:
冷蔵庫の扉に黄色い手描きの光線と矢印が現れ、扉が勢いよく開く。青白い冷蔵庫の内部に、目と細い手足のついた可愛いハンバーガーのキャラクターがいる。次の瞬間、ハンバーガーの口が大きく裂け、赤い口内と三角形の牙を持つコミカルなモンスターへ変形する。撮影者が驚いたようにカメラが大きく揺れ、冷蔵庫の扉を急いで閉める。
13〜15秒:
カメラが後ろへ下がりながら部屋全体を映す。壁の上部に白い巨大な目の輪郭が描かれ、内部に鮮やかな青い瞳が現れる。目が一度ゆっくりまばたきした直後、ピンクと白の巨大な笑顔と大量の三角形の歯へ変形する。カメラが驚いて傾き、画面が暗くなって終了。
手描きアニメーションは、滑らかすぎるCGではなく、1フレームずつ描き直したようなラフなフレームアニメーション。線の太さ、輪郭、塗りが常に微妙に揺れ、クレヨン、チョーク、色鉛筆、粗いブラシの質感が残っている。白、黄色、水色、ピンク、オレンジを中心とした鮮やかな発光色。アニメーションの周囲には弱いグローがあるが、実写空間を強く照らしすぎない。
カメラは常にアニメーションの少し後を追う。アニメーションが先に画面外へ移動し、その方向へ手持ちカメラが遅れてパン、チルト、前進する。完全に安定したジンバル撮影は禁止。精密すぎる3DCG、滑らかすぎるベクター線、映画的すぎる照明、過度な被写界深度、広告写真のような整った構図、字幕、ロゴ、BGMは使用しない。室内音、衣擦れ、足音、PCの小さな動作音、冷蔵庫の開閉音、手描き生物の軽い電子音とコミカルな鳴き声のみ。
画像


あとはこのプロンプトを、動画生成AI「Seedance2.0」で『テキストから動画化』します!

Seedance2.0についてはこちらのnoteを参考にしてみてください◎


Seedance2.0が使えるサイトは色々ありますが、GENELが普段使用するのはこのあたりです。

Pollo AI
Lovart AI
TopView


あとはできたプロンプトをコピペして、生成時間を15秒に設定し、動画生成するとこんな感じになります!

めちゃくちゃいい感じになりました!
BGMはSUNOで生成したBGMを後付けしています◎


別バージョンにアレンジする方法

ここからが今回一番おすすめしたい部分です💡

「GENELと全く同じ動画は作れるようになったけど、別の動画を作りたいときはどうすればいいの?」

って思いますよね👀

プロンプトの中身を見ると、今回のプロンプトで効いていたのはこの5つ👇🏻

①冒頭で、実写の手と手描きアニメが接触する
②ひとつの存在が、変形し続ける
③カメラが、遅れて追う
④同じ空間の中で完結する
⑤最後に、空間全体が異変を起こす

逆に言うと、この5つさえ守れば中身は無限にアレンジ可能✨
遊園地でも、水族館でも、深夜のコンビニでも成立します。

画像
ゲームセンターバージョン


ということで、これを絶対条件として書いた「量産用の指示文」を用意しました!!


さっきのプロンプトと一緒にChatGPTへ渡すだけで、新しい舞台・キャラ・オチの案が量産できます◎

画像


実際に、量産用の指示文で作成したプロンプトで生成した動画がこんな感じ👇🏻


こんな感じの実写×手書きアニメーションVFX動画が量産できるプロンプトがこちら👇🏻

ここから先は

6,796字 / 3画像

GENELは、AIを用いた動画制作で誰かがつまづいたときに、 「課題を乗り越えて、作りたかったものが…

381名が参加中
PayPayで支払うと抽選で全額還元チャンス!7/31まで

クリエイタープラン(最新月)

¥880 / 月

クリエイターLab(全期間)

¥3,980 / 月
人数制限あり

この記事が気に入ったらチップで応援してみませんか?

ピックアップされています

よくみるあの動画の作り方徹底解説

  • 33本

購入者のコメント

コメントするには、 ログイン または 会員登録 をお願いします。
AI動画の企業研修や、解説動画・CMなどの制作を企業向けに行っています。 「一緒に手を動かして学べる」動画生成AIのお話を📒 初心者・上級者問わず「読みながら自分も作れるように」なれる記事を心がけています。 ----- 実用的・実務で使えるAI×クリエイティブを追求し続けます🖊
実写×手描きアニメーションVFXの作り方|ChatGPT × Seedance 2.0|GENEL | AIを用いた動画制作解説
word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word

mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1