指定角度で同一キャラを動かそう！画風変容はSAM3で自動検出・自動修正（QIE2511使用/VRAM16GB～）
こんばんは、スタジオ真榊です。今回は、急激な進化を続けているQwenImageシリーズで最大の収穫と言える「指定した画角から、キャラクターの一貫性を保持しながら別ポーズ・別表情を生成する」手法についての検証結果を特集します。今回の特集内容はローカル環境において、NanoBanana登場時と同じくらい大きなワークフローの革新につながる可能性があり、とてもワクワクしています！【冒頭2178字公開/全1万9923字】
まず、こちらの画像をご覧ください。左が入力画像で、右が生成結果です。左上のカメラ操作ノードで指定した「右後ろから見下ろし」の画角をきちんと守り、キャラクターや背景の一貫性も保ちながら、別ポーズの生成ができています。
もちろん、QwenImageEdit2511（以下QIE2511）で表情まで変更すると、多くの場合は顔立ちの一貫性を保つことができないことはよく知られています。こちらの例では、指定した画角から別ポーズを描くことができていますが、顔立ちはQIE2511らしい「マスピ顔」に変更されてしまっています。
これを今回、Meta社の最新セグメントモデル「SAM3」を使ったDetailerワークフローを作ることで解決しました。SDwebUIにおける「ADetailer」に近い仕組みですが、こちらは「face」「hand」「girl」などとユーザーがテキストで指示した部分を輪郭に沿って自動マスクし、普段のSDXLモデルや画風LoRAを適用して詳細部分を描き直すことができます。
このワークフローとQwenImageEdit2511による「同一キャラ・別アングル・別ポーズ」を組み合わせることで、このようにキャラクターと背景双方の一貫性を保ったまま、連続性のある別ポーズ・別表情を指定した画角で作ることができました。
気になる取り回しですが、VRAM16GB環境（RTX4080使用）で、前半の別カット推論が40秒弱（モデルロード時間込みで60秒）、SAM3を使った後半のDetailer処理は顔面だけなら15～30秒程度で可能です。今回もワークフローを配布しますので、適宜ご活用ください。
１．マルチアングルLoRAの「特性」
は、中国Alibabaの最新画像編集AI「QwenImageEdit2511」を使った「マルチアングルLoRA」によるワークフローの特集でした。ローカル環境（ComfyUI）を導入してQIE2511を動かし、カメラ操作ノードで指示した通り、入力画像を「別アングル」から見た様子を推論するーというものです。
この特集の中で、このような実験を行いました。画像生成プラットフォーム「」が開発したは、基本的にはトリガーワード<sks>と「front-right quarter view low-angle shot close-up」などの定型文指示で別アングルを生成するものですが、プロンプトの後ろに「天井を赤くして」などと指示を加えると、入力画像に映っていなかったオブジェクトを操作できたのです。
ただ、このような「追加プロンプト」を入れると、マルチアングルLoRAの純粋性が損なわれ、妙に天井が大きく映り込む画角になってしまったり、細部の正確性が落ちてしまったりする悪影響がありました。アングル変更は正確性が重要ですから、追加プロンプトによる指示は「おまけ程度に考えておいて、基本は空欄で運用するのがよい」と前回特集では紹介していました。
しかし、「赤い天井」の画像を見ていて、ふと疑問に思うことがありました。マルチアングルLoRAは入力画像の任意の画角を推論できるLoRAですが、つまりは入力画像の画風やキャラクターデザイン、背景やオブジェクトの位置関係といった一貫性を保ちつつ、一定の変化を加えるLoRAとも言い換えられます。つまり、追加学習した内容は「一貫性保持LoRA」としての性格が色濃いものなのではないでしょうか？
もしそうなら、単に画面を回転させるだけでなく、このLoRAでキャラクターや背景の一貫性を保ちながら「別カット」を作ることにも活用できるのではないかーと考えたわけです。「赤い天井」の実験では、入力画像に天井が映っていなかったから、色を変化させられたのだと考えていましたが、マルチアングルLoRAを適宜弱めて使えば、入力画像に映っているものをそのままに任意の変化を加えられるかもしれません。
２．アングル変更＋ポーズ変更実験
LoRAを使って画角を指定しつつ、追加プロンプトで画像の内容を任意に変更できるかどうか、次のような実験をしてみました。
＜サンプル＞
Want to publish your own Article?
Upgrade to Premium