日々の壁打ち：“画風”はタグだけでは語れない──LoRAが拾い上げる人の選抜眼
コードの差分分析みたいな手法で、画像生成AIのワークフローの影響を「差分」として捉えられないか？──そんな発想から、実験をしてみた。
今回用意したComfyUIのワークフローは、完成画像に記録されているメタデータから生成条件を抜き出し、とくにポジティブプロンプトの影響を分析できるように設計してある。
各画像の前提
この1枚目が、完成された画像そのものだとしよう。
2枚目は、1枚目の視覚的な特徴をもとに、WD14 Taggerで推定されたタグ群をポジティブプロンプトとして再生成したもの。その他の生成条件──使用モデル、CFG、ステップ数、スケジューラなど──は、すべて1枚目と合わせてある。構図は異なるが、キャラ自体の方向性は保たれている。しかし、全体にあっさりとした印象があり、典型的な“AIっぽさ”が浮き出てしまっている。
3枚目は、1枚目に埋め込まれていた実際の生成プロンプトをそのまま流し、それ以外の条件を同様に揃えて出力したもの。1枚目の画像を生成しているプロンプトは、ネガティブプロンプトも含めて、与えられた画題に対して、複数のLLMがコンサートすることで、最終的なプロンプトを作り上げている。ちょっと人間に真似ができるようなプロンプトの内容ではないが、それをそのまま引いてくることで、LLMが作り出したプロンプトが、バニラに近い生成環境でどれほど再現性をもっているのか、チェックしていることになる。
その結果だが、2枚目よりははるかに1枚目に似てきているが、同じものではない。つまり、①と③の差はプロンプト以外のワークフローの違い、特に普段からワークフローに、アクティベートはしない状態で緩めに当ててあるLoRAがあるかどうかによって生じているということになる。
なお全体のワークフロー自体は、生成画像の再現性を保つことができるように設計されているので、1枚目の画像を高解像度生成することは可能だ。
画像設計段階と画像仕上げ段階を分けることで、下のように、元の画風を活かしながら、よりスタイライズに仕上げることもできる。
ここから、いくつかのことが読み取れる。
◆①と③の差分：プロンプト外に潜む「画風の残響」
注目すべきは、①と③で同じプロンプトを用いているにも関わらず、微妙に雰囲気や描写が異なる点。この差は、LoRAやチェックポイントの訓練履歴など、プロンプト以外の“画風要因”によって生じている可能性が高い。
特に重要なのが、UNET層に適用されたLoRAが明示的にアクティブでなくても、その学習時に使われた画像群の特徴が、チェックポイントを通じて生成に影響しているという点。これはつまり、LoRAというのは単なる追加学習モデルではなく、
「その画像を選抜した人間の感性を、圧縮してカプセル化したもの」
と捉えるべきだということだ。
このLoRAが関与したチェックポイントは、たとえマージされていなくても、“誰がどんな目で選んだか”という審美的な基準が、学習対象画像の構成を通じて反映されている。その結果として、スタイルや描写のニュアンスがLoRA経由で継承されるわけだ。
◆①と②の差分：プロンプトに現れない「感性の余白」
一方、①と②の差分では、より根本的な問いが浮かび上がる。
②は、WD14 Taggerが出力した視覚タグをもとにして生成したものだ。つまり、画像から得られる“記述的な情報”は事後的に盛り込まれているはずなのに、それでも①と同じ雰囲気は出せていない。
ここに、視覚タグだけではプロンプトに落とし込めない感性──視覚的文脈や演出意図のようなものが確かに存在していることが見えてくる。
そしてこの“差”こそが、LoRAが学習によって回収しうる対象だと言える。つまり、LoRAとは、
「タグでは語れない視覚的・感性的な余白」を、AIが理解可能な構造へと翻訳する装置
なのだ。
全体を通したまとめ
①と③の差は、LoRAやチェックポイントが持つ「画風因子」によって生まれた差分。これは、LoRAがプロンプト外のスタイル制御因子として機能していることを示している。
①と②の差は、プロンプトでは表現しきれない“感性的特徴”が存在することを示唆しており、それがLoRAの学習によって補完される。
このように考えると、LoRAは単なるスタイル変換ツールではない。むしろ、
「その画像を選んだ人間の審美眼や価値判断を封じ込めた、感性のカプセル」
としての側面がある。
AIが描く“スタイル”とは、画像データだけでなく、それを選び取り学習素材とした人間の判断基準そのものが反映されたもの──そう言って差し支えないだろう。
こうしてみると、LoRAの設計や使い方次第で、チェックポイント自体の表現力を“押し上げる”ことが可能になる。
生成AIの追加学習やプロンプト工学を考えていくうえでも、これはかなり面白く、深掘りしがいのある領域だ。
おまけ：ネガティブプロンプトをLLMが作る意味
今回の実験中にちょっと興味深い経験をした。
検証用のワークフローでは、ポジティブプロンプトは空のまま、ネガティブプロンプトのみでの画像生成ができる。
それで、こんな絵が生成された。
プロンプト的な解釈としては、「見たくない要素のみを指定し、見たい要素はなんでもよい」という生成条件となる（はずだ）。
結構見ることができるのだ。通常、ネガティブプロンプトになにかを入れているだけでは、まともな絵にはならないものなのだが…。
ポジティブプロンプトを元に、最適なネガティブプロンプトをLLMに設計させているのだが、ある意味、ネガティブプロンプトですら画像を設計することができるというのは、ちょっと驚きだった。いわば「NOT条件のみで生成している」「嫌いな要素のコサイン類似度が遠ざかるように、逆に好みにしぼりこんでいる」ようなものだから。
この辺りは、まだまだよくわからない点が多い。
コメント