立ち絵1枚からキャラクターLoRAを作ろう
本ページの理論の2026年版をboothにて同人誌として発行しています
>>https://pumpkin.booth.pm/items/8368677
オリジナルキャラクターやマイナーキャラクター、LoRAを作るには素材の足りないキャラクターたち。
そんなキャラクターのLoRAを作りたいなら、AIを駆使するしかない！
前提環境
ローカル環境が構築済みである
kohya_lora_param_guiの学習環境が構築済みである
NovelAIもしくはnanobanana等AIアシスタントが使える
有ったら便利：絵が描ける
以上の条件を前提に解説します。
生成、学習環境に関してはwebサービスで代用できるかもしれませんがそちらの使い方は知らないので今回の手法を頑張って流用してください。
素材を作る
まず立ち絵から素材を作る必要があります。
今回は何段階かに分けて学習を行うため最初は10枚程度あれば問題ありません。
今回作るキャラクターはこちら
数年前に作ったオリジナルキャラクターの立ち絵を使ってLoRAを作ります。
絵を描くスキルがあって手書きが面倒でない人はおとなしく手書きで用意すれば問題なし。
どうしても手書きをしたくない、という人はwebサービスを利用します。
webサービスを利用
ここでNovelAIを利用するか、nanobanana相当のAIをgeminiや各種AIアシスタントで利用するかで別れますが基本は同じです。
個人的にはgeminiが無料で利用でき、かつキャラクターの一貫性に強いのでお勧めします。
NovelAIは有料なおかげで解像度が高く作れるという利点はありますが、一貫性が思ったほど強くないことと、第一段階の画像の粗さは後でカバーできること、この段階で必要な枚数ならgeminiの無料枠で十分なことが理由です。
デザインラフを参考画像としてAIに与えます。
この際使用するプロンプトは次の通り。
NovelAIの場合
reference sheet, multiple views, from behind, from side, white background, full body
Copainterの場合
このキャラクターの三面図を作って
Geminiの場合
画像のキャラクターの三面図を作って
GeminiとCopainterはどちらもnanobananaっぽいのでほぼ同じ画像が出てくるので三面図一枚作るだけなら無料で使えるGeminiの方がいいかも。
正直NovelAIは資料作成に使うんじゃなくて１枚絵を作らせる方が向いてる気がしますね。
ただしgeminiは露出度の高いキャラクターだと弾かれる恐れがあるのでそうなったらcopainterやNovelAIが頼りになります。
同じ要領で表情パターンも作成しておきます。
geminiへのプロンプト
・同じキャラクターのバストアップの画像で表情パターンを作成して
指示が雑で瞳の色が変なのでてきましたけど上の三つが使えるのでよしとします。
学習用に加工
前段で用意した素材を学習に適した形に加工します。
具体的に言うと1024*1024の正方形画像。
まずは大体再現できればいいので全身三面図とバストアップの画像、顔のデザインがわかる画像で済ませます。
ラフを使ったせいでこの時点で「素材に影とハイライトが一切ない」という問題が発生しているので対策をしておきます。
絵が描けるなら普通に手作業でいいですが、可能な限り楽したいのでAIでゴリ押しします。
先ほどの三面図をGeminiに与えて下記の指示を与えます
・この画像にハイライトと影をつけアニメスタイルに仕上げて欲しい
これで影とハイライトがついたのでこれを使います。
念のためNovelAIのキャラ参照を利用して素材の水増しもやっておきます
とりあえずこの８枚で学習をかけます。
学習タグの用意
学習用のタグを用意します。
基本的に画像と同名のtxtファイルに関連付けるタグを記載するわけですが、作る人間の好みで用意の仕方が変わってきます。
僕は自分でタグを選別して学習させるので、まずはプロンプトだけで近いビジュアルを再現するタグを探します。
この手順はローカルでやれば課金は必要ありません。
下のようなまあまあ近いビジュアルが出てきたらそのプロンプトを学習タグへ流用します。
ちなみに細かくタグをつける理由は複数キャラを出す場合のタグの影響を抑えるため、着せ替えの柔軟性が理由です。
タグ付けの際は画像に入っていない要素は除外し、上半身だけならupper body 等のタグをつけます、ここら辺は確かな検証を見たことがないのでほぼ宗教だと思います。
タグ付け後のデータ構成はこんな感じ
とりあえずこれで学習させます。
枚数的に容易に過学習が起きるのでstep数は抑えて１５００前後で作ります。
第一段階生成テスト
テスト結果
もう終わりでよくない？
いやちょっと普通に完成度高くなっちゃったな。
造形がシンプルなキャラクターはこういうことがままある。
ブラッシュアップ
とりあえず柔軟性を上げるためにポーズやアングルを変えた絵を生成して素材に還元して第二段階を作ります。
第一段階の素材と同じ構図の物も生成して入れ替えることで素材の品質を全体的に向上させます。
絵が描ける場合、ここで微妙にデザインが違う絵を修正しておくと精度が高まります。
それに加えて過学習による絵柄の固定化を防止するために他のモデルや絵柄LoRAを使って素材の絵柄に多様性を持たせます。
この際学習素材次第ではLoRAの絵柄の影響が強すぎる場合がありますが、その場合デフォルメ系や塗りがマット系の絵柄LoRAを使うと絵柄をねじ伏せてくれる場合が多いです。
バストアップ等も入れて20枚程度の素材を作って第二段階を作ります。
せっかくなので普通のメイド服バージョンも追加したくなったのと、枚数が増えて29枚になったのでステップ数を1900くらいに増やします
第二段階生成テスト
ぶっちゃけ第一段階で実用レベルだったのでここで納得できる水準の生成ができれば終わりです。
テスト結果
特に問題がないのでこれでゲームセットとします！
ちなみに今回武装メイドと通常メイドのバリエーションを作りましたが、片方の衣装でもう片方の衣装の影響が出る場合等はタグ構成を見直してください。
今回の場合肩アーマーの形状がフリル化する現象がおきてたので武装メイド側のタグからmaidを取り除いた方が安定すると思います。
ただ特にこだわりがなければ衣装ごとにLoRAを分けるのが一番早い解決法になります。
まとめ
ここまでの情報をまとめるとポイントは次のようになります。
まずは極小規模のデータセットでLoRAを作り、段階的にバージョンアップしていく
最初の素材はAIアシスタントを活用して立ち絵から増やして素材にする
1段階目が終わったらLoRAを使ってさらに多様性のある素材を作る
絵柄を固定させるつもりがなければ複数の絵柄の素材を用意する
LoRAの再現性は、データセット中で再現させたいデザインがわかりやすい素材の割合が影響する
LoRAは結局試行錯誤なので必ずしもこれが正しいとは限りませんが、気にしていれば打率は高くなると思います。
とまあこのように現在では1枚の立ち絵からLoRAを作るのも環境さえあれば特に難しいことではありません。
LoRAの見つからないマイナーキャラや自分の性癖に忠実なキャラクター等、ぜひ自分の手でLoRAを作ることをお勧めします。
それと僕は作ったLoRAはcivitaiで共有しているので、よければそちらも見ていってください。
https://civitai.com/user/lantern_pumpkin
コメント