Kohya's GUIでLoRAの学習をする
LoRA学習でのタグ付けTips
参考
https://www.youtube.com/watch?v=etEo6Lf7QIcModeling The White Queen as a Stable Diffusion LoRA
, で区切られているのがタグ？ キャプションは文章
1. キャプション(タグ)の自動生成
BLIPやWD14-Taggerを使って教師画像にキャプションをつける
1girl, solo, long_hair, blush, smile, bangs, blue_eyes, animal_ears, hair_between_eyes, very_long_hair, closed_mouth, blue_hair, upper_body, outdoors, japanese_clothes, sky, cat_ears, kimono, animal_ear_fluff, fox_ears, night, looking_away, night_sky, christmas, gift, blue_kimono, gift_box, christmas_tree, christmas_ornaments, pine_tree2. キャプション(タグ)ファイルの先頭に呼び出したい名称を書く
例 : qualia-san
qualia-san, 1girl, solo, long_hair, blush, smile, bangs, blue_eyes, animal_ears, hair_between_eyes, very_long_hair, closed_mouth, blue_hair, upper_body, outdoors, japanese_clothes, sky, cat_ears, kimono, animal_ear_fluff, fox_ears, night, looking_away, night_sky, christmas, gift, blue_kimono, gift_box, christmas_tree, christmas_ornaments, pine_tree3. タグの剪定
タグは大きく分けて2つに分けられる
キャラクターを定義する言葉
long_hair, bangs, animal_ears, hair_between_eyes, blue_eyes, blue_hair, cat_ears, animal_ear_fluff, fox_ears それ以外
1girl, solo, blush, smile, animal_ears, very_long_hair, closed_mouth, upper_body, outdoors, japanese_clothes, sky, kimono, night, looking_away, night_sky, christmas, gift, blue_kimono, gift_box, christmas_tree, christmas_ornaments, pine_tree 例えば、ケモミミや青い髪はクオリアさんを説明するのに必須
逆にクリスマスツリーや着物は、状況によってあったりなかったりする
→ クオリアさんを説明するものではない
🚨キャラクターを定義する言葉をキャプション(タグ)ファイルから消す
ちょっと分かりづらいけれど、素材画像から余計なものを削ぎ落とした情報を
qualia-san というトークンに集約させる4. 完成
qualia-san, 1girl, solo, blush, smile, hair_between_eyes, very_long_hair, closed_mouth, upper_body, outdoors, japanese_clothes, sky, kimono, night, looking_away, night_sky, christmas, gift, blue_kimono, gift_box, christmas_tree, christmas_ornaments, pine_tree本当に意味あるんですか…？
実験
学習設定
学習率はLAZY TRAINING GUIDEに倣う
learning rate & Unet learning rate : 0.00016
Text Encoder learning rate : 3e-5
ベースモデルはACertainModel
model-1 : WD14-tagger無編集
model-2 : WD14-tagger編集←今回やったこと
model-3 : 極少タグ
上の画像で言えば
qualia-san, kimono, christmas_tree と、大きく目につくものだけを残す 出力比較
設定
モデルはACertainModel
プロンプトは
qualia-san, 1girl,Highly Detailed,upper body<lora:qualia-san-model-1_v1.0:0.8> のみ model-1 : WD14-tagger無編集
model-2 : WD14-tagger編集
model-3 : 極少タグ
自由度はあるのか？
左から model-1 / model-2 / model-3
$ qualia-san, 1girl,Highly Detailed,looking at viewer,upper body,from front,bangs,wide view ,chibi, full body, wearing kimono<lora:qualia-san-model-2_v1.0:0.7> /// model : ACertainModel
$ qualia-san, 1girl,Highly Detailed,photoreal,looking at viewer,upper body,red hair,headset,from front,bangs,wide view ,portrait, white dress <lora:qualia-san-model-3_v1.0:0.8> /// model : AOM2
$ qualia-san, 1girl,Highly Detailed,angry face,turn away,red hair,very short hair,from side,bangs,full body<lora:qualia-san-model-3_v1.0:0.8> /// model : unico
ちゃんと差が出ると思わなかった、面白い
![nomadoor](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="400" height="400"><rect fill-opacity="0"/></svg> "nomadoor")
model-1はクオリアさんの特徴を掴めてない
一番の特徴のケモミミすら忘れることがある
model-2とmodel-3は、教師画像の統一感が割りとあるのもあって違いが分かりにくいけれど、無理に編集させるとmodel-3は破綻しかかる
- Links
- WD14-tagger
https://huggingface.co/SmilingWolf/wd-v1-4-vit-tagger
説明がない
![](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="96" height="96"><rect fill-opacity="0"/></svg>)
https://note.com/gcem156/n/nc03a1fb0ee4b
画像からdanbooruのタグを予測する
アストルフォの画像を渡して1girlとか出てくるのを見て馬鹿にしてやろうとおもって試したのですが、1boyとかotoko_no_koと返してきてびっくり仰天しました。
- クオリアさん
- ACertainModel
- Kasucast #13 - Stable Diffusion: How to train LoRA for Style メモ
![](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="320" height="180"><rect fill-opacity="0"/></svg>)
- Qualia-sanモデル
- キャプション
- Caption-Anything
- SD-webui-blip2
https://github.com/Tps-F/sd-webui-blip2
BLIP-2 で画像のキャプションを生成するStable Diffusion web UI拡張機能
- BLIP-2
- Blip
キャプション
- deepbooru
booru系サイトで使われているキャプション付けツール
- swinv2
https://huggingface.co/docs/transformers/model_doc/swinv2
キャプション付け
画像分類
- CoCa
https://huggingface.co/spaces/laion/CoCa
キャプションを付ける
LAION
- DiffEdit
- Kohya's GUIでLoRAの学習をする
- Stable Diffusion web UI のすべて
そもそもStable Diffusion web UIとは？
Stable Diffusionをブラウザ上のGUIで操作できるようにした便利ツール
一番最初に開発されたため、多くの拡張機能がこのGUIで使えるように作られている
リクエスト(TODO)→⚒️
⚒️Colab版
- LoRAの学習に正則化画像は設定したほうが良い
from : https://www.reddit.com/r/StableDiffusion/comments/11qkbfy/kohyass_lora_finally_improved_the_final_output/Kohya-ss LoRA, finally improved the final output!
正則化画像なしだと80~85%のらしさまでしか出せなかった
改善方法
https://github.com/aitrepreneur/REGULARIZATION-IMAGES-SD/tree/main/personの画像を正規化画像とする
- クオリアさん
- nijijourney ベータテスト メモ
- GALACTICA
科学記事を自動で生成するAI「Galactica」がわずか3日で公開停止へ、入力内容次第で「ウソ記事」を生成可能と判明 - GIGAZINE
https://galactica.org
膨大な科学知識から疑問に答える科学記事や講義ノートを作るAI「Galactica」をMetaの研究者が一般公開
- AIでtweetを制作
@itosinitosin123: Tweet生成AI作りました。
明日から一部ユーザーに開放していく予定です。
全自動クオリアさんがついに…？
クオリアさんはすでにそこそこデータが集まってるのでマルコフ連鎖で怪文なら作れそう
- favicon
- Thin-Plate Spline Motion Model for Image Animation
- nishio
