LoRA

■余談
LoRA学習はkohya-ss氏のsd-scriptsがおそらく最も利用者人口が多いのですが、Stable Diffusion web UIでもLoRAの学習は可能です。拡張機能sd_dreambooth_extensionを使用します。

【参考】コマンド解説
PowerShell版を元に説明します。

No.	コマンド(参考）	効果
1	git clone https://github.com/kohya-ss/sd-scripts.git	今開いているフォルダに、GitHubからsd-scriptsコードをダウンロード
2	cd sd-scripts	sd-scriptsフォルダへ移動し、作業フォルダとする。
3	python -m venv venv	作業フォルダ内に名称「venv」の仮想環境を作成する
4	.\venv\Scripts\activate	venv仮想環境を有効化する
5	pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116	venv環境へtorch,torchvisionをインストール
6	pip install --upgrade -r requirements.txt	「requirements.txt」に記載のライブラリをインストール
7	pip install -U -I --no-deps https://github.com/C43H66N12O12S2/stable-diffusion-webui/releases/download/f/xformers-0.0.14.dev0-cp310-cp310-win_amd64.whl	xformers ver.0.0.14をインストール。依存環境を含まず単独で導入する
8	cp .\bitsandbytes_windows\*.dll .\venv\Lib\site-packages\bitsandbytes\	bitsandbytesを作業フォルダからvenvフォルダ内へコピー（インストール）
9	cp .\bitsandbytes_windows\cextension.py .\venv\Lib\site-packages\bitsandbytes\cextension.py	同様にcextension.pyをコピー。
10	cp .\bitsandbytes_windows\main.py .\venv\Lib\site-packages\bitsandbytes\cuda_setup\main.py	同様にmain.pyをコピー。
11	accelerate config	（画面表示とreadmeに従い）accelerateを手動で設定する。設定内容はreadme参照。

In which compute enviroment are you runnning?
Please select achoice using the arrow or number keys, and selecting with enter
 * This machine

Which type of machine are you using?
Please select a choice using the arrow or number keys, and selecting with enter
 * No distributed training

Do you want to run your training on CPU only (even if a GPU is available)? [yes/NO]:NO
Do you wish to optimize your script with torch dynamo? [yes/NO]:NO
Dou you want to use DeepSpeed? [yes/NO]:NO
What GPU(s) (by id) should be used for training on this machine as a comma-seperated list? [all]:all

Dou you wish to use FP16 or BF16 (mixed precision)?
Please select a choice using the arrow or number keys, and selecting with enter
 no
 *fp16
 bf16

25 無念 Name としあき 23/03/25(土)19:46:41 ID:xnEfCY0I No.1080097531 del そうだねx35
たておつkemono
f73639.zip
超初心者向けLoRA導入セット更新しました
・Lycoris対応(インストールバッチ、更新バッチ)
・locon,loha用実行バッチ追加
・LoRA_Easy_Training_Scripts用は削除しました
・以前に導入済みの人は超初心者以外の方.txtを読んで下さい
あと再配布はご自由にどうぞ
今まで通りこのスレ内でしかサポートは出来ないけど

インストール手順
まず f73639.zip をダウンロードし、学習環境を構築したい場所に解凍します。
※直リンク対策のため、一時的に公開を停止しています。（2023/05/05）

りーどみーに従って親フォルダのフォルダ名に日本語やスペースを含まないフォルダに解凍します
Stable Diffusion web UIが設置してあるフォルダとは無関係です
できるだけ空き容量に余裕があるドライブが良いでしょう

説明を再開します。今お手元のフォルダは

このようになっているものと思います。
さっそく画像で赤枠に囲まれたバッチファイルを実行して Sd-Scripts をインストールしていきましょう。

キー入力を待つ画面に移るのでキーボードのキーを何でもいいのでひとつ押します。

粛々とインストールの処理が始まりました。
回線状況にもよりますが、おおよそ5～10分ほどの時間ファイルのダウンロードとインストールが行われます。
そしてそれが終了するとコンフィグ設定の画面へと遷移します。

画像の中でも注意喚起されていますが次のように設定を進めていって下さい。
まずはThis machineに＊(アスタリスク)を付けた状態でエンターです。最初から付いているのでそのままエンターで構いません。

No distributed traningでエンター。選択して次の設定に進みます。

Do you want to run your traning on CPU only?(トレーニングにはCPUのみを使うか？)と聞かれますので
NOとキーボードで打ち込みます。

そしてエンター。

これもキーボードで直接NOと打ち込みます。そしてエンターキー。

これにもNO。そしてエンター。

トレーニングに使うGPUをIDごとに指定せよ(意訳)と聞かれるのでこれにはallと打ち込んでエンター。

次の画像に移る前に最大級の注意喚起をしておきます。
1を押して下さい。
とにかく絶対にカーソルキーを押さないように！！！いいですね！！！！！！！！！！！！
1を押せ！！！

1を押すのに成功すれば下のようなバグのような表示になりますがこれが成功の形です。

もう大丈夫です。エンターを押して下さい。ただし決してカーソルキーに触れないように。

そして初期設定のコンフィグが完了し、キー待ちの状態となるので何かひとつキーを押して下さい。
もうカーソルキーに触れても大丈夫です。

※操作を間違った場合は再度"install_sd_scripts.bat"を実行してやり直せば問題ありません

フォルダの中に sd-scripts が加わり学習環境が整いました。

導入方法 (2023/04/24更新)
引用: https://github.com/bmaltais/kohya_ss
GUI開発者Bernard Maltais氏のチュートリアル動画: リンク

1. インストール
   ※更新によって導入方法が変わる可能性があるので、実行する前に上記のリンクのreadme.mdを見て最新の手順を確認しよう。
   インストールしたいフォルダでコマンドプロンプトを開いて以下のコマンドを実行。
   最初に導入するライブラリ(torch)のverを回答する。(分からない人は"recommanded"の方を選択する)
   最後の行( accelerate config)が実行されると質問が出てくるので以下のように回答。
   「This machine」「No distributed training」「NO」「NO」「NO」「all」「fp16」
   ※ 選択式の問は、日本語キーボードだと十字キーは使えないので数字キー(1,2,3...)で選択する

   git clone https://github.com/bmaltais/kohya_ss.git
   cd kohya_ss
   .\setup.bat

   コマンドプロンプトを閉じる
2. GUI起動
   インストールしたフォルダに「gui.bat」が出来ているので実行。
   ブラウザで以下にアクセス
   http://127.0.0.1:7860 (デフォルトの場合)

LoRA @ Paperspace

 ##初回のみ
mkdir LoRA

git clone https://github.com/kohya-ss/sd-scripts.git LoRA/sd-scripts
git clone https://github.com/derrian-distro/LoRA_Easy_Training_Scripts.git LoRA/LoRA_Easy_Training_Scripts

cp LoRA/LoRA_Easy_Training_Scripts/lora_train_command_line.py LoRA/sd-scripts
 ##

apt update -y
apt upgrade -y
cd LoRA/sd-scripts

 ## 確実に動かしたい人（xformersを使わない場合）
pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116
pip install -U -r requirements.txt

 ## 不安定でも高速化を目指す場合（xformersを使う場合）
pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
pip install -U -r requirements.txt
pip install -U xformers==0.0.17.dev441

accelerate config

20230318版（もし動かないときは「PaperSpaceでkohya版LoRAを動かす方法」のlora_train_command_line.py絡み以外のとこを実行してからやると動くかも）
（現在LoRA_Easy_Training_Scripts/lora_train_command_line.pyがそもそも存在しない為上記の手順では動作しなかった）

LoRA @ Paperspace

 ##初回のみ
mkdir LoRA

git clone https://github.com/kohya-ss/sd-scripts.git LoRA/sd-scripts
git clone https://github.com/derrian-distro/LoRA_Easy_Training_Scripts.git LoRA/LoRA_Easy_Training_Scripts

 ##

apt update -y
apt upgrade -y
cd LoRA/sd-scripts

python -m venv venv
source ./venv/bin/activate
pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116
pip install --upgrade -r requirements.txt
 ## requirements.txtにtoriton居たかも
pip install -U --pre triton
 ## ここまでは頭に ! を付けてJupyterで実行してもいい

 ## 以下Terminalで実行
accelerate config

 ## 最初の実行前に以下Terminalで実行（Terminalを破棄して新しいTerminal起動したときはまた実行）
cd /notebooks/LoRA/sd-scripts
./venv/bin/activate
 ## 実行コマンドをTerminalで実行（全角で説明してる箇所は適宜書き換え。train_batch_sizeは最初1でちゃんと動いたらもっと大きい値にしてもいい）
accelerate launch --num_cpu_threads_per_process 12 train_network.py --pretrained_model_name_or_path=ベースにするモデルのパス(永続ストレージに入れたなら/storage/以下のどこかにある) --train_data_dir=/notebooks/LoRA/Training --reg_data_dir=/notebooks/LoRA/reg --output_dir=学習済みLoRAモデルの保存先DIRパス --resolution=320,960 --train_batch_size=1 --learning_rate=8e-5 --max_train_epochs=10 --save_every_n_epochs=1 --save_model_as=safetensors --clip_skip=2 --seed=36 --color_aug --network_module=networks.lora --keep_tokens=7 --enable_bucket --network_dim=64

あとは学習開始フェーズです
好きなオプションを付けましょう

accelerate launch --num_cpu_threads_per_process 12 train_network.py --pretrained_model_name_or_path=/notebooks/stable-diffusion-webui/models/Stable-diffusion/ACertainty.ckpt --train_data_dir=/notebooks/LoRA/Training --reg_data_dir=/notebooks/LoRA/reg --output_dir=/notebooks/LoRA/testLoRA --resolution=320,960 --train_batch_size=8 --learning_rate=8e-5 --max_train_epochs=10 --save_every_n_epochs=1 --save_model_as=safetensors --clip_skip=2 --seed=36 --color_aug --network_module=networks.lora --keep_tokens=7 --enable_bucket --network_dim=64

学習をモデルから再開する場合

--network_weights