見出し画像

今後LoRAが削除される可能性があるため、illustrious系紳士向けLoRAをストックするツールと方法

一括DL用のツールに必要なファイルを作成するツールを作成しました。
最初に記事アップした時に不具合でURL重複され、調べていくとAPI方式の1つが死亡しているとのことで、かなり悪戦苦闘しましたが、いい感じでできました。

ツールは配布とタグ「nsfw」で取得したLoRA一括用ファイルを添付しています。

前回と前々回に下記記事を書きました。

DL用のURL取得するツールは完成して、styleとartstyleで990件と1,000件のDL用URLを取得できました。
ただ、これ一括で取得するstorage結構な容量なので急ピッチでSSD整理しています。

notionの有料会員なので、APIで保存します。
ただ、.infoと.safetensorsのファイルは、notionAPIで保存できませんでしたが、対策を考えてほぼ自動で保存できる方法を見つけました。

ツールは、LoRA一括DL用ファイルnotionAPI用保存ツールをメンバーシップ特典で追加費用無しでDLできます。
メンバーシップ以外には有料として販売しています。

需要ないと思いますが、スケベ魂に火が付いている人は、良かったら使ってみてください。

更新履歴

2025/7/14 同一のURLが重複する問題はAPI取得方式の1つが死亡しているため、Cursor Paginationで取得するよう変更しました。
ただ、この方式は初期で作ったのよりかなり、取得スピードが遅いですが、この方法以外取得できないのと設定limitを上げると失敗する可能性があるため、reddit参照のもとlimit設定をしています。
あとAPIにて削除されているLoRAデータがあるかも・・・いやないかな。

notionAPI用ファイルにてプロパティ名を読み込み、その値を選択できるようにしました。
そのため、プロパティのタイプはマルチセレクトで推奨です。

更新予定

タグだけでなく、検索でのLoRA一括用ファイルの取得を追加します。

注意点

ウィンドウズ環境にて誰でも使えるように別PCで試して動作確認でOKでしたが、ローカル環境は人それぞれの環境です。
動かない・・・とかあるのかな?と思いますが、ツールエラーはないので、個人のローカル環境によって万が一動作しないかも知れないことを考慮したうえでお買い上げください。
多少対応しますが、ローカル環境全部見て特定してエラー解消は、無理です。
※別PCはWindows10で試して動きました。自分のPCは、もちろんWindows11です。

あと考えられるのは、パッケージインストールがウィルスソフトに弾かれるといった事があり、過去に弾く設定をして忘れているなどがあります。

notionAPIは、途中で仕様変更があった場合は、アップデートします。
ただこのnotionAPIはjsonの階層深すぎて、そんなに知識がないのでめちゃくちゃやりづらかったです。

illustrious系紳士向けLoRAをストックする方法

2025年8月以降から多分紳士向けLoRAは結構削除される可能性があります。
LoRA製作者の叡智が詰まったLoRAを使えないのは機会損失で損失額は多分1兆円を超えるので、LoRA保存庫を作る流れを下記から解説します。

1.LoRAのDL用URLを一括取得

手動でPython入れてください。
Stable diffusionでローカル環境生成している人は入っていると思います。

Pythonのversion2つ入れて競合してPython反応しない場合は、インストールした2つ以上のPython削除して再度インストールしなおしてください。

Start.batで起動し、必要なパッケージを仮想環境のvenvフォルダを作りインストールします。
venvでローカル環境を汚さない用にしています。

画像

出力ファイル名:txtのファイル名で指定した末尾に年月日時間が入るので上書きされることはないです。
取得数:0だと全部なので結構な容量なので、ソート順Most Donwlaodedで200で上位200取得できるので、数抑えるほうがいいかも。
APIキー:civitAIから取得して入れてください。
毎回入力が面倒な人は同じ階層にapi.envファイルがあるのでそちらに記述してください。
ベースモデル:illustrious以外にPonyやSDXLを選べるようにはしています。
タグ(複数選択可能):人気のあるタグだけ選択できるようにしています。
複数選択したい場合は、小文字の , で区切ってください。
ソート順:ベースモデルの一番DL数多いものや新規やいいねが多いもの順などにできます。
※civitai画面の表示と異なり、こちらのツールは、illustriousのみのDL数でカウントするのに対して、civitai側は、複数のmodelのversionを配布しているLoRAの場合は複数のLoRAの合計値での並びになっています(多分)
URL形式:download(URLでDLできるもの)、page(modelのページ)です。

取得数2で下記のようなファイルで保存されます。

取得数が多いとAPIレート制限にかかるため、1分待って処理開始を3回繰り返します。
DLする物が無ければありませんと返答が表示されます。

LoRA1,000件で仮にLoRA平均50MBの容量だと50GBです。
もしかしたらツールでURLを取得して、そのURLで一括LoRAをDLする前に、SSDやHDDの整理が必要です
これが結構進まない・・・・。
特にイラスト生成ファイル大量になり、png拡張子ではなく、webp拡張子で保存すれば良かったと後悔しております(';')

2.LoRA一括DL用ファイルからLoRAをDLする

画像
保存先フォルダは架空です
精○工場ではありません

1で取得したURLをもとにURL-SCOOOPを使って、指定した場所にLoRAを格納します。
LoRAを格納する場所は、現環境のLoRAフォルダに入れます。

自分の制作した拡張機能を使う理由として、保存先フォルダの指定です。
civitai Helperも同じ機能がありますが、起動している環境のLoRAファイルに保存されます。
私の場合は、起動環境のLoRAではなく、保存用のみの環境があるので、そこに保存したいので作りました。

保存先フォルダを指定したいがために作りました。

 3.civitai Helperでトリガワードや画像データを取得

トリガワードとLoRAの表紙の画像をcivitai Helperで取得して完了。
これを7月中にやる必要があります。
過去にPony系で取得したLoRAが削除されていたりするので、あぐらを飽きてLoRA一括でDLできて安心しているとcivitai側で削除された場合、トリガワード等取得できないので、全て実施は流れで途切れあせず、後回しせずにすぐやるべきです紳士諸君。

答えが出ない重複問題

styleタグやartstyleタグで取得した際にLoRAのcivitaiのタグには両方タグが付けられるため、LoRAの重複が発生してしまいます。
どうすればいいか答えが出なかったですが、notionは1ファイル5GBを超えない限り無制限にアップできるので、被ってもいいかーと思いました。

LoRAが被るのが嫌で容量を節約した人は、最終Excelかスプレットシートで一括で取得したURLに対して重複削除でいいかなと思います。

notionAPIでLoRAを保存

notionAPIを活用するにあたってAPIを下記から取得してください。

上記で権限設定し、APIを発行してください。

notionAPIを使う場合、API発行とDBに設定した権限を接続してください。

画像
画像

この接続をしないとDBとして認識できません。
次にnotionAPIに入れるDBのIDを取得します。


画像

DBの右側になるフルページボタンを押した際の右上にある「・・・」をクリックしてリンクを確認してください。
リンクごとAIにDBのIDを抜粋してと言えば抜粋してもらえます。

ここは別にnotionでなくても、自分が使っているクラウドシードストレージなり、HDDやSSDなどでいいです。

私はnotion有料会員なので、notionに保存していきます。

方法は、まずnotionのDBを作り、ギャラリーとしてます。
.safetensorsを手動でまとめてアップします。

画像では2個だけアップしています。

.safetensorsアップするとタイトルに同じ名前の物が付くので、notionAPIとツールで同じタイトルの画像、info、jsonをそのページにアップするようにしています。

画像
notionのDBページ

start.batで画面画面が起動します。

画像

あらかじめてプロパティ名とその値を取得できるようにしています。
そのため、LoRAを入れたいDBにプロパティを作成し、その値を作る必要があります。
私の場合はプロパティ名TYPEを作り、マルチセレクトにし、各入れたいタグが複数あります。

LoRAフォルダパスにて2つのLoRAのpngとinfoとjsonが入っているのでLoRAファイル処理開始で実行します。

画像

まず画像データが確実に入っていることをこのnotion画面で確認できました。
中身を確認します。

画像
画像

infoファイルはAPI対応していないのでtxt形式で保存するよにしています。


ツール配布先

ここから先は

336字 / 4ファイル
この記事のみ ¥ 1,500
PayPay |PayPayで支払うと抽選でお得

紳士向けに特化した妄想を実現に奮闘するメンバーシップです。 時々、面白い良い感じの構図やプロンプトを…

PayPay |PayPayで支払うと抽選でお得

ノーマルプラン

¥1,500 / 月

プレミアムプラン

¥5,000 / 月

富裕層向け紳士プラン

¥10,000 / 月

スケベイラスト極めます。 よろしければ応援よろしくお願いします('ω')b

ピックアップされています

有料記事

  • 36本

購入者のコメント

ログイン または 会員登録 するとコメントできます。
今後LoRAが削除される可能性があるため、illustrious系紳士向けLoRAをストックするツールと方法|nobin@noteで生活している人
word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word

mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1