Krita AI Diffusion:ComfyUI環境とモデルとControlNetモデルをボタン一発でインストール
以前にも StableDiffusio 環境を構築する記事を書きました。
今回はもっと楽にボタン一発でComfyUIを構築する方法です。
めちゃくちゃ楽なので、Kuritaを使わなくてもComfyUIインストールのためだけのために使うのもおすすめです。
……FooocusやreForgeでいいって? Fooocusはカスタマイズできないし、WebUIとForgeは開発止まってる。ヤダー!
Kirita AI Diffusion
Kirita AI Diffusion はお絵かきソフトの Krita からStable Diffusionの画像生成を簡単にできるようにするプラグインですが、バックエンドにComfyUIをつかっています。
最近、Krita AI Diffusion を久しぶりに使ってみたところ、全自動でComfyUIの環境と各種モデルをインストールしてくれるようになっていました。バックエンドのComfyUIのローカル構築をボタン一発で行ってくれるのです。
ComfyUI本体だけではなく、NoobAIやIllustoriousなどの各種モデルと、NoobAI/Illustorious用のControlNetのモデルまで含めて一発でダウンロードしてくれます。
Hugging Faceを探し回ってダウンロードすることに比べると非常に楽です。おそらく現状でComfyUIの構築が一番楽だと思います。
インストールされたComfyUIはもちろん単体でも使えます
以下手順
Krita のインストール
お絵かきソフトの Krita をインストールしてください。
Krita AI Diffusion プラグインのインストール
以下から最新版のzipファイルをダウンロードします。
Krita 上で先ほどダウンロードしたプラグインをインストールします。
適当に画像を新規作成して、編集できる画面にします。
ドッキングパネルからAI Image Generationにチェックを入れると、AI Diffusion画面が表示されます。
Configureをクリック
Local Managedサーバーを選んで、フォルダを指定。
Install を押すと、指定したフォルダにComfyUIとモデルがダウンロードされます。
Illustorious用のControlNetモデルに全部チェックを入れてインストールすると良いです。
SDXLモデルは7GB以上あるので、全部入れるとそれりの容量になります。
Krita AI Diffusionを使ってみる
完了したら、Krita上からGenerateボタンを押せばもう使えます。
先ほどインストールしたComfyUIが裏で動いています。
これだけではただのT2i(テキスト to イメージ)の生成です。Kiritaっぽいことをやってみます。
マウスで適当に落書きを書きます。
Strengthを100%だとボタン表示はGenerateになっていますが、100以外(99%以下)にすると、Refineの表示となり、Kuritaの表示レイヤーからのi2iになります。
上の状態から、Refineを押すとこんな感じのが出ます。
Illustoriousを使えば、このレベルの落書きがあればプロンプトはHatsune Mikuだけで大体いけますが、詳しく書けばそれなりに反映されます。
構図と色は非常に大事ですが、細部はどうでもいいです。面積のある色で塗るとかなり意図通りになります。
手書きでマンガ絵を描く人は線画で書きたがるのですが、線画はどちらかというと記号です。まあ、ControlNetのScribbleなどの特殊な学習をしたものを使えば線画でもいけますが…。
そんなことをせずとも、上のような絵であればi2iだけでもかなり思い通りに出ますし、上述したように色は非常に重要ですので、線画のみというのは基本的にはあまりオススメしません。
インストールされたComfyUIを単体で使う
インストール時に指定したディレクトリ以下に普通にComfyUIがあります。
仮想環境も含めて、動くのに必要なものはすべて出来上がっています。
起動はいつもの通りです。
たぶんPythonが必要だと思います。(KritaのPythonから作られた仮想環境があるので、もしかしたらなくても起動するかも)
入ってなくて動かなかったら、マイクロソフトストアからPython3.12あたりを入れましょう。ストアから選ぶだけで入ります。
>venv\Scripts\activate.bat
(venv) cd ComfyUI
(venc) python main.py
下のように書いてbatファイルにすると楽でしょう。cmd /c バッチファイル名でショートカットを作るとスタートメニューなどにも登録できます。
call venv\Scripts\activate.bat
cd ComfyUI
python main.py
こんな感じです。
普通に使えます。
すでに必要なモデルも一通り入っていて非常に楽ちんです。
コメント