LoRAとは

自分が学習させたい画像(数枚〜20枚程度)を元に、その用意した画像の特徴を持った画像を生成できるようにするものです。

例えば、無印良品店の内装の画像を集め無印良品店のような内装を生成するLoRAを作成することもできます。

この無印良品、LoRAを活用すると以下のような画像が出力されます。

この例のように、建築家の作風を学習させることでその建築家の特徴を持った建築の生成も可能になります。

例えば、上司好みのテイストを学習させることも可能です。笑

LoRAの実用的な使用例

今画像生成Aiを建築で活かす場合最も実用的な使い方の１つが、『テクスチャー張り替えLoRA』です。

テクスチャー張り替えLoRAを活用することで、

敷地調査などで撮影した現場の写真の壁を実際の建材に置き換えることができます。

あらかじめ学習させたLoRAをいくつか持っておけば一瞬で提案を行うことができます。

生成にかかる時間はたったの１〜2分です！

また比較検討も容易で、これまで行っていたであろうPhotoshopの画像加工なども必要なくなります。

テクスチャー張り替えLoRAの使い方

テクスチャー張り替えLoRAで使用するのは、Segment Anything、inpaint upload、ControlNetです。

①Aiを活用したマスク画像の自動作成

マスク画像を作成するにはSegment Anythingを活用します。

Segment Anythingはクリックで選択した部分とそれ以外を区別し自動でマスクを作成してくれます。

下の設定では黒丸の部分をクリックし設定しています。

これにより次に行うinpaint uploadのマスクを作成することができます。

今回は木が生えていたため、木の周囲のマスクが少し雑ですが、

壁のみの場合はもっときれいにマスクが作成されます。

また、マスクだけPhotoshopで作成する事で精度を高める事も出来ます。

②マスクを使った変更部分の指定

変更部分の指定はimg2imgのinpaint uploadでおこないます。

マスクは先ほど作成した白黒の画像を使用します。

img2imgの設定項目は以下のような数値に設定しています。

③テクスチャーの奥行き感を入力

ControlNetのDepthを使用することで、出力画像のテクスチャーを正確に割り当てるための奥行き感をAIに認識させます。

もし奥行き感を認識させずに画像を生成した場合壁の向きやスケールがおかしな画像が生成されてしまう場合があります。

そうならないためにも、Depthを設定します。

以下はControlNetのDepthを使用する際の設定になります。

④LoRAの使い方

まず、LoRAはGenerateの下にある🎴ボタンを押します。

すると選択画面が現れるので、LoRAタブを押しその中にある自分が使用したいローラを選択します。

クリックするとプロンプトに、

<lora:LoRA名:1>

と自動で入力されます。

今回は木の壁を作成したので、プロンプトは

wood wall<lora:LoRA名:1>

に設定して行いました。

これらの設定を行うことでテクスチャー張り替えLoRAを使用することができます。

LoRAを使ってみたい方へ

以下のnoteでは完全オーダーメイドでLoRAを作成いたします。

今回の研究内容が参考になった方は以下のツイートを引用リツイートでコメント頂けると嬉しいです！