見出し画像

emamoriとGlaze、Nightshadeの違いについて

emamoriとその他の対AI学習ツール(Glaze・Nightshade)の違いについてよくご質問をいただきますので、本noteでご説明させていただきたいと思います。
(あくまでemamori運営が第三者目線で、Glaze運営の公開情報を読んで解釈したものですので、いち解釈程度にとらえていただけると幸いです。)

emamoriとNightshadeとの違い

emamoriとNightshadeは全く異なる技術です。

AI学習を(ざっくりと)分類すると、事前学習と追加学習があります。

事前学習は、Stable Diffusionのような大きなAIモデルを作る工程です。これを行うのは主にAIモデルを開発している画像生成AI企業です。

これに対して追加学習は、事前学習で出来上がったAIモデルの上で、特定のクリエイターさまのイラストを数枚から数十枚、追加的に学習させる工程です。これを行うのは主にAIイラストを生成している個人などです。

Nightshadeは一個目の事前学習に関係してくる話です。事前学習でAIモデルを作る際、インターネット上の何億枚もの画像を活用しますが、この画像に「毒」を盛り込むことで、事前学習を妨害しようとするものです。毒入りのリンゴを食べまくるとお腹を壊してしまうように、毒入りの画像を学習してしまったモデルは精度が落ちてしまうようです。(具体的には、猫の画像を出力するようにモデルに指示をしたのに、犬の画像が生成されてしまう、など)

なお、いま既に世の中に公開されているStable Diffusionなどのモデルでは、事前学習が既に完了しているため、ネット上にに毒入り画像が増えても関係ありません。Nightshadeが効いてくるのは、画像生成AI企業がこれから新しにAIモデルを開発するときに、ネットから画像をたくさん取ってくるときの話です。あるいは、既存のAIモデルがバージョンアップする際に、新たに画像を取得する場合も効果的かもしれません。

「積極的に毒を盛り込んで事前学習を妨害しよう」とだけ聞くと一見、嫌がらせ目的のように感じる人もいるかもしれませんが、「無断学習をすると毒が入っているリスクがあるから、それなら最初から、クリエイターから許諾を得る代わりに毒が入っていない画像を使おうか」と画像生成AI企業が考えるようになる力学を生み出そう、という狙いのようです。

大事な点として、Nightshadeは「攻撃」するものであって「防御」するものではないため、クリエイターさまはNightshadeをかけても、かけなくても、どっちでもいいよと言っています。逆にいうと、かけたとしても、イラストの模倣を防ぐことはできません。(emamori運営の見解ではなく、Nightshadeのウェブサイトにそのように書かれています。)

少し余談になるかもしれませんが、

初見では、事前学習に使用する画像6億枚(※)のうち仮に100万枚にNightshadeの毒が入っていたところで、0.17%なので、誤差に過ぎないのではないかと思うのですが、Nightshadeはそもそも「いかに少ない毒で大きい数に影響を与えられるか」という研究・技術のようです。

論文の実験では、毒が入っていない100万個(※)の画像に対して、毒画像750個だけで対抗できたようです(犬の画像を指示すると猫の画像が出力されてしまう)

(※)50億枚の画像が含まれるという有名なLAION-5Bから、6億枚の画像/タグのペアを抽出したデータセットがLAION-Aestheticで、画像モデルの学習によく使われるものです。

(※)分母となる、毒が入っていない画像が億単位ではなく100万個であるのは、Nightshadeは6億枚全体にまとめて総攻撃を仕掛けるのではなく、コンセプト別に毒を仕掛けるからです。例えば、モデルの学習に使った画像の総数が数億でも、犬というコンセプトの画像は100万個くらいしか使われていません。

なお、Nightshadeを使用するには高性能なGPUを積んだハイスペックなPCが必要ですが、emamoriはスマホからでもウェブ経由で手軽にご利用いただけます。

emamoriとGlazeの違い

emamoriもGlazeも、事前学習ではなく、追加学習に対して効果を発揮するものですので、同じジャンルです。上述のとおり、追加学習とは既に事前学習で出来上がっているAIモデルの上に、主に個人が、模倣したいイラストを追加的に学習させることです。

追加学習にもいろんな手法がありますが、いま最も普及している手法がLoRAと呼ばれるものです。emamori(v2)の基盤技術(Mist v2)はこのLoRAへの耐性が論文レベルで実証されており、emamori運営もこれを検証済みです。GlazeのLoRA耐性も検証しましたが、有効な結果は得られませんでした。Glazeは論文によるとDreamboothなどへの耐性があるようです。emamoriの無料でお使いいただけるv1はGlazeと同様にDreambooth等への耐性があります。

どれを使えばいいのか

  • 自分の絵をAI学習(追加学習)から守りたい→emamori / Glaze

  • 追加学習の中でも特にLoRAから守りたい→emamori (v2)

  • そもそもの画像生成AI企業が開発しているAIモデルを壊しにいきたい→Nightshade

という分類になるかと思います。

一点注意点としては、Nightshadeは積極的に毒を盛り込み事前学習自体を阻害しにいくため、画像生成AI企業目線では困ってしまうものと思います。日本政府は生成AIの健全な発展を後押ししたい意向が垣間見られるため、Nightshadeのような技術は将来取り締まられる可能性など含めて未知な部分が大きいです。

一方で、emamoriやGlazeのような防御するだけの技術は、政府文化庁からもある程度のお墨付きが得られているように感じ、より安心してお使いいただけるのかなと考えます。

参考:AI 時代の知的財産権検討会 中間とりまとめ骨子(案)にて下記の記載があります。

「画像に特殊な処理(ノイズ)を施すことで学習を妨害する技術は、権利者において自らの作品が AI 学習の用に供される事態を直接的にコントロールすることができるという観点で、当該技術は有用

以上になります。最後までお読みいただきありがとうございました。

通常の情報発信はXでさせていただきますので、こちらもフォローいただけると大変幸いです。https://twitter.com/emamori_ai

引き続き、どうぞよろしくお願いいたします。

この記事が気に入ったらサポートをしてみませんか?

ピックアップされています

注目note☆

  • 26,983本

コメント

ログイン または 会員登録 するとコメントできます。
emamoriとGlaze、Nightshadeの違いについて|emamori
word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word

mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1