2024/1/19、昨年3月にGlazeをリリースした「シカゴの研究チーム」が、第2の機械学習阻害ツールとなるNightshadeを公開。
基本的な構造はGlazeと同じく、「Stable Diffusionそのものを内蔵(＝Nightshade自体が無断学習によって作られている)」「それを使って元絵にゴミデータを合成」「ゴミデータは人間にとっても汚いノイズとして視認されるが、機械学習にとってはもっと邪魔」というもの。
単に壊れたデータを学習させようとしていたGlazeとは異なり、Nightshadeは「描かれているものを別のオブジェクトに誤認させる」、例えば「犬が描かれた絵をAIにだけ猫だと誤認させる」ような画期的な攻撃効果があるとされていた。しかし、リリース後の検証では、BLIPやTaggerに類するツールは正常に動作しており、アナウンスされていたオブジェクト誤認効果は確認されていない。間違ったタグが付与されたゴミデータを学習すると学習モデルがゴミに近づくのは事実だが、それは今までもずっとそうであり、Nightshadeの新機能というわけではない。
前段のGlazeからして、登場から10ヶ月以上経っているにも関わらず、本当に学習阻害効果があるのか未だに分からず、ただ「効果はあるはず」という一種の信仰だけが残っている。現状ではNightshadeも同様の扱いである。
「シカゴの研究チーム」は、GlazeやNightshadeをサーバサイドで処理する事を想定しており、そのために有料サービスを立ち上げる方針であるらしい。
