「NIKKE」などで知られるSHIFT UPのStable Diffusionを使った自社学習データモデルの開発の講演。

新清士@(生成AI)インディゲーム開発者 @kiyoshi_shin

「NIKKE」などで知られるSHIFT UPのStable Diffusionを使った自社学習データモデルの開発の講演。Loraそのままだと、ちゃんとディティールが出ないので生成物の評価手法を使ったり、NovelAIやMidを使って、ベースを出してi2iでより近いスタイルに変換することもやってるよう youtu.be/FzfYuNtD2-I?si… pic.twitter.com/VJS3MfUE3F

拡大

新清士@(生成AI)インディゲーム開発者 @kiyoshi_shin

要約参考 x.com/wing_sky_nine/…

ツバサ天九@AI男の娘生成おじさん @wing_sky_nine

動画見るの難しいからGeminiで要約したわ このビデオは、ShiftUpというゲーム会社（代表作：Stella Blade）のキム・ドンウク氏が、ゲームアセット作成におけるStable Diffusionの限界について解説したものです。 スピーカーは、Stable DiffusionとMidjourneyは画像生成に広く使われているが、ゲームアセット作成には限界があることを述べています。具体的には、これらのモデルは、人間アーティストが作成したコンセプトアートの独特なスタイルを捉えることができないという問題があります。例えば、Stable DiffusionとMidjourneyは、人間が作成したコンセプトアートに見られる細部やバリエーションを反映するのが苦手です。 ゲームに使える画像を生成するために、スピーカーは複数のモデルを使用した多段階のプロセスを提案しています。動画で説明されたワークフローは以下の通りです。 Stable DiffusionやMidjourneyなどの拡散モデルを使用してベース画像を生成します。 LoraやControlNetなどのコントロールネットモデルを使用して、画像を洗練させ、より多くの詳細とバリエーションを追加します。 別のツールを使用して画像をアップスケールします。 手動で画像を編集し、詳細をさらに修正し、欠点を補います。 このプロセスの重要な側面は、モデルをトレーニングするための高品質なデータセットの作成です。スピーカーは、データセットをフィルタリングして、無関係または低品質な画像を削除することの重要性を強調しています。このフィルタリングプロセスでは、審美的に美しく、ターゲットスタイルとスタイル的に一致する画像を優先する必要があります。 スピーカーは、トレーニングデータの取得の難しさも強調しています。拡散モデルをゼロからトレーニングすることは、膨大な量のデータと計算リソースが必要であり、費用がかかります。代替案として、スピーカーはMidjourneyやNoah AIなどの事前トレーニング済みのモデルを使用し、Loraなどのスタイル転送モデルを微調整して目的のスタイルを実現することを提案しています。 動画からの主なポイントは以下の通りです。 Stable DiffusionとMidjourneyは、細部やバリエーションが不足しているため、ゲームアセットの作成には適していません。 複数のモデルを使用した多段階のプロセスにより、より実用的なゲームアセットを作成することができます。 モデルをトレーニングするには、高品質なデータセットを作成することが重要です。 拡散モデルをゼロからトレーニングすることは費用がかかります。代替案として、事前トレーニング済みのモデルを使用し、スタイル転送モデルを微調整することを検討してください

2024-07-17 15:05:20

新清士@(生成AI)インディゲーム開発者 @kiyoshi_shin

「なんで、アニメ、マンガ、ゲームの社会的地位が上がったかわかります？パラダイムシフトは、結局、世代変化で起こるんですよ。オタク第一世代のヤマト世代は60代に突入しつつあり、ファミコン世代も50代。そりゃ触れてない世代がどんどん減ってるんだから変わります。多分生成AIもそうなりますよ…」

新清士@(生成AI)インディゲーム開発者 @kiyoshi_shin

青龍聖者さんのNIKKE動画まとめ。 「韓国のDiffusion AIはすごい。 1、初期はgpt3を使ってdanbooruタグでキャプションを付けていたが、今はgpt4かローカルのcogvlm2を使う。 2、styleclipを使ってスタイルを分類し、データセットを最適化する。 3、B-loraのような手法でスタイルLoraを作る。」 x.com/bdsqlsz/status…

青龍聖者 @bdsqlsz

Watched the video in detail, Korean diffusion AI is awesome. 1、The early use of gpt3 captioning with danbooru tags, now use gpt4 or local cogvlm2. 2、Using styleclip to classify styles to optimize dataset. 3、Using a B-lora-like method for style lora. x.com/kiyoshi_shin/s…

2024-07-17 19:02:08

青龍聖者 @bdsqlsz

Watched the video in detail, Korean diffusion AI is awesome. 1、The early use of gpt3 captioning with danbooru tags, now use gpt4 or local cogvlm2. 2、Using styleclip to classify styles to optimize dataset. 3、Using a B-lora-like method for style lora. x.com/kiyoshi_shin/s…

青龍聖者 @bdsqlsz

Fixed, using contrastive style descriptors, not style clip

カボチャ @Lantern_pumpkin

草、反AIちゃんNIKKE遊べなくなっちゃうね（前から分かってたが

ノゴハン @nogohann

@Lantern_pumpkin まあグダグダ言い訳しながらツイッターに居座ってるくらいだし・・・

カボチャ @Lantern_pumpkin

キム・ヒョンテがAI活用税なんだから当然NIKKEの開発工程に生成AI入ってるのは自明の話なんだよな。 ここまで堂々とNovelAIとSD使ってると表明してるのに反AIは見ないふりする気か？

カボチャ @Lantern_pumpkin

SHIFTUPが韓国内でどれほどの扱いかは知らんけど「韓国では生成AIは排除される」みたいなこと言ってたアホを祭り上げてた反AIはこれにどう始末付ける気なのかは気になる、見て見ぬふりだろうが

カボチャ @Lantern_pumpkin

少なくとも反AI、特にSDやNovelAIは窃盗ツール、みたいに言っててNIKKEやってる連中はもはや嘲笑の対象ではある

Jun Tamaoki / 玉置絢 @OKtamajun

向こうでもコメント欄荒れるのかなと思ったら荒れる方向が「こんだけしか教えてくれないのか、もっと教えてくれ」方向で思ってた反応と違った x.com/kiyoshi_shin/s…

カボチャ @Lantern_pumpkin

なんか自称韓国人の反AIアカウントが韓国でもAIは嫌われてて云々とかさんざん言ってた気がするんだが・・・

ツバサ天九@AI男の娘生成おじさん @wing_sky_nine

動画見るの難しいからGeminiで要約したわ このビデオは、ShiftUpというゲーム会社（代表作：Stella Blade）のキム・ドンウク氏が、ゲームアセット作成におけるStable Diffusionの限界について解説したものです。 スピーカーは、Stable DiffusionとMidjourneyは画像生成に広く使われているが、ゲームアセット作成には限界があることを述べています。具体的には、これらのモデルは、人間アーティストが作成したコンセプトアートの独特なスタイルを捉えることができないという問題があります。例えば、Stable DiffusionとMidjourneyは、人間が作成したコンセプトアートに見られる細部やバリエーションを反映するのが苦手です。 ゲームに使える画像を生成するために、スピーカーは複数のモデルを使用した多段階のプロセスを提案しています。動画で説明されたワークフローは以下の通りです。 Stable DiffusionやMidjourneyなどの拡散モデルを使用してベース画像を生成します。 LoraやControlNetなどのコントロールネットモデルを使用して、画像を洗練させ、より多くの詳細とバリエーションを追加します。 別のツールを使用して画像をアップスケールします。 手動で画像を編集し、詳細をさらに修正し、欠点を補います。 このプロセスの重要な側面は、モデルをトレーニングするための高品質なデータセットの作成です。スピーカーは、データセットをフィルタリングして、無関係または低品質な画像を削除することの重要性を強調しています。このフィルタリングプロセスでは、審美的に美しく、ターゲットスタイルとスタイル的に一致する画像を優先する必要があります。 スピーカーは、トレーニングデータの取得の難しさも強調しています。拡散モデルをゼロからトレーニングすることは、膨大な量のデータと計算リソースが必要であり、費用がかかります。代替案として、スピーカーはMidjourneyやNoah AIなどの事前トレーニング済みのモデルを使用し、Loraなどのスタイル転送モデルを微調整して目的のスタイルを実現することを提案しています。 動画からの主なポイントは以下の通りです。 Stable DiffusionとMidjourneyは、細部やバリエーションが不足しているため、ゲームアセットの作成には適していません。 複数のモデルを使用した多段階のプロセスにより、より実用的なゲームアセットを作成することができます。 モデルをトレーニングするには、高品質なデータセットを作成することが重要です。 拡散モデルをゼロからトレーニングすることは費用がかかります。代替案として、事前トレーニング済みのモデルを使用し、スタイル転送モデルを微調整することを検討してください

ツバサ天九@AI男の娘生成おじさん @wing_sky_nine

この動画の内容です 게임회사에서 느끼는 Stable Diffusion의 한계 - 김동욱(시프트업) | 8th PseudoCon youtube.com/watch?v=FzfYuN…

FoR @For_K_Est

ベースをNAIやMidで出して、自家製LORA使ったi2iでテイスト統一してる感じなのかな？若干顔つきとかイングリッドみたいな雰囲気を感じる けど絵師も複数人居るよな？その辺はどうしてるんだろう x.com/kiyoshi_shin/s…

深津 貴之 / THE GUILD @fladdict

NIKKEの会社、生成AIバリバリ研究してるんか x.com/kiyoshi_shin/s…

Passward @passwardsan

半年くらい前から韓国の案件ではもう使われ始めてた気がする。 日本でも出力したものを参考にとかはやってるしね。 ライティングとかもノーマルマップの生成で精度は高めれるし、あとはパースが自動調節できると楽なんだけどねー。 x.com/kiyoshi_shin/s…

ぎにー @cavia_pig

NIKKEの会社AIしっかり使ってるのすごいな だいぶ浸透してきてる x.com/kiyoshi_shin/s…

グラハムさん@AI術師 @Graham__san

NIKKEの会社凄いなぁ。 こういうところに就職してみたい x.com/kiyoshi_shin/s…

hAIゆーぶ@AI絵得（アイエエ） @haiyoub_dojin

自社モデルを持つ。AIに対する良い一手だと思うんだけどな〜 x.com/kiyoshi_shin/s…

ひびき@ゲーム制作 @Hibiki575

韓国だと上場する規模の会社でも、ばんばんAI使って創ってる！ x.com/kiyoshi_shin/s…

しのゆ𝕏酒くずエンジニア @shinoyu

ちゃんとディティールがNIKKEのキャラモデルになって出てきてるな この辺はやっぱりゲーム分野がめっちゃ強いよな x.com/kiyoshi_shin/s…

百合画像をひたすらAIに描かせる垢 @amphibians_o

さすが尻ゲー界の神々たち… 紅蓮ガチャにかけたお金は無駄じゃなかった x.com/kiyoshi_shin/s…