見出し画像

【Trellis.2 4B】ローカル最高峰の最新3Dモデル生成AI【Microsoft】

はじめに

限られた資源のローカルパソコン環境では、1枚の画像から3Dメッシュ・モデルを生成できるAIモデルは限られ、今まではHunyuan3Dぐらいしかありませんでした。

しかもオープンなのはHunyuan3D 2/2.1のみで、それ以降のバージョンはクローズドサービスになっています。メモリ要求も大きく、テクスチャ込みの場合の生成は、事実上Hunyuan3D-2しか選択肢がありません。

そこに、マイクロソフトがTrellis.2の4Bパラメータのモデルを公開しました。しかもPBRマテリアルも生成できるとあるので試してみるしかありません。

ただし、24GBのVRAMが必要とあるので、16GBのRTX 5060 tiでどこまで利用可能なのかはわかりません。

※ 512解像度ですが、RTX3060 12GBのGPUで生成できる事も確認しました

そして、最近ComfyUI用のノードも利用可能になりました。

導入

※ 最初はWindows環境で試したのですが、上手くいかず、すぐに諦めました。WSL2(Linux環境)での動作です(python3.12/cuda2.8/pytorch2.9)

ComyUI-Managerから導入可能なので、(上手く行けば)簡単です。

※ 3D系はpytorchだけでなくnvccを使ったりする事が多いので、依存関係がメチャクチャになりがちなWindowsだと非常に面倒です。ただし、ちゃんと環境を整えればWindowsでも動くようです。筆者環境では良く見るutf8関係のエラーが出たので早々に諦めました。

  • ComfyUI-GeometryPack

  • ComfyUI-TRELLIS2

を導入します。

画像
ComfyUI-Manager

動作テスト

メッシュのみ生成

サンプルワークフローを見つけられなかったので、上記githubの画像ファイルを参考にしたものです。

画像
1024解像度で生成
画像
Blenderで表示

ローカルでここまで出来るのは驚異的です。

テスクチャ込みで生成

筆者環境(RTX 5060ti 16GB)では、1024解像度でメモリが足りませんでした。すべて512にして生成します。

画像
画像
Blenderで表示

十分なクオリティです。ただし、512解像度では、PBRマテリアルはおまけ程度のようです。

画像

少し修正します。

画像
画像

AI生成の人物画像の場合

画像
Z-Image-Turboを利用
画像
画像
Blenderで表示
画像
テクスチャあり

まとめ

ローカルで動作可能の静止画1枚から3Dオブジェクトを作成するAIモデルとして、現状では最高峰だと思います。

付録

本記事で利用したワークフローを、支援者様(メンバーシップ)向けに添付しています。参考程度にご利用ください。

ここから先は

30字 / 2ファイル

メンバーシップ ¥ 1,000 /月

3Dモデルや写実的なAI画像の実戦テクニックやノウハウをアップしていきます。

76名が参加中

ベーシックプラン

¥1,000 / 月
初月無料

この記事が気に入ったらチップで応援してみませんか?

ピックアップされています

Blender + Stable Diffusion

  • 45本

購入者のコメント

コメントするには、 ログイン または 会員登録 をお願いします。
買うたび 抽選 ※条件・上限あり \note クリエイター感謝祭ポイントバックキャンペーン/最大全額もどってくる! 12.1 月〜1.14 水 まで
【Trellis.2 4B】ローカル最高峰の最新3Dモデル生成AI【Microsoft】|Catapp-Art3D
word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word

mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1