見出し画像

FramePackのLoRA配布場所

自分でも段々わからなくなってきたのでここにまとめます。

おすすめ推論環境

Framepack_imgGEN

gradio系のUIが好きならこちら。

ComfyUI

ComfyUIでFramePackの1フレーム推論できるカスタムノードはこちら。
私が「暫定的に1フレーム推論カスタムノード作ったけど、ComfyUI公式レジストリへの登録とか、ComfyUI-Manegerのリストへの登録申請とかそういうのめんどくせぇ~!(カス)」とXで喚いていたら、神フォロワのさわらさん(@xhiroga)がサクッとリファクタした上で公開して下さりました。端的に言って神。

ComfyUIのFramePack高速化

ComfyUI-FramePackWrapper_PlusOneの設定
ノードのjsonを読み込み、各カスタムノードを入れて、モデルをDLすれば推論できる環境になっておりますが、デフォルトのままだと各々の環境に最適化されていないので設定の変更箇所をば。

FramePack Single Frame Sampler
VRAMが少ないPCに対応する為、gpu_memory_preservationが25になっていますが、十分にVRAMがあるPCの場合は(目安:16GB↑)、pu_memory_preservationを6~10位にして大丈夫とのことです。
自分はA6000なので6にしちゃいました。

画像

Load FramePackModel

画像

attention_modeのデフォルトはsdpaですが、以下の手法でSageAttention & Tritonを導入すると高速化するそうです。やってみたらなんか動いたので使っています。

pip install torch==2.7.0 torchvision==0.22.0 torchaudio==2.7.0 --index-url https://download.pytorch.org/whl/cu126 -U
pip install triton-windows==3.3.0.post19 -U
pip install xformers==0.0.30 --index-url https://download.pytorch.org/whl/cu126 -U
pip install sageattention==1.0.6 -U

Torch compile settings
triton-windowsが入ってないと使えないので導入した人はどうぞ。
Load FramePackModelとつなげるやつ。理屈はわからん。とりあえずつなげると早くなるらしい(ふわふわ理解)

画像


1フレーム推論LoRA

ComfyUIワークフロー例

https://github.com/xhiroga/ComfyUI-FramePackWrapper_PlusOne/blob/main/example_workflows/Oneframe.json

写真→線画化LoRA①

植物を黒ベタにしないバージョン

プロンプト

white background, A static photograph  morphs into a black-and-white line drawing style, with the camera and composition held perfectly fixed throughout.

推奨解像度:1024

写真→線画化LoRA②

植物を黒ベタにするバージョン

プロンプト

white background, A static photograph  morphs into a black-and-white line drawing style, with the camera and composition held perfectly fixed throughout.

推奨解像度:1024

線画→グレースケール陰影

プロンプト

Line art is converted to a grayscale shaded image. 

推奨解像度:1024

線画→ノーマルマップ

プロンプト

Converting line art to normal map style.

推奨解像度:1024

イラスト→バケツ塗りつぶし

プロンプト

A static illustration changes style to a flat fill without shading without changing the content

推奨解像度:1024

イラスト→線画なしイラスト

プロンプト

A static illustration changes style to a flat fill without shading without changing the content

推奨解像度:1024

昼→夕方

プロンプト

Only clouds move. The scenery doesn't move at all, and the camera is fixed. It switches from day to evening.

推奨解像度:1024

昼→夜

プロンプト

Only clouds move. The scenery doesn't move at all, and the camera is fixed. It switches from day to night.

推奨解像度:1024

3Dスタイル変換

プロンプト

Converts the input image into a 3D style while preserving the content.

推奨解像度:1024

2Dスタイル変換

プロンプト

Converts the input image into a 2D illustration style while preserving the content.

推奨解像度:1024


カメラ回転系LoRA

https://x.com/tori29umai/status/1925328157420192001

LowAngleはアオリ、HighAngleは俯瞰、lockwiseは時計回り、counterclockwiseは反時計回り
プロンプト

"clockwise": "The camera rotates to face the center of the scene while remaining at a constant distance. Nothing moves except the camera.",
"counterclockwise": "The camera rotates to face the center of the scene while remaining at a constant distance. Nothing moves except the camera.",
"low_angle": "The camera moves down and looks up. Nothing moves except the camera.",
"high_angle": "The camera moves up and looks down. Nothing moves except the camera."

推奨解像度:640

全身立ち絵化

https://x.com/tori29umai/status/1928922785889529894

プロンプト

Move the camera to a position where the full body of the character is visible from the front. Extend both arms diagonally downward and keep the body evenly balanced on both sides. Maintain the character’s original head-to-body ratio.

デフォルメキャラは冒頭に
chibi, Short limbs, large head, deformed body.
とかもつけてあげるといいかも。
過学習気味なので強度「0.5-0.8」でよいかも

推奨解像度:640

4Xアップスケール

推奨解像度:1024

アウトペイント

挙動的にはズームアウトかも?

プロンプト

Extends around the image and outpaints to match colors, objects, lighting, textures, shadows and highlights.

上記のpromptだけでなく、taggerで解析したタグも追加してあげると良いかも?

画像

推奨解像度:1024

KisekaeichiLoRA

ComfyUIワークフロー例

https://github.com/xhiroga/ComfyUI-FramePackWrapper_PlusOne/blob/main/example_workflows/Oneframe_kisekaeichi.json

ポーズ変更

プロンプト

Convert reference images of poses and expressions into character design images.

推奨解像度:640

写真を二次元キャラクター化(背景なし)

プロンプト

Converts photos of people into anime-style character illustrations. Not only the drawing style, but also facial features, body type, clothing, hairstyle, etc. are converted, and the background is changed to a simple white.

推奨解像度:1024

写真を二次元キャラクター化(背景あり・オブジェクトなし)

プロンプト

Converts photos of people into anime-style character illustrations. Not only the drawing style, but also facial features, body type, clothing, hairstyle, etc. are converted.

手に持っているオブジェクトや体を隠すオブジェクトを無視して体を描写します

推奨解像度:1024

写真を二次元キャラクター化(背景あり)

https://huggingface.co/tori29umai/FramePack_LoRA/blob/main/photo2chara_V13_BG-000180.safetensors

プロンプト

Converts photos of people into anime-style character illustrations. Not only the drawing style, but also facial features, body type, clothing, hairstyle, etc. are converted.

推奨解像度:1024


いいなと思ったら応援しよう!

ピックアップされています

ComfyUI

  • 28本

コメント

ログイン または 会員登録 するとコメントできます。
FramePackのLoRA配布場所|とりにく
word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word

mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1