monycorp

・AIの学習（Q-LoRA）には、Pythonと専用のライブラリ群が必要です。 ・Windows環境でコマンドプロンプト（またはPowerShell）を開き、 　以下のコマンドで必要なライブラリをインストールしてください。 PyTorch (GPU用CUDA 12.1対応版。 ※ご自身のCUDA環境に合わせてください) pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 copy Hugging Faceの学習ライブラリ群 pip install transformers datasets peft trl accelerate copy 4-bit量子化（VRAM 12GBに収めるための必須魔法） pip install bitsandbytes copy ・パスが通っていないなら、これを環境変数Path二追加する。↓ C:\Users\ユーザー名\AppData\Local\Programs\Python\Python314 ■Python環境の準備（RTX 3060 12GBを想定） ・AIの学習（Q-LoRA）には、Pythonと専用のライブラリ群が必要です。 ・Windows環境でコマンドプロンプト（またはPowerShell）を開き、 　以下のコマンドで必要なライブラリをインストールしてください。 PyTorch (GPU用CUDA 12.1対応版。 ※ご自身のCUDA環境に合わせてください) python -m pip install torch torchvision copy Hugging Faceの学習ライブラリ群 python -m pip install transformers datasets peft trl accelerate copy 4-bit量子化（VRAM 12GBに収めるための必須魔法） python -m pip install bitsandbytes copy ■train_lora.pyについて ・推論（チャット）に使っている .gguf というファイル形式は、 　「動かす（推論する）」ことだけに特化した圧縮形式のため、 　直接学習のベースにすることはできません。 ・そのため、学習スクリプト（train_lora.py）に渡す 　ベースモデルへのパスには、 　Hugging Faceなどからダウンロードした 　元のモデルフォルダ 　（.safetensors ファイルなどが入っているフォルダ） 　を指定する必要があります。 ■運用フロー： 推論用： ・llama-3-8b.gguf を指定してチャットする。 学習用： ・llama-3-8b（Hugging Face形式のフォルダ）を指定して 　LoRAを作成する。 学習後： ・出来上がったLoRAを、 　再び .gguf モデルにくっつけて推論する。