勉強熱心なAIと会議する「ガリ勉くん」
【更新履歴】
・2026/3/20 バージョン1.0公開。
(中略)
・2026/3/21 バージョン1.1公開。
・ダウンロードされる方はこちら。↓
・AIの学習(Q-LoRA)には、Pythonと専用のライブラリ群が必要です。
・Windows環境でコマンドプロンプト(またはPowerShell)を開き、
以下のコマンドで必要なライブラリをインストールしてください。
PyTorch (GPU用CUDA 12.1対応版。
※ご自身のCUDA環境に合わせてください)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
Hugging Faceの学習ライブラリ群
pip install transformers datasets peft trl accelerate
4-bit量子化(VRAM 12GBに収めるための必須魔法)
pip install bitsandbytes・パスが通っていないなら、これを環境変数Path二追加する。↓
C:\Users\ユーザー名\AppData\Local\Programs\Python\Python314
■Python環境の準備(RTX 3060 12GBを想定)
・AIの学習(Q-LoRA)には、Pythonと専用のライブラリ群が必要です。
・Windows環境でコマンドプロンプト(またはPowerShell)を開き、
以下のコマンドで必要なライブラリをインストールしてください。
PyTorch (GPU用CUDA 12.1対応版。
※ご自身のCUDA環境に合わせてください)
python -m pip install torch torchvision
Hugging Faceの学習ライブラリ群
python -m pip install transformers datasets peft trl accelerate
4-bit量子化(VRAM 12GBに収めるための必須魔法)
python -m pip install bitsandbytes
■train_lora.pyについて
・推論(チャット)に使っている .gguf というファイル形式は、
「動かす(推論する)」ことだけに特化した圧縮形式のため、
直接学習のベースにすることはできません。
・そのため、学習スクリプト(train_lora.py)に渡す
ベースモデルへのパスには、
Hugging Faceなどからダウンロードした
元のモデルフォルダ
(.safetensors ファイルなどが入っているフォルダ)
を指定する必要があります。
■運用フロー:
推論用:
・llama-3-8b.gguf を指定してチャットする。
学習用:
・llama-3-8b(Hugging Face形式のフォルダ)を指定して
LoRAを作成する。
学習後:
・出来上がったLoRAを、
再び .gguf モデルにくっつけて推論する。


コメント