勉強熱心なAIと会議する「ガリ勉くん」


【更新履歴】

 ・2026/3/20 バージョン1.0公開。
          (中略)
 ・2026/3/21 バージョン1.1公開。

画像
チャットタブ
画像
設定・ツールタブ
画像
学習データの自動生成画面
画像
AI会議室


・ダウンロードされる方はこちら。↓

・AIの学習(Q-LoRA)には、Pythonと専用のライブラリ群が必要です。

・Windows環境でコマンドプロンプト(またはPowerShell)を開き、
 以下のコマンドで必要なライブラリをインストールしてください。

PyTorch (GPU用CUDA 12.1対応版。
※ご自身のCUDA環境に合わせてください)

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121


Hugging Faceの学習ライブラリ群

pip install transformers datasets peft trl accelerate


4-bit量子化(VRAM 12GBに収めるための必須魔法)

pip install bitsandbytes

・パスが通っていないなら、これを環境変数Path二追加する。↓

C:\Users\ユーザー名\AppData\Local\Programs\Python\Python314


■Python環境の準備(RTX 3060 12GBを想定)

・AIの学習(Q-LoRA)には、Pythonと専用のライブラリ群が必要です。

・Windows環境でコマンドプロンプト(またはPowerShell)を開き、
 以下のコマンドで必要なライブラリをインストールしてください。

PyTorch (GPU用CUDA 12.1対応版。
※ご自身のCUDA環境に合わせてください)

python -m pip install torch torchvision


Hugging Faceの学習ライブラリ群

python -m pip install transformers datasets peft trl accelerate


4-bit量子化(VRAM 12GBに収めるための必須魔法)

python -m pip install bitsandbytes


■train_lora.pyについて

・推論(チャット)に使っている .gguf というファイル形式は、
 「動かす(推論する)」ことだけに特化した圧縮形式のため、
 直接学習のベースにすることはできません。

・そのため、学習スクリプト(train_lora.py)に渡す
 ベースモデルへのパスには、
 Hugging Faceなどからダウンロードした
 元のモデルフォルダ
 (.safetensors ファイルなどが入っているフォルダ)
 を指定する必要があります。

■運用フロー:

推論用:
・llama-3-8b.gguf を指定してチャットする。

学習用:
・llama-3-8b(Hugging Face形式のフォルダ)を指定して
 LoRAを作成する。

学習後:
・出来上がったLoRAを、
 再び .gguf モデルにくっつけて推論する。



いいなと思ったら応援しよう!

コメント

コメントするには、 ログイン または 会員登録 をお願いします。
勉強熱心なAIと会議する「ガリ勉くん」|古井和雄
word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word

mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1