勉強熱心なAIと会議する「ガリ勉くん」
【更新履歴】
・2026/3/20 バージョン1.0公開。
・2026/3/21 バージョン1.1公開。(AI会議室など追加)
※Pythonソースコードのビルドを忘れてました。
・2026/3/22 バージョン1.2公開。(合体部屋、討論モードなど追加)
・2026/3/22 バージョン1.3公開。(画像生成モデル対応など)
・2026/3/24 バージョン1.4公開。(顔のアニメ化を追加など)
・2026/3/24 バージョン1.5公開。(専門データ切り出し、顔合成、
リップシンク風アニメなど追加)
【簡単な説明】
・キャラクター別のLoRAを作るツールです。
・GPUはおそらく必須で、RTX3060あたりからを想定しています。
・ご家庭のゲーミングPCで動作する生成AI(ローカルLLM)の
追加学習、もとい、LoRA作りを簡単にしたものです。
・ベースモデルや他のLoRAと合成することで、
追加学習したのと同じようにして
使用したり、配布したりができます。
・学習方法は、チャットをしながら訂正していく方式と、
クイズをAIに自動生成させる方式の2つがあります。
・作ったキャラクターのLoRAを集めて、
「AI会議室」で討論会をさせることもできます。
・オプションとして、音声入力、音声出力、
顔画像の表示、さらにはそのアニメ、
画像生成、画像生成モデルの追加学習も可能です。
・ダウンロードされる方はこちら。↓
===============================================
《 セットアップおよび実行手順 》
・本ツールをご利用いただきありがとうございます。
・初回起動時は、以下の手順に従って
環境のセットアップを行ってください。
(1) 各種AIツール・モデルの準備(手動セットアップ)
・本ツールを動作させるためのベースとなる
以下のソフトやAIモデルは、
ユーザー様のご利用環境や好みに合わせて、
自由にダウンロードおよびインストールを行ってください。
・テキスト生成AIの環境:Ollama または llama.cpp
・ローカルLLMのモデルファイル(GGUF形式など)、
LoRA、VAEなどの学習・推論用モデル。
・音声合成AI:VOICEVOX
(※本ツールで音声を使用する場合は、
「VOICEVOX」を起動した状態で連携させます)
(2) LivePortraitの配置とパスの設定
・アバターを動画でアニメーションさせる
「LivePortrait」を使用する場合は、
以下の手順を行ってください。
・「LivePortrait」の公式リポジトリ等から
ファイル一式をダウンロードし、
PC内の任意の場所(例:C:\LivePortrait など)に解凍・配置します。
・本ツール(GaribenKun.exe)を起動し、
設定画面から「LivePortrait」のパスに、
先ほど配置したフォルダを指定して保存します。
※設定を保存すると、
本ツールが自動的に必要なAPI通信用スクリプト
(liveportrait_api.py)や、
文字化け対策済みのプログラムを
LivePortraitフォルダ内にコピーします。
手動でのファイルコピーは不要です。
・設定が終わったら、一度本ツールを終了してください。
(3) 統合セットアップバッチの実行(setup_env.bat)
・AIを動かすための複雑なPython環境やライブラリを、
全自動で構築します。
・本ツールの実行ファイルがあるフォルダ内の
「setup_env.bat」をダブルクリックして実行してください。
・このバッチファイルにより、以下の処理がすべて自動で行われます。
・Python 3.11 のインストール。(未導入の場合)
・FFmpeg のインストール。(未導入の場合)
・本ツール専用の仮想環境(venv)の構築。
・PyTorch、FastAPI、ONNX Runtimeなどの
必須ライブラリのインストール 。
・「LivePortrait」に必要な依存ライブラリと、
AI重みファイルの自動ダウンロード。
・黒いコンソール画面が開き、
数GBのダウンロードが行われます。
・「すべてのセットアップが完了しました!」と表示されるまで、
途中で画面を閉じずにお待ちください。
・完了後、キーを押して画面を閉じます。
(4) キャラクターの顔画像と動画(mp4)の配置規則
・チャット画面に
キャラクターを表示・動作させるためには、
以下の規則に従って
ファイルを配置してください。
・キャラクターフォルダの作成
・本ツールの実行フォルダ内にある「Characters」フォルダの中に、
キャラクターの名前で新しいフォルダを作成してください。
(例:Characters\Zundamon)
※内部エラーを防ぐため、フォルダ名は必ず
「半角英数字」にしてください。
・静止画(顔画像)の配置
・作成したキャラクターフォルダの中に、
感情に合わせたPNG形式の顔画像を配置してください。
・ファイル名は「happy.png」「sad.png」のような英語名、
または「喜.png」「哀.png」「普通.png」のような日本語名が
使用可能です。
・happy 喜
・sad 哀
・angry 怒
・surprised 驚
・embarrassed 恥
・anxious 焦
・excited 楽
・love 愛
・neutral 普通
・LivePortraitを使用しない場合は、
この静止画がチャット画面に表示されます。
・LivePortrait用モーション動画(mp4)の配置
・LivePortraitを使用してキャラクターを動かす場合は、
キャラクターフォルダの中に、
動きのベース(お手本)となる人間の顔が映った動画ファイルを
1つ配置してください。
・このファイルの名前は、必ず「base.mp4」
または「driving.mp4」にしてください。
※ツール上でキャラクターを切り替えた際、
この動画が自動的に読み込まれ、
リップシンクやアニメーション合成の
元データとして使用されます。
・生成済み動画の再生について
・AIによって一度アニメーションが生成されると、
キャラクターフォルダ内に
「happy.mp4」や「喜.mp4」といった
感情ごとの動画ファイルが自動で保存されます。
・これらの動画ファイルが既に存在する場合は、
時間のかかるAI生成処理はスキップされ、
保存されている動画が
即座にループ再生される仕様となっています。
==================================================
・ローカルLLMのセットアップについては、こちらを参照。↓
※ビルド済みのLoRA用ツールをダウンロードして解凍し、
フォルダ内の2つの実行ファイルを
このツールの実行ファイルのあるフォルダ内に配置してください。
※音声で入力する場合は、このツールの実行ファイルのあるフォルダ内に
whisper.netのモデルファイルを置いておく必要があります。↓
https://huggingface.co/ggerganov/whisper.cpp/tree/main
※ggml-base.binをダウンロードして、
実行ファイルと同じフォルダ内に配置してください。
※音声を出力する場合は、voiceboxを起動しておいてください。↓
https://voicevox.hiroshiba.jp/
・AIがおしゃべりするのに必要です。
・画像生成や、画像生成モデルの追加学習をする場合は、
StableDiffusion.cppをインストールしておく必要があります。↓
https://note.com/kazuo_furui/n/n44396b99ab68?app_launch=false
🌟「話す、記憶する、そして成長する。
あなただけのAIキャラクターを錬成する
究極のワークベンチ『GaribenKun』登場!」
・ローカルLLMの真価を引き出す、
Windows向け高機能AIチャット
&育成アプリケーション『GaribenKun』。
・単なるチャットアプリではありません。
・AIキャラクターの「記憶」を管理し、
あなたとの会話から「学習データ」を自動生成し、
さらにはローカルで「追加学習(LoRA)」や
「モデルの合体(マージ)」まで完結できる、
まさにAI錬金術師のためのワークベンチです。
【GaribenKunのここがすごい!】
🧠 成長する長期記憶(RAG搭載): あなたとの会話は自動でベクトル化されて記憶されます。過去の出来事やあなたの好みを踏まえた、文脈豊かな会話を実現。
🎭 感情豊かなリアクション: 会話の内容からAIの感情をリアルタイムに分析。喜怒哀楽のパラメーターを画面上に可視化します。
🗣️ 音声と耳を持つAI: VOICEVOXによるフルボイス読み上げと、Whisperによる高精度な音声入力に対応。
🎓 クリック一つで追加学習(QLoRA): AIの返答を「訂正」するだけでデータが蓄積。溜まったデータを使って、あなたのPC上で直接AIの性格や知識をファインチューニング可能!
🧪 禁断の「LoRA合体部屋」: 複数のLoRAモデルを好きな比率でブレンドし、ベースモデルに焼き付け(Bake)。全く新しい人格を創り出せます。
📦 パッケージで共有: 育てたキャラクター(プロンプト+LoRAモデル)は .gkpkg 形式で1つのファイルにエクスポート可能。他のユーザーと簡単に自作キャラクターを共有できます。
Ollama、llama.cpp、そして各種クラウドAPI(OpenAI, Gemini, Claude)にも対応。 ゲーム開発のNPCロジック作成から、理想のパートナーAIの育成まで、GaribenKunがあなたのAIライフを加速させます!
📖 取扱説明書
【概要】
・「GaribenKun」は、ローカルLLM(Ollamaやllama.cpp)
および各種クラウドAPI(OpenAI、Gemini、Claude)を活用し、
AIキャラクターとの会話、長期記憶の蓄積、
そしてあなただけのAIを育成(追加学習)するための
統合アプリケーションです。
【基本のチャット機能と記憶】
(1) サーバーの起動は「設定・ツール」タブから行います。
使用するLLMやクラウドAPIを選択し、
起動または接続ボタンを押してください。
(2) メイン画面の「チャット」タブ下部にある入力欄から
テキストを入力して送信します。
( マルチモーダルに対応しているモデルを読み込んでいる場合は、
画像をドラッグ&ドロップして、画像認識をさせることも可能です。)
(3) あなたとAIの会話は、自動的に分析され、
「長期記憶」として保存されます。
AIは過去の会話や、
あなたの好みを踏まえた返答をするようになります。
(4) AIの返答に含まれる感情は自動で分析され、
画面上のアイコンと感情パラメーターとして
リアルタイムに可視化されます。
【AIの育成と追加学習(LoRA)】
(1) AIの返答が理想と異なる場合
「返答を訂正して学習」ボタンを押し、
あなたが考える「正しい返答」を入力して
データを蓄積させることができます。
(2) データが5件以上溜まると
「追加学習」ボタンが押せるようになります。
(3) バッチサイズやエポック数などの
詳細設定を行い学習を開始すると、
AIの性格を固定化するLoRAモデルが生成されます。
(4) 学習データを入力するのが面倒なのでやりたくない場合は、
「学習データの自動生成」ツールを使ってください。
AIが質問と回答のペアを大量に自動作成してくれます。
【LoRA合体部屋とAI会議室】
(1) 「LoRA合体部屋」を使用すると、
学習した複数のLoRAモデルを好きな比率でブレンドし、
ベースモデルに完全に焼き付けた新しいモデル(GGUF)を
作成できます。
(2) 作成したモデルは、Ollamaなどに読み込ませることで、
他のゲームやアプリケーションのNPCとして
活躍させることができます。
(3) 「AI会議室」では、作成した複数のキャラクターを呼び出し、
特定のテーマについて自動で議論させることができます。
(4) 会議室で「口論バトルモード」を有効にすると、
規定ターン終了時に、司会者AIが
勝敗の判定と熱い総評を行ってくれます。
【キャラクターの共有】
(1) 画面上のメニューから
「パッケージとして書き出す」を選ぶと、
キャラクターの設定と学習済みLoRAが
1つのファイル(.gkpkg)に圧縮されます。
(2) このファイルを他のユーザーに渡して
「パッケージから読み込む」を実行してもらえば、
あなたが育てたAIキャラクターを
そのまま共有することができます。
《学習のコツ》
・ただ闇雲に自動生成したデータを食べさせるのは、
非常に非効率であり、
最悪の場合、AIが「バカになる」原因になります。
(AI特有の不自然な言葉遣いに引っ張られる)
1. 効果が見えてくるデータ量の目安
・ベースモデル(Llama 3 8Bクラスなどを想定)に
このツールの方式「QLoRA」で追加学習させる場合、
目的によって必要なデータ量が全く異なります。
レベル1:口調や語尾を覚えさせる(100 〜 300件)
・「~だにゃ」「吾輩は~である」といった独特の口調や、
出力のフォーマット(必ずJSONで返すなど)を覚えさせるだけなら、
高品質なデータが100件もあれば十分に効果を実感できます。
レベル2:キャラクターの性格や価値観を反映させる(500 〜 1,000件)
・特定の話題に対して
「怒る」「喜ぶ」「独特の持論を展開する」といった反応のパターンを
定着させるには、この程度のバリエーションが必要です。
レベル3:新しい専門知識を暗記させる(数千 〜 1万件以上)
・設定集や特定の業界の知識を
「モデルそのものの脳内に暗記」させるのは、
LoRAの最も苦手とする分野であり、
膨大なデータと計算時間が必要です。
(後述するRAGで解決するのが現在の主流です)
2. より効率よく学習させる「3つの極意」
・ただデータを増やすのではなく、
以下のポイントを意識すると学習効率が劇的に上がります。
① 「自動生成データ」は必ず人間がチェック(クリーニング)する
・LLMに自動生成させたデータ(Synthetic Data)は、
どうしても「AIっぽい、無難でつまらない返答」になりがちです。
・これをそのまま学習させると、キャラクターの個性が死んでしまいます。
効率化のコツ:
・自動生成ツールで100件のQ&Aの「ベース」を作り、
それを人間が「このキャラならもっと皮肉っぽく言うはずだ」
「ここでこの口癖を使うはずだ」と
手作業で尖らせる(微調整する)のが、
最もタイムパフォマンスが良いデータの作り方です。
② データの「多様性」を意識する
・同じような挨拶や日常会話ばかり500件学習させても、
あまり賢くなりません。
・以下のシチュエーションを意識してデータを作ると、
どんなフリにも対応できるAIになります。
未知の質問:
・「知らないこと」を聞かれたときに、キャラらしくどう誤魔化すか。
感情の起伏:
・激怒している時、照れている時、悲しい時のセリフ。
専門領域:
・そのキャラが一番語りたいテーマについての熱い語り。
③ LoRAに「知識」を詰め込もうとしない
・LoRAは『話し方(スタイル)』を学ぶものであり、
『知識(ファクト)』を学ぶものではない、というのが、
現在のAIエンジニアの共通認識です。
・キャラクターの生い立ちや世界観の設定を
LoRAで暗記させようとすると、
膨大なデータが必要になります。
・しかし、GaribenKunにはすでに
「RAG(長期記憶のベクトル検索)」が搭載されています。
・これは非常に理にかなった設計です。
事実や過去の記憶:
・RAG(データベース)から引き出してプロンプトに注入する。
口調や性格、返答のテンポ:
・LoRAでベースモデルに定着させる。
・この役割分担を意識するだけで、
少ない学習データでも驚くほどキャラクターが
生き生きと動くようになります。
3. おすすめの学習フロー(実践編)
・最も効率的なAI育成フローは、以下のようになります。
最初は手動で訂正(数十件):
・まずは普通にチャットをし、
AIが「キャラブレ」を起こしたら
すかさず「返答を訂正して学習」ボタンで
正しいセリフを教え込みます。
・これで高品質な基礎データを作ります。
自動生成でシチュエーションを補強(数百件):
・データ生成ツールを使って、
「このキャラが言いそうなこと」のリストを作ります。
・生成されたリストにサッと目を通し、
AIくさい部分を人間が修正します。
100〜300件溜まったら「追加学習」:
・エポック数「3〜5」、
学習率「0.0002(2e-4)」あたりで学習を回し、
合体部屋でベースモデルに焼き付けます。
RTX 3060 (12GB) で派生モデルを作るための「3つの解決策」
・「毎回LoRAをくっつけて起動するのが面倒」
「1つの独立したGGUFファイル(派生モデル)として扱いたい」
という目的であれば、以下の方法で完全に解決できます。
解決策1:QLoRAで学習し、ベースモデルに「焼き付ける(Bake)」
・これが現在の個人AI開発者における
絶対的なベストプラクティスです。
・実は、「LoRA合体部屋」は、まさにこのために存在します。
QLoRAで学習(省エネ):
・RTX 3060の12GBでも余裕で動く「QLoRA」という技術を使って、
AIの「脳の表面(数%のパラメータ)」だけを効率よく学習させます。(これなら数時間で終わります)
マージ(焼き付け):
・学習が終わったら、GaribenKunの「LoRA合体部屋」を使います。
・ここで、元のベースモデルに、
学習したLoRAの知識を「完全に上書き合体(Bake)」させます。
完成:
・出力されるのは、
LoRAが不要な「1つの新しいGGUFモデル(派生モデル)」です。
・フルファインチューニングしたモデルと全く同じように、
単独のファイルとしてゲームやアプリで動かすことができます。
解決策2:超高速ライブラリ「Unsloth」を使う
・もし「もっと速く、もっと賢く学習させたい」という場合は、
PythonのAI界隈で話題沸騰中の
「Unsloth(アンスロース)」というライブラリを使うのがおすすめです。
・これはQLoRAの計算を極限まで最適化したもので、
通常の2倍の速度で学習でき、
VRAM消費量もさらに減ります。
解決策3:どうしても「フルファインチューニング」したいならクラウドへ
・「どうしてもモデル全体の重みを根本から書き換えたい
(事前学習に近いことをしたい)」という場合は、
自分のPCでやるのは諦めて、
クラウドのGPU(Google ColabやRunPodなど)を数時間だけ借りる
のが一番安上がりで現実的です。
・VRAMが80GBあるモンスターグラボ(A100)でも、
1時間あたり数百円〜千円程度で借りることができます。
・そこでフルファインチューニングを回して、
完成したモデルだけを
自分のPCにダウンロードしてくれば良いのです。
まとめ
・「派生モデル(独立した1つのファイル)を作りたい」という目的は、
「QLoRA学習」+「合体部屋でベースモデルにBake(マージ)する」
という手順で完全に達成できます。
・「LoRAなんてまやかしだ、
フルファインチューニングじゃないとダメだ」
と言う人もたまにいますが、
現在のQLoRA+Bakeの技術は非常に優秀で、
フルファインチューニングと遜色ない品質の派生モデルを
個人レベルで量産できるようになっています。
・ぜひ、合体部屋を活用して
独自の派生モデルを錬成してみてください!
《開発日誌》
2026年3月22日
■バージョン1.2の新機能
学習データの自動生成、AI会議室、合体部屋を追加
Pythonの実行環境をセットアップするbatファイルを追加
■バージョン1.3の新機能
画像生成モデルの学習と、画像生成に対応
・画像認識ができるモデル限定で
指定されたフォルダ内の画像の
アノテーションデータを自動生成して
自動的に学習できるようにしました。
・また、StableDiffusion.cppを起動して
画像の生成ができるようにしました。
学習データの自動生成を強化
・web検索をさせてクイズを作成させ、
その解答を考えてもらうようにしました。
(そのまま答えを教えるよりも学習効率が良い方式)
・web検索の機能も強化されています。
APIによるAI使用に本格対応
・OpenAI、Claude、Gemini、DeepSeekに対応し、
モデル名やパラメータも指定できるようにしました。
AI会議室でもweb検索やベクトル検索を許可
・ちょっと頭が良くなっています。
2026年3月24日
■バージョン1.4の新機能
「LivePortrait」による顔画像のアニメ
・これは別に無くても大丈夫です。
・使用する場合は、
キャラクター名のフォルダ内に、
neutral.pngというファイル名の顔画像を
少なくとも入れておく必要があります。
・感情ごとのpngファイルも使用でき、
さらに、mp4ファイルも使用できます。
・セリフとある程度合わせたい場合は、
2つの合成方式から選べるんですが、
いずれも時間がかかる割には
タイミングがあまり合っていませんので
現時点ではオススメしていません。
会議室の司会を強化
・以下の4種類のスタイルを切り替えて、
議論がうまくいくようにしました。↓
「neutral」(デフォルト)
⋯中立的な促進、全員が公平に発言できるよう配慮。
「socratic」
⋯ソクラテス式問答、前提を問い返して議論を深化させる。
「devil」
⋯悪魔の代弁者、意図的に反論を引き出して議論を活性化。
「summary」
⋯収束志向、合意点を固めながら結論に向けて議論を導く。
2026年3月25日
■バージョン1.5の新機能
・MoE形式のモデルデータから
専門分野のデータだけを切り出すツールを追加。
・LivePortlaitを活用したツールを追加しょうということで、
とりあえず表情の合成ツールを追加。
・音声データの発音の山が出たタイミングでmp4を再生する
独自のリップシンク方式を導入。
・顔の静止画しかない場合でも、動いてる感を出すための
ブラウン管風のフィルタを追加。
・表情ごとの顔画像がない場合は、
neutral.pngを使用するように修正。
⋯その他にも、いろいろテストして修正中です。


ローカルLLMの活用方法として、訪問看護とかする人が、上司に口頭報告するような感覚で音声入力したら、記録用の要約が出力されるような仕組みができないかな?と考えたことがあります。なんかちょっといじれば近いことができそうですね。