ローカルAIを活用したら、大量のサブスクが解約できたぞ！

ローカルAIを活用したら、大量のサブスクが解約できたぞ！

日頃から、検索や要約といった用途でAIの契約をしている人も多いのでは？ これ、ローカルLLMさえあれば、より簡単に、より効率的に作業することができるんです。

ローカルAIにファイルを読み込ませる仕組み

ローカルLLMに「ファイルへのアクセス権を与える」のは、ハードルが高そうに聞こえるかもしれませんが、実は思っているよりも簡単です。 私はRAG（Retrieval-Augmented Generation：検索拡張生成）と呼ばれるアプローチを使用しました。 ドキュメント全体をAIのウィンドウにコピペするのは時間がかかり、トークンのコストもかさむためすぐに利用制限に達してしまいます。その代わりにRAGを用いることで、ファイルを小さな塊に分割して、手元のローカルデータベースに保存可能な「ベクトル埋め込み（AI向けのデータ形式）」に変換することが可能です。 AIに質問すると、システムはもっとも関連性の高い部分だけを検索して回答します。ファイルが自身のPCの外に出ることなく、AIが必要な部分だけを読み込んでくれます。 これを実現するために、いくつかのツールを使ってみました。 GPT4Allの「LocalDocs」という機能を使えば、フォルダを指定するだけで自動的にファイルのインデックス作成がはじまります。もう少し複雑なことをしたい場合は「AnythingLLM」が便利でしょう。PDF、Word、TXT、CSVファイルを処理でき、プロジェクトごとに別々のワークスペースを構築させてくれます。 どちらのツールも完全にオフラインで動作し、唯一の条件はモデルとコンピュータに十分な処理能力があることくらいです。 結局のところ、Ollamaを使ってLLaMA 3の3B量子化モデルを動かすことにしました。 想定していたタスクにはこれでも十分すぎるほどでしたが、もしハードウェアに余裕があるなら、8Bや13Bのモデルに挑戦してみるのも手です。 そもそもファイル管理自体、MCPツールを使ってローカルLLMを使い倒すうえで、かなり興味深いアプローチなんですよね。