はじめに

製造業でローカルLLMの導入が話題になっています。

「ChatGPTは便利だけど、機密情報を扱えない」 「社内にサーバーを置けば、安全に生成AIが使えるらしい」 「最近のローカルLLMは性能が高いと聞いた」

こういった期待を持って、ITベンダーに相談する。担当者は丁寧にヒアリングしてくれます。立派な提案書も届きます。そして見積もり。金額は300万円から1,500万円、期間は3ヶ月から半年。

数ヶ月経って契約が成立し、プロジェクトが進みます。要件定義、環境構築。そして2〜3ヶ月後、ようやく検証環境が完成します。

検討開始から半年が経過。ようやく現場の担当者が触ってみる。
「あれ、このUI、使いにくいな...」 「既存の業務フローに合わない」 「思ったより効果が出ない」

でも、既に300万円を払った後です。

問題は、ITベンダーのPoCが悪いわけではありません。問題は、「触る」のが遅すぎることです。

実際に使ってみないとわからないことは多い。UIの使い勝手、業務フローとの整合性、現場の受け入れ。これらは触ってみて初めてわかります。

この記事では、別のアプローチを提案します。

まず触る。小さく始める。課題を明確にする。そこから判断する。

数百円で1週間試す。30万円で2週間、実環境で検証する。課題も効果も明確になった時点で判断する。自社で本格化するか、専門業者に相談するか、またはやらないか。

「とりあえずPoC」に300万円使う前に、やれることがあります。ご自身で負荷なくできるところまで進めて、課題と効果を明確にしてから業者に相談すれば、もう失敗しません。

1. なぜ「触らないとわからない」のか

レポートには書かれないこと

ITベンダーのPoCレポートには、技術的な検証結果が書かれています。モデルの精度、処理速度、システム構成。でも、実際に導入すると見えてくる問題は、レポートには書かれていません。

触ってみて初めてわかること：

• このUIは現場の人が使いこなせるか

• 実際のデータでどのくらいの精度が出るか

• どのくらい手直しが必要か

• 業務フローのどこで詰まるか

• 現場の人は本当に使ってくれるか

具体例

ある製造業で、特許文書の翻訳にローカルLLMを導入しようとしました。レポート上は「翻訳精度95%」と記載されていました。

実際に使ってみると：

• 化学式の部分が誤訳される

• 図表番号の参照がずれる

• 1つの文書が長すぎると処理が途中で止まる

• 結果をExcelに貼り付けると改行が崩れる

これらは全て、実際に触らないとわかりませんでした。でも、これが分かったからこそ、対策も立てられました。

2. 段階的アプローチが最も効率的な理由

課題を正確に把握できる

小さく始めて、段階的に進めることで、それぞれのステップで新しい課題が見えてきます。

ステップ0（体験）: そもそもLLMで解決できそうか
ステップ1（小規模検証）: 実業務での精度、速度、使い勝手の問題
ステップ2（本格運用）: 複数ユーザー、大量データでの問題

各ステップで課題を洗い出し、解決してから次へ進む。この方が、結果的に早く、確実に、本格運用にたどり着けます。

業者に依頼する際も明確に指示できる

もし本格運用で専門業者に依頼する場合、課題が明確になっていることが重要です。

課題が不明確な場合： 「ローカルLLMを導入したいんですが...」 → 業者も何を提案すれば良いか分からない → 汎用的な（高額な）提案になる → 結局、実際の課題解決にならない

課題が明確な場合： 「特許翻訳で、化学式の誤訳が多い。1文書が長いと処理が止まる。この2点を解決したい」 → 業者は具体的な解決策を提案できる → 的確な見積もり → お互い納得できる契約

段階的に進めることで、業者との関係も良好になります。

投資判断が明確になる

各ステップで効果を確認してから次の投資を判断できます。

もし効果が出なければ、早い段階でストップできる。損失は最小限。逆に効果が確認できれば、自信を持って次の投資ができます。
判断例は下記のとおりです。

3. ステップ0: まず体験する（OpenRouter）

目的

「そもそもLLMで解決できそうか」を体感で確認します。

やり方

OpenRouterというサービスを使います。これは様々なLLMモデルを試せるサービスで、ローカルLLMのモデル（gpt-oss-120b、Gemma 3等）も利用できます。

実際の業務タスクを投げてみます。例えば：

• 技術文書を要約してみる

• データを分類してみる

• 報告書の下書きを作らせてみる

重要なのは、機密情報は使わないこと。サンプルデータや公開情報で試します。

モデル

コスパを重視すると、選択肢は多くありません。
画像も読み取りたい：Gemma3-27b
テキストのみで良い：gpt-oss-120bかQwen3-30a-3b

何がわかるか

• LLMで課題が解決できそうか（精度の感覚）

• どんな使い方ができそうか

• どのモデルが良さそうか

コストと期間

費用：数百円（利用料） 期間：1週間

この段階で見えてくる課題

「意外と使える」 「でも、専門用語が少し怪しい」 「長い文章だとどうなるんだろう」 「実際のExcelデータでどう処理するか」

こういった疑問が出てきます。それが次のステップへのヒントになります。

4. ステップ1: 実環境で課題を洗い出す（Ryzen AI Max+ 395）

目的

実際の環境（機密情報を含む）で試して、具体的な課題を洗い出します。

構成例1

（重要） この30万円の構成は、テキスト処理（gpt-oss-120bなど）を実用的な速度で動かし、「実データでの課題」を洗い出すための最安・最速の検証機です。

もしステップ0で「Gemma 3（画像対応）が必須」と判断した場合、このPCでは出力が遅いため推奨できません。その場合は、ステップ1を飛ばしてステップ2（NVIDIA GPU環境の構築）に進むことを検討してください。

• PC : EVO-X2（プロセッサ: Ryzen AI Max+ 395、メモリ: 128GB統合メモリ）

• OS : Windows

• ソフトウェア: LM Studio（無料）
  ChatGPTとほとんど同じ画面のチャットアプリです。

• モデル例: gpt-oss-120b
  画像認識を含む色々なモデルを無料でインストールできますが、Gemma3など高性能モデルの場合は出力が遅いのでNVIDIAのGPUを推奨します。
  追記（2025/11/22）
  下記noteで検証したQwen3-vlシリーズもかなり良いです。とりあえず、これで試して！

費用：約30万円 セットアップ時間：数時間

何をするか

実際の業務データで試します。そして、現場の人に使ってもらいます。使用例を下記に示します。

最初の1週間は自分で試す。次の1週間は、現場のメンバー2〜5名に使ってもらう。

この段階で見えてくる課題

実際に使ってみると、様々な課題が見えてきます。

技術的な課題：

• 処理速度が思ったより遅い（特に、ローカル）

• 特定の専門用語の精度が低い

• ファイル形式によってエラーが出る

• 長い文書だと途中で止まる

業務フローの課題：

• Excelとの連携がスムーズにいかない

• 結果の確認作業が意外と手間

• どこまでをLLMに任せるか判断が難しい

現場の受け入れの課題：

• 「本当に正確なの？」という不安

• 使い方が分からない人がいる

• 既存の作業手順との整合性

これらは、触ってみないとわかりませんでした。でも、わかったからこそ対策が立てられます。

効果測定も忘れずに

処理時間、工数削減、品質の変化を記録します。数字で見えると、次の判断がしやすくなります。

5. ここで判断する - 課題が明確になっている

2〜3週間の検証で、手元には以下のものが揃っています：

• 実運用可能なシステム（30万円で構築済み）

• 定量的な効果データ

• 具体的な課題のリスト

• 現場の生の声

• 解決策のアイデア

この時点で判断できること

選択肢A: 自社で本格環境を構築

課題が明確で、自社で解決できそうなら、GPU環境を構築して本格運用に進みます。

例えば：

• 「処理速度が遅い」→ GPU（RTX A6000）を導入

• 「図表の処理ができない」→ Gemma 3 27B（マルチモーダル対応）に変更、CUDAの使えるNVIDIAのGPUを導入

• 「複数人で使うと遅い」→ vLLM + OpenWebUIで構築、CUDAの使えるNVIDIAのGPU購入

投資額は明確です。150万〜200万円程度。効果も見えているので、投資判断がしやすい。バックアップや冗長性、電力や設置場所などを加味した構成は、絞られた使用者とユースケースに合わせて検討します。ローカルLLMが必要なのは、全社員ではないはずです。

選択肢B: 専門業者に相談

より高度な課題がある場合、専門業者に相談します。でも、この時点で課題が明確になっているので、打ち合わせが効率的です。

業者への依頼内容： 「現在、Ryzen AI Max+ 395でgpt-oss-120bを運用中。週200件の特許要約で、処理時間が30分→10分に短縮。ただし、以下の課題がある：

1. 化学式の要約精度が低い（改善したい）

2. 1文書10ページ超だと処理が止まる（対策が必要）

3. 図表を含む文書に対応したい（マルチモーダル化）

これらを解決する構成を提案してほしい。予算は100万円程度を想定。」

これだけ明確なら、業者も的確な提案ができます。無駄な検証が不要で、お互い納得できる契約になります。

選択肢C: やらない

もし効果が見込めないと分かったら、ここでストップします。損失は30万円。300万円のPoCをやってから気づくより、圧倒的に安く済みます。

6. ステップ2: 本格環境の構築（必要なら）

選択肢Aを選んだ場合、本格的なGPU環境を構築します。すでに精度の異メーはついているので、実データでどの程度の速度か確認します。サーバー構築に関して社内に全く知見がない場合は、業者と相談推奨です。既存のサーバーがあれば、ステップ1を飛ばして、Gemma3を使える環境構築が可能な可能性があります。

構成例2

• GPU: RTX A6000（48GB VRAM以上）

• OS: Linux

• ソフトウェア: Ollama or vLLM+ OpenWebUI

• モデル: Gemma 3 27B（マルチモーダル対応）

費用：150万〜200万円 構築期間：2〜4週間

なぜステップ1で課題を洗い出すことが重要だったか

もし最初からこの構成で始めていたら：

• 150万円を投資した後で「実は業務に合わない」と気づくリスク

• 不要なスペック（または不足するスペック）に投資してしまうリスク

ステップ1で課題を洗い出したからこそ、必要な構成が明確になっています。無駄がありません。

7. 従来手法との比較

従来の「とりあえずPoC」アプローチ

1. 「ローカルLLMが良さそう」という漠然とした期待

2. ITベンダーに相談

3. 300万〜1,500万円で契約

4. デモデータで、3〜6ヶ月の検証

5. 分厚いレポートを受領

6. 「で、実際どう使うか」をまた検討

7. 実際に使ってみると想定外の問題

8. 再検討...

問題点：

• 課題が不明確なまま高額投資

• 「触ってみないとわからない」問題が後回し

• 時間とお金の無駄

• 無理やり成果を謳わないと失敗になるので、本質的な課題の隠蔽

提案する段階的アプローチ

1. OpenRouterで体験（数百円、1週間） → 「使えそうか」確認

2. Ryzen AI Max+ 395で検証（30万円、2週間） → 課題を洗い出す → 効果を測定 → 現場の声を集める

3. 判断する → 課題が明確、効果も見えている → 自社で本格化 or 業者へ相談 or やめる

4. 本格運用（必要なら） → 無駄のない投資

メリット：

• 費用：30万円（従来の1/10〜1/50）

• 期間：1ヶ月（従来の1/3〜1/6）

• 課題が明確になった状態で判断できる

• 触りながら進めるので、問題の早期発見

8. 導入事例のイメージ

ある製造業でのユースケースを想定します。

背景

研究部門で、毎週100件の特許文書（英語・中国語）を調査する業務がありました。1件あたり30分かかり、月間で200時間の工数。

ステップ0: OpenRouterで試す（1週間）

特許文書のサンプル（公開情報）で翻訳・要約を試しました。

結果：

• 「これ、使えそう」という手応え

• ただし、化学式の翻訳が少し怪しい

• 費用：300円

ステップ1: Ryzen AI Max+ 395で検証（2週間）

実際の特許文書で検証しました。調査チーム2名に使ってもらいました。

見えてきた課題：

• 処理時間：30分 → 10分（良好）

• ただし、同時に2名が使うと速度が落ちる

• 化学式の翻訳は、前後の文脈で判断すれば問題なし

• 図表を含む文書は処理できない（次の課題）

効果測定：

• 月間133時間の削減

• 年間約600万円の工数削減効果（時給4,000円換算）

費用：30万円

判断：自社で本格環境を構築

課題が明確だったので、解決策も明確でした：

• 複数ユーザー対応 → Ollama + OpenWebUI

• 図表処理 → Gemma 3 27B（マルチモーダル）

• 処理速度向上 → RTX A6000

ステップ2: GPU環境構築（1ヶ月）

RTX A6000搭載PCを構築（150万円）。

結果：

• 課題が解決

• チーム内展開（チーム5名）へ

総括

• 総投資：180万円（検証30万円 + 本格環境150万円）

• 期間：2ヶ月

• 効果：年間600万円超

• 投資回収：約2ヶ月

もしITベンダーPoCを使っていたら：

• 投資：500万〜1,000万円

• 期間：6ヶ月

• しかも実際の課題は後から判明

段階的に進めたからこそ、無駄のない投資ができました。

9. よくある質問

Q: OpenRouterは安全なのか？

A: 機密情報は使いません。「LLMで処理できるか」を確認するのが目的です。サンプルデータや公開情報で試してください。

Q: 30万円で本当に十分か？

A: 課題を洗い出すには十分です。本格運用は効果確認後に判断すればいいので、リスクは最小限です。

Q: 技術的な知識が必要では？

A: LM Studioなら、ソフトをインストールしてモデルをダウンロードするだけです。基本的なPC操作ができれば大丈夫です。

Q: 段階的に進めると、結局時間がかかるのでは？

A: 逆です。課題が明確になるので、結果的に早く本格運用にたどり着けます。最初から大規模に始めて、後から問題が発覚する方が時間の無駄です。

Q: 結局、専門業者は不要なのか？

A: 不要ではありません。ただし、課題が明確になった後で相談すれば、効率的に進められます。お互いにとって良い関係になります。

Q: 失敗したら？

A: 30万円で早期に判断できます。300万円使ってから気づくより、圧倒的に低リスクです。

10. まとめ

ローカルLLMの導入を検討しているなら、「とりあえずPoC」に300万円使う前に、やるべきことがあります。

段階的に進めることの価値

触らないとわからない課題があります。レポートには書かれない問題があります。段階的に進めることで、それらを早期に発見し、解決できます。

結果的に、無駄のない投資ができます。時間もお金も節約できます。何より、確実に本格運用にたどり着けます。

製造業全体で知見を共有しよう

日本の製造業が、各社で同じ検証を重複して行っている。これは無駄です。製造業では本業で守るべき知見が山のようにあり、LLMの使い方を「機密だから」と躊躇している場合ではありません。

知見を共有して、業界全体で前進しましょう。

最初の一歩を踏み出そう

OpenRouterで試すのに必要なのは、数百円と1週間だけです。それで「使えそうか」がわかります。

分厚いレポートより、1週間の体験。 数ヶ月の検討より、2週間の実践。

段階的に進めれば、課題も効果も明確になります。そこから本格運用へ進むか、専門業者に相談するか、またはやらないか。明確な根拠を持って判断できます。

大手企業に依頼するような「いい感じにやってくれるだろう感」はありません。
課題を考えるのは自分であり、課題解決の責任は業者と現場のユーザーだけではなく自分にも発生します。
でも、現場の本当の課題を把握して、解決に貢献できるか判断できます。

まずは、小さく始めてみませんか。

おまけ

ローカルLLMは楽しいですが、性能や速度を考えるとChatGPTのようなwebサービスに勝てません。勝ち筋があるとしたら、機密性の高いデータの処理かと思います。
また、ローカルLLMでもクラウドのAPIのようにアプリにLLMを組み込めるので、下記に示すような専門ツールとチャットアプリの連携や、大量処理のアプリの構築も可能です。

追記

大企業のDX担当者として、SaaS導入にさいして何がネックとなっているか、現状を書きました。