見出し画像

GPT-OSS 20BをLM Studioでローカル環境で動かしてCRUSHでコーディングしてみたら失敗した話

こんにちは。けいすけです。

Xでこんなポストをしました。

8月6日にOpenAIのオープンソースモデルであるGPT-OSSがリリースされました。

20Bモデルであれば、メモリが16GB程度あれば動作するのでローカル環境でも十分動くんですね。

ということで、LM Studioで動かしてみました。これは動きました。

そして次にCRUSHでコーディングをさせようとしたら、不安定で、全く使い物にならず。

何が悪かったのやら?セッティングミスなのか?

症状としてはこんなところです

CRUSHとLM Studioで何度かやりとりすると通信がつながらなくなります(なぜ?単なるapi呼び出しが切れるってどういうこと?

CRUSH側から見るとこの状態で止まるんですよね。
LM Studio側から見ても、コンソールを見る限りはAPIが呼び出された感じはしないです。どこで詰まっているのやら。

画像

あと、こんなエラーも出ました。(原因は詳しく調べていません)

画像

ちなみにLM Studioで動かしたGPT-OSS 20Bではうまく行きませんでしたが、OpenRouterのapi経由で動かしたGPT-OSS 20Bでは上手くいきました。

うまく行ったというのは、動作が安定していたということであって、できあがったプログラムが良かったというわけでは無いです。

OpenRouterで動いていたということは、もしかしたらぼくが何が設定が間違っていたのかも。

また何か分かったら記事にします。

ではまた次回

いいなと思ったら応援しよう!

けいすけ チップはAI課金に使わせていただきます!

コメント

1

同じAIを使いながら方向性が全く違う分野を突き進んでいるけいすけさんを見るたびに興味が尽きません。楽しそうですね。

ログイン または 会員登録 するとコメントできます。
GPT-OSS 20BをLM Studioでローカル環境で動かしてCRUSHでコーディングしてみたら失敗した話|けいすけ
word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word word

mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1
mmMwWLliI0fiflO&1