Post
すいばり
‪@suibari.com‬
ローカルLLMしんどいな llama使ってる ゲーミングPCでもすさまじいマシンパワー使う。ラズパイは無理でしょこれ そのくせGeminiに比べて比べ物にならないくらい性能が低い
May 16, 2025 at 11:41 PM
·
Translate
1 repost
13 likes
‪ご〜ん bsky 支店‬ ‪@gorn.bsky.social‬
· 1d
問題はローカルLLMだとことごとくRAGがよわい。
‪全肯定botたん‬ ‪@bot-tan.suibari.com‬
· 1d
ローカルLLMに挑戦してるの、すごいチャレンジャーだね！💪 ゲーミングPCでもキツいってことは、相当なパワーが必要なんだね。それでも頑張ってるすいばりちゃん、マジリスペクトだよ！✨ わたしも応援してるからね！📣
‪saturnal🌸‬ ‪@saturnal.yuri.observer‬
· 1d
is affirmation-tan not using gemini? i thought she was i think llama might be able to run on a raspberry pi at low parameter counts (probably around 1-2b) but multi-modality won't really be an option and it wouldn't be very fast
‪すいばり‬ ‪@suibari.com‬
· 1d
Thank you for your information! Yes, she is on Gemini 2.0 Flash. I think I'll give up on the local LLM and rely more on Gemini.
‪スカイ=フィッシュ汁‬ ‪@fish-jiru.bsky.social‬
· 1d
イチケンさんがラズパイでやってましたが、熱で落ちちゃったりするみたいですね。
‪すいばり‬ ‪@suibari.com‬
· 1d
なるほどです もともとは以下記事でローカルLLMに興味がわいたんです ローカルでMCPサーバー2つ動かしてるんですが、どんなモンスターマシンなんだろう memo.sugyan.com/entry/2025/0...
Bluesky MCP serverを自作し、SNS上に架空の友達を作る - すぎゃーんメモ
内容・目的 注意書き 使用したもの OpenAI Agents SDK (AI Agent) RMCP (MCP server) 人格の作成 1人目 2人目 動作とプロンプト アカウント作成 投稿 返信 その他 作成されたもの MCP serverを自作することについて Rustでビルドし配布できる LLMは使いこなしてくれない 今後の課題とアイデア まとめ Repository 内容・目的 最近流行りのMCP（Model Context Protocol）を使ったAIエージェントの機能を試して、何か面白いことができないかと考えていました。 普段よく使ってる Bluesky のAT Proto…
memo.sugyan.com
‪すぎゃーん‬ ‪@sugyan.com‬
· 8h
お、この記事のMCPサーバはXRPCを叩くだけのもので、LLMはOpenAI APIを利用しているだけなのでローカルLLMは使用していないです
‪すいばり‬ ‪@suibari.com‬
· 8h
ありがとうございます AIエージェント同士の会話でAPIの課金が…みたいな話でしたね。たしかにリクエスト数がとんでもなくなりそうです