前回の記事で、ついノリでMac Studio（M4 Max、メモリ128GB）を買ってしまった話を書きました。買った時点ではローカルLLMを触ったことがなく、「次回は実際にセッティングしてみます」という宣言だけを残して終わっていたのですが、あの後ちゃんと触ってみました。
動かすところまではいけましたが、そこから先が思っていたより深い沼でした。
OllamaとLM Studio、両方入れてみたらいきなり沼っぽさを感じた
とりあえず定番と言われているOllamaとLM Studioを両方入れてみたのですが、インストール自体はすぐ終わっても、そこから先が長いです。
まず最初にどのモデルを使えばよいか迷いすぎる件。似たような名前のモデルがずらっと並んでいて、パラメータ数も4Bから100B超えまでバラバラで、しかもモデルをダウンロードした後も、量子化の形式やコンテキスト長といったパラメータ設定が待っています（…と書いてますが、まだよくわかっていません。AI提案を鵜呑みでセッティングしてます）
内心、「入れて終わり」だと思っていたのですが、細かい設定が多くて、いきなり沼っぷりを感じています。ChatGPT5.6SolとかClaude Opus5とか、セット済みになっているクラウドサービスは楽だったんですね(笑)
Gemma 4 31Bはサクサク動いた。でも「チャットするだけ」に物足りなさを感じた
とはいっても、最初の挑戦としてGemma 4 31Bを試したところサクサク動いて、Mac Studioの128GBメモリが効いているのか、体感でもストレスなく返ってきます。
内心、「これ、思ったより普通に使えるやつだ」とちょっと安心しました。
ただ、しばらく普通にチャットしてみて気づいたのですが、単なるチャット用途だとChatGPTやClaudeのWeb版で十分で、正直あまり意味がありません。で、ここでようやく実感したのが、ローカルLLMの価値は「チャットする」ことではなく、「エージェンティックに動かせるかどうか」にあるということでした。手元のファイルを読ませたり、コードを書かせたり、実際の作業を任せられて初めて意味が出てくると考えています。
Claude Codeで動かしてみたら、2秒が2分に化けた話
そこで、Claude CodeをローカルLLM経由で動かせると聞いて、早速試してみました。
Ollamaの通常チャットで話しかけると返答はだいたい2秒くらいなのですが、同じモデルをClaude Code経由で動かしたところ、「こんにちは、あなたのモデルを教えてください」と入れただけなのに、返ってくるまで2分かかりました。
たった一言のあいさつに2分。何かの間違いかと思って何度か試してみましたが、結果は変わりませんでした。
気になったので、Claude Code自身に理由を聞いてみました。返ってきた答えは、裏側で大量のシステムプロンプトを一緒に送っているから、というものです。裏を取ったわけではないので本当のところは分かりませんが、Ollama単体のチャットとは投げているプロンプトの量そのものが違うらしく、少なくともPCの性能不足が原因でないことだけは間違いないと思っています。
奥が深いです。この件は、OpenClawやHermes AgentなどのローカルLLMで使える他のエージェントの使用も検討してみたいと思っています。
沼だけど、触ってみる価値はある
インストールしてモデルを動かすところまでは、思ったよりあっさりできました。ただ、モデル選び・パラメータ設定・エージェント経由での速度差と、進むたびに新しい沼が出てくるので、手放しで「簡単でした」とは言えないというのが正直な感想です。
ちなみに今回、もうひとつ地味にストレスだったのがMacのキーボードでした。Windowsキーボードをそのまま繋いで使っているのでキー配置の違いはあるし、20年ぶりにMacを触ってみたら、体がすっかりWindowsに染まっていて、ちょっとしたショートカットの違いに地味にイライラしている自分がいました。Windows環境に寄せる設定が必要だな、と気づいたのですが……その話はまた次回にします。
試してみた の記事はこちらにまとめています。