失敗談 2026-06-19

そもそもRTX4060でいけるのか。ローカルLLMでClaude Code × Ollama を動かそうと挑んで全滅した話

RTX4060 と Ollama でローカル LLM から Claude Code を動かそうと挑む様子。8GB の GPU メモリに収まらず PC が固まる現実を示すイラスト。

8GB の GPU（RTX4060）で、ローカル LLM だけで Claude Code を動かせないか。配線まではできていたので、あとはモデルを選ぶだけ——のはずだった一日の記録です。結論から書くと、手元で試したモデルは全部だめでした。何がどう「だめ」だったのかを順番に並べていきます。

note で読む →

前提：配線はできていた、あとはモデルを選ぶだけ

ホスト Windows 側に Ollama を立てて、ゲスト（開発環境）から API を叩く配線は前回終わっていました。GPU を積んでいるのはホスト側。そこでモデルを動かして、Claude Code はゲストから呼ぶ。構成としては素直です。

今回の縛りはざっくり 4 つ。tool（道具呼び出し）に対応していること、8GB の GPU に収まること、できればコーディングが得意なこと、そして個人的な好みで 中国製は避けたい。最後の 1 つは趣味の領域ですが、これを足した瞬間に候補がごっそり減りました。8GB に収まってコーディングが得意なモデルは、けっこうな割合が中国製です。残ったのは IBM の 8B か、定番の Meta 系くらい。

軽量モデルは「対応している」と「実用になる」の差で全滅

最初に触った軽量モデルは、起動した瞬間に tool 非対応のエラーで落ちました。Claude Code はファイル読み書きもコマンド実行も全部 tool 経由なので、ここが使えないモデルは初手で詰みます。賢さ以前に仕組みがかみ合わない、というやつです。

次に IBM の 8B モデル。起動はする、エラーも出ない。けれど「今日は何日ですか」と聞くと変な記号が 1 つ出るだけ。「群馬の気温は」と聞くと、tool を呼び出すための命令文（JSON っぽい構造）をそのまま地の文として吐き出してくる。道具を呼んでいるつもりが、ただ独り言を画面に書いているだけでした。

そこで定番の Meta 8B に切り替えました。今度は別方向のおかしさです。「今日は何日ですか」に対して、Claude Code がそのモデルに渡している system プロンプトをそのまま日本語に訳して、頭から音読しはじめたのです。役割の説明、環境の情報、注意事項。質問には一文字も答えていません。

正直、画面の前で笑いました。同時に「ああ、これが 8B の限界か」と腹に落ちます。賢さが足りないと、「これは自分への指示」「これはユーザーへの返事」の区別すらつかなくなる。tool 呼び出しの仕様に「対応」していても、「実用になる」まではもう一段あるんだな、というのが一番大きな学びでした。

クラウドに逃がしたら、別世界だった

ローカルにこだわるのをやめて、Ollama 経由でクラウド側の大きいモデルを借りてみました。手元の GPU では動かせないサイズを、向こうのデータセンターで動かして API で借りる仕組みです。中国製を避けて、無料枠で使えて、コーディングもこなす。その条件で残ったのが、OpenAI が公開している大きめのモデル（gpt-oss:120b 相当）でした。

同じ質問をぶつけると、別世界です。「今日は何日ですか」にはちゃんと日付で答える。「群馬の気温は」には自分で Web 検索 tool を呼んで調べに行く。「この設定ファイル読める?」には実際にファイルを読みに行って要約する。さっきまでの 8B 勢とは挙動が違いすぎて、同じ Claude Code を見ているとは思えませんでした。

もちろん完璧ではありません。気温を取りに行ったとき、日付を 1 年間違えていました。本家 Claude ほどの正確さはまだ出ない。それでも、tool をちゃんと使えるかどうかの差は、想像していたよりずっと大きい。賢さの差というより、振る舞いの安定性の差です。

未練で大きいモデルを手元に落としたら、PC ごと固まった

それでもローカルをあきらめきれず、クラウドで動いていたモデルの「小さい版」(20B クラス、13GB ほど)を手元に落としました。これなら 8GB GPU でもなんとかなるかも、と。

ダウンロードして起動して、「今日は何日ですか」と打った瞬間から地獄でした。GPU の VRAM 8GB には当然収まらない。あふれた分はメインメモリに逃げますが、メインメモリは仮想マシンに食われていて空きがほとんどない。逃げ場をなくしたデータは、最後に SSD のページファイルへ押し出される。

そこからは PC 全体がディスク待ちで固まりました。リモート接続も切れる。マウスがまた動き出すまで 5 分。Ollama を kill して、ようやく息を吹き返しました。「今日は何日ですか」の一言でここまでやられるのは、さすがに想定外です。

冷静に整理すると、原因は単純でした。(1) GPU VRAM が 8GB しかないので大きいモデルが乗りきらない。(2) メインメモリも薄いので「乗りきらなかった分の逃げ場」もない。メモリを増やせばフリーズは避けられるけど、それで速くなるわけではない。GPU に乗らない限り、結局 CPU でのろのろ動くだけ。本丸はやっぱり VRAM のほうです。

今回試したモデル一覧と、次の一手

順番に並べるとこうなります。

ローカル（手元の GPU で動かそうとして、全部だめだった組）

gemma3:4b … tool 呼び出しに非対応。起動した瞬間にエラーで停止
granite3.3:8b（IBM）… tool 用の命令文を、そのまま地の文として垂れ流す
llama3.1:8b（Meta）… 渡された system プロンプトを音読して、質問には答えない
gpt-oss:20b（OpenAI・ローカル版）… 8GB に乗りきらず、PC ごとフリーズ

クラウド（データセンターの GPU を借りる側。こっちは動いた組）

gpt-oss:120b-cloud（OpenAI）… tool 呼び出しもファイル読みも正常。今回の現実解
nemotron-3-super:cloud（NVIDIA）… こちらも候補。中国製を避けたいときの数少ない選択肢

中国製を避けたいという縛りを外せば、コーディング最強クラスはむしろ中国系に多い、というのが今回の正直な感触です。

今の構成では、クラウドのモデルに任せるのが現実解でした。次の手はいくつかの方向があります。極小モデルを試す方向、避けていた中国モデルを割り切って使う方向、素直にクラウドに寄せる方向、そして「そもそも AI ベンダー純正の Claude や Codex を普通に使うのが、トータルではいちばんコスパがいいんじゃないか」という、今回いちばん身にしみた疑問への方向。

RTX4060 で Claude Code を実用的に動かせる日は来るのか。その問いを抱えたまま、また小さく試していきます。次は、たぶんメインメモリを増やしてからです。