メモリを64GBに増やしても、また全滅した話

前回の記事の最後に「次は、メモリを増やしてからかな」と書きました。その「次」を試した記録です。8GBのGPUでローカルLLMにClaude Codeを喋らせようとしたら、今度は500エラー・トークン数を数えるAPIの食い違い・21分の応答待ちという、また別の壁にぶつかりました。

この記事のテーマ

ローカルLLM検証の続編です。メモリを32GBから64GB超に増設してフリーズ問題は解消したものの、今度は「無反応(500エラー)」「サーバーソフトごとの応答の食い違い」「応答は正しいが21分かかる」という新しい壁が出てきました。原因を追っていくと、遅かったのはモデル自体ではなく、Claude Codeというハーネスが毎回持ち込む巨大なシステムプロンプトの前処理コストだと分かりました。単体でモデルに聞けば10〜30秒で答えが返る、という発見が、次の一手(より軽量なハーネス経由でローカルLLMを使う)につながります。