← ishizakahiroshi.com
振り返り 5分で読める要約版 2026-11-12

AI に CLAUDE.md を監査させるときは、直す前に反証させる。指摘 54 件のうち 12 件は直さなくてよかった

AI の監査の指摘を、直す前に反証する

Claude Code が毎回読み込む指示(CLAUDE.md と、そこから取り込むファイル)を、1 か月ぶりに AI へ監査させました。対象は 9 ファイル、829 行です。返ってきた指摘 54 件のうち 12 件は、別の担当に反証させると落ちました。直す前に反証させた記録です。

Qiita で全文を読む →
記事の要約
指摘 54 件のうち 12 件は、反証で落ちた。落ちた 12 件も、引用は本物だった。

54 件、どれも行番号つきで返ってきた

監査は、矛盾、重複、陳腐化、参照切れ、曖昧の 5 つの観点に分けました。観点ごとに別の担当(サブエージェント)を立てて、互いの結果は見せません。指摘には、実ファイルの行番号と原文の短い引用を必ず付けてもらいます。

返ってきたのは延べ 54 件です。「同じ規則が 3 か所に書いてある」のように、引用を見ると確かにそう書いてあります。どれももっともらしく、直したくなります。

反証させたら、12 件が落ちた

直す前に、観点ごとにもう 1 人ずつ、反証だけをする担当を立てました。頼んだのは 3 つです。引用は実在するか。実際に困ることが起きるか。前に決めたことの蒸し返しになっていないか。確かめられなければ落とす、とも書きました。

残ったのは 42 件、落ちたのは 12 件です。落ちた内訳は、矛盾が 12 件中 3 件、重複が 12 件中 5 件、曖昧が 12 件中 4 件。陳腐化の 7 件と参照切れの 11 件は、1 件も落ちませんでした。日付を過ぎているか、ファイルがあるかという、事実で決まる観点です。落ちた 12 件は全部、文と文を読み比べて出す観点から出ていました。

引用をでっち上げた指摘は 0 件で、12 件とも引用は本物でした。たとえば「3 か所にある」と言われた規則は、開き直すと使う場面が別で、1 つだけ逆向きの規則を一緒に持っていました。「同じファイルの 2 節にほぼ同じ文がある」の片方は、1 か月前の監査で自分が決めて足した行そのものでした。前に決めた経緯を知らないと、直してしまいます。

反証の担当は、残った指摘の直し方も直してきました。「実体の絶対パスへ一括で書き換える」という案には「一括で置き換えると 2 か所が切れる」。開けないガイドの数も、報告の 23 本が、数え直すと重複を除いて 19 本でした。

ふだんの起動では見つからない参照切れ

いちばん影響が大きかったのは、参照切れです。CLAUDE.md には「こういうときは ~/.claude/guides/ のガイドを必ず読む」という行がいくつもあります。ふだんの起動では、全部開けます。

ところが、複数の AI CLI を束ねる自作のラッパー経由で起動すると、ホームが別の場所に差し替わります。そのセッションでは ~ が指す先が変わり、ガイド 19 本が 1 本も開けませんでした。

ふだんのホームと、別のホームで起動したときの ~ の指す先
ふだんのホームでは 19 本とも見つかり、差し替わったホームでは同じ書き方で 0 本になる。

絶対パスで書いた 93 件は、実在しないものが 4 件だけでした。開けなかったことは、こちらの画面には出てきません。ふだんの起動で確かめているかぎり、全部開けるので見つかりません。直し方は、~/.claude がどこを指すかを 1 行で書くことにしました。

減らす話では、もうなかった

1 か月前にも同じ監査をして、直したばかりでした。それでも 54 件です。期日つきの決まりも残っていて、期日を 11 日過ぎ、もう動いている CI を見ない指示になっていました。直し終わったあとの CLAUDE.md は、14,151 字から 15,145 字に増えました。足したのは、読み替えの 1 行や、どちらを優先するかの 1 行です。

学んだことです。指摘は、直す前に別の担当に反証させる。参照切れは、ふだんの起動と、実際に使う起動のしかたの両方で確かめる。成果は字数ではなく、食い違いと古い記述が減ったかで見る。

2026-11-12、Claude Code 2.1.316、自分の環境 1 つでの 1 回の実測なので、割合を一般化するつもりはありません。この手順は、公開しているスキル claude-code-context-diet の plugin 1.3.0 に入れました。

もっと深く読みたい人へ

観点ごとの表、落ちた指摘のもう 1 つの例、スキルの入れ方は、Qiita の全文に書いています。

Qiita で全文を読む →