155項目をAIエージェントに並列で直させる前に決めること。監査プロンプト集 v1.0.0 の設計判断
自作の監査プロンプト集を、前回の確認から24日後に点検し直しました。OWASP のページが2本404になっていたほか、監査のためのプロンプトが監査結果そのものを間違わせる誤りも見つかり、確定は189件。これを155項目にまとめ、AI エージェントに並列で直させて v1.0.0 として出しました。
並列にすれば片付くわけではありませんでした。先に決めておくことは3つです。取りまとめは12件以下の束に割る。1つのファイルは1体だけが編集する。食い違う項目は、先に採る側を決めて全員に配る。
候補209件から確定189件、修正155項目、12ファイル、敵対レビュー39件を経て v1.0.0 へ。
この記事のテーマ
同じ論点に、3体が3通りの答えを書いた
155項目には、項目どうしで言っていることが食い違う点が43件ありました。そのうち、サーバー診断で kubectl と DNS の照会を「外への通信の例外」に入れるかどうかは、方針が「owner が決める」のまま空いていました。第1段の3体は「入れない」「入れる」「見送り」と、それぞれ別の答えを書いてきました。1体ずつ見れば、どれも筋は通っています。第2段の前に決定事項を1枚にまとめて配り、全部を「入れない」側へ揃えました。
食い違いの採り方は、エージェントに渡す前に決めておく。契約そのものを変える判断は人間に残す。
止まった8体を、別のモデルが引き継いだ
取りまとめは Claude Fable 5.1 で始め、23体のうち15体が終わったところで週の利用上限に当たりました。2日後に Claude Opus 5.5 へ交代して同じ実行を同じ引数で再開すると、終わっていた15体はキャッシュから返り、止まっていた8体だけが走り直しました。1つの成果物に2つのモデルの出力が混ざったので、どの段をどちらが出したかを記録に残しています。
途中で担当のモデルが替わっても、終わった分はやり直さない。
Qiita 版には、ほかに、読み取り専用のエージェント5体による敵対レビューの指摘39件、作業記録のモデル名が実際と違っていた原因、リリース本文を1分だけ壊した PowerShell の -like と範囲演算子の組み合わせを書いています。
ai-audit-prompts の概要は 作品ページ にまとめてあり、23秒の 紹介動画 もあります。9日で基準の pin が古くなった前回は 9日前の「最新」が、もう古かった。自作の監査プロンプト集を、AIの群れに直させた話 です。