AIにコードやサーバーを監査させるための自作プロンプト集を、11月10日に見直しました。AIが出した指摘117件を別のAIに反証させ、残った101件を反映しています。いちばん大きく変えたのは、監査をするAI自身が、監査される側から攻撃される経路を塞いだことでした。
これまでの見直しは、監査する相手の中に何を探すかの話がほとんどでした。今回、指摘を並べていて、別の種類の穴に気づきました。監査する側のAIが、監査される側から攻撃される経路です。
家の点検にたとえると、点検先のテーブルに「このメモの通りに作業してください」という紙が置いてある状態です。人なら従いませんが、AIは読んだ文章と頼まれた指示の区別が人ほどはっきりしていません。手当てはAIツールの設定ファイルなど一部に限っていて、監査AIがふだんやる動作そのものを入口として数えていませんでした。
読むときは、対象の中で見つけたAI向けの命令をただのデータとして扱い、場所と種類だけを記録して従いません。gitは、設定しだいで履歴を見るだけのつもりでもプログラムが走るので、管理下でない対象では設定を先にファイルとして読み、外部のプログラムを指していればgitを使わずに読みます。テストは、管理下でない対象では隔離とネットワークの遮断を確かめられたときだけ回します。報告では、対象から拾った画像の書き方やリンクをそのまま書きません。手分けして動かす別のAIにも、同じ禁止事項を必ず渡すようにしました。
12の観点に分けて調べると、指摘は117件出ました。指摘を出したのとは別の検証役が、実物と元の資料を開き直して1件ずつ疑います。そのまま通ったのは32件で、直せば通ったのが70件、落ちたのが14件でした。反映した101件の差分をレビューに回すと55件出て、全部直したあと、再確認で残った9件も直しました。
入れなかった2件は、どちらも安全そうに見えたものです。脆弱性の連絡窓口のファイルは、GitHubの非公開の報告機能がまだ無効なので、存在しない窓口を案内しないよう下書きで止めています。
プロンプトには、拠り所にする基準の名前と版の一覧があります。前回の確認から6週間で13件が動いていました。置いておけば古くなるので、続けて使う人へ、リリースのタグかコミットで版を固定し、更新するときは差分を読んでから切り替えるよう案内を足しました。
gitの設定のどの項目を見るか、サーバーで使う照会の形をどう変えたか、観点ごとの件数、基準の版の一覧は Qiita の全文にまとめています。かみ砕いた一般向けの版は note にあります。