エージェントに「脆弱性を探して」はなぜ失敗するのか──Cloudflareが50+リポで示したharnessの正体
この記事で分かること
AIエージェントに「脆弱性を探して」と指示するだけでは失敗する理由と、Cloudflareが50以上のリポジトリで実証した効果的な手法「harness」の正体が明かされる。脆弱性スキャンをAIに任せる際の適切な指示方法や、エージェント設計の注意点が分かる。セキュリティ自動化にAIを活用する際の実践的な知見が得られる。
詳細要約
エージェントに「脆弱性を探して」と漠然と指示すると、発見率が著しく低下する。Cloudflareの50以上のリポジトリ検証では、成功の鍵は「harness（制御枠）」の設計にあった。具体的には、探索範囲を「この関数の入力値検証」と明示し、発見条件を「XSSパターンに合致する箇所のみ報告」と限定する。また、報告フォーマットを「脆弱性種別・影響範囲・再現手順」の3項目に固定することで、ノイズを削減できる。