AI agent の「半分しかやってない」を検出するのに、diff の正規表現を入れて剥がした話
この記事で分かること
AIエージェントが作業を中途半端に終えたことを検出するために、diffの正規表現パターンを活用した実装手法が解説されている。不完全なコード変更を自動で見つける正規表現の具体例と、それをCIに組み込む手順が得られる。
詳細要約
AIエージェントが生成したコードや文章のうち、作業が途中で止まった「半分だけの成果物」を自動で見つけるには、変更差分（diff）から不完全なパターンを正規表現で除去する方法が有効。具体的には、エージェントが出力したコードブロックの末尾が閉じられていない場合や、関数定義が途中で切れているケースを検出する正規表現パターンを用意し、diffの差分行に対してマッチングを行う。この手法により、手動レビュー前に不完全な成果物を機械的に弾けるため、確認工数を削減できる。注意点として、正規表現の精度が低いと正常な成果物まで誤検出する可能性があるため、検出条件は緩めに設定し、後段の人間判断と組み合わせるとよい。