プロンプト変更のデグレをCIで止める ― LLM回帰テストツール llm-canary を作った
この記事で分かること
LLMを利用した回帰テストで、プロンプト変更によるデグレをCIパイプラインで自動検出できる。具体的には、llm-canaryというツールを使い、変更前後のLLM出力を比較して差分を検知する仕組みを導入する。テストケースの管理方法やCIへの組み込み方も実践的に解説されている。
詳細要約
プロンプト変更による出力品質の低下を自動検出するため、LLM回帰テストツール「llm-canary」をCIに組み込む方法が示されている。実際の運用では、変更前後のプロンプトで同一のテストケースを実行し、出力の一致度をスコア化して差分を可視化する。設定項目として、評価基準（例：キーワード一致や意味的類似度）をYAMLで定義し、CIパイプラインでテストが失敗した場合に変更をブロックできる。