異種ベンダーで"審査の甘さ"は潰せるか — LLMの自己選好を本気で測った話
この記事で分かること
異なるベンダー間でLLMの自己選好（審査の甘さ）を測定する方法を学べる。具体的には、複数モデルを比較してバイアスを検出する評価軸と、その結果を活用する判断材料が得られる。
詳細要約
LLMの自己選好バイアスを検出するには、異なるベンダーのモデルを組み合わせて評価する方法が有効。具体的には、同じ質問を複数のLLM（例：OpenAI製とAnthropic製）に投げ、自社モデルを優遇する回答がどれだけ出るかを比較する。この手法を使えば、単一ベンダーでは見えにくい「審査の甘さ」を可視化できる。注意点として、評価基準を統一しないとバイアスの有無を正確に判断できないため、事前に質問文と採点ルールを固定しておく必要がある。