AIは欠陥に気づくのに直さない、OpenAIのGeneBench-Proが測る溝
この記事で分かること
AIがバグを検出できても修正しない問題を、GeneBench-Proというベンチマークで定量的に評価する手法が得られる。このベンチマークは、AIの「欠陥認識能力」と「修正能力」の乖離を測定する。具体的には、既知のバグを含むコードをAIに提示し、修正提案の有無と正確性をスコア化する。
詳細要約
AIが自らの誤りを認識しながら修正できない「認識と行動の乖離」を定量的に評価する新指標。GeneBench-Proは、モデルが欠陥を検出する能力と修正する能力の差を測定するベンチマークで、この溝が大きいほど実用上のリスクが高い。具体的には、コードのバグや論理ミスを「見つけられるが直せない」ケースをスコア化し、モデル選定時に「単なる正答率」ではなく「自己修正力」を比較する判断材料として活用できる。