AIの評価とハルシネーション

生成AIは、読みやすく自信に満ちた文章でも、存在しない引用や誤った事実を出すことがあります。こうした根拠のない生成を、ハルシネーションと呼ぶことがあります。性能を評価するときは、自然さと正確さを分け、使う課題と失敗の種類を具体的に決めます。

もっともらしい続きは事実とは限らない

言語モデルは、文脈に続く語の分布を学びますが、その出力が世界の事実と一致することは別の条件です。学習文に誤解が含まれる、質問の前提が誤っている、必要な情報が与えられていない、といった理由で誤答が生じます。TruthfulQAは、人の誤解をモデルが繰り返す問題を測る研究の例です。文章の長さ、専門語の多さ、断定の強さを信頼性の代わりにしてはいけません。自分で「自信がある」と書いたことも、校正された正解確率ではありません。

用途に合う採点基準を作る

数式の問題なら計算と条件、コードなら必要な動作、要約なら重要事項と原文への忠実さ、資料調査なら根拠との一致を採点します。例えば100件の問い合わせで90件正解でも、残り10件が特定の言語や特殊な条件に集中しているかもしれません。平均だけでなく失敗の分布を見ます。回答を拒否してばかりなら誤情報は少なくても役に立たないため、答えるべき問いに答えた割合と、答えたものの正確さを分けて測ると、判断の性質が分かります。

例えば100問中80問だけに答え、そのうち72問が正しかった場合、回答した問いでの正確さは90％、回答率は80％です。全100問で正答した割合は72％になります。どの分母を使った成績なのかを記録しないと、意味が変わってしまいます。

公平な比較条件を揃える

同じモデルでも、指示、入力長、道具の有無、生成設定、試行回数で結果は変わります。比較ではこれらの条件とモデルの版を記録します。評価問題が学習や調整に混ざるデータ汚染があると、未知の問題への能力を過大評価します。実際の利用に近い保留問題を残し、結果を見ながら何度も設定を変えた問題と分けます。わずかな点数差なら、問題数や出力のばらつきで順位が変わり得ます。一つのランキングであらゆる用途の優劣を決めないようにします。

根拠・計算・外部結果を照合する

出典付きの文章でも、リンク先にその主張があるか、日付と対象が一致するかを確認します。計算は別の計算手段、コードは実行結果、抽出値は元資料と照合します。RAGや外部道具は助けになりますが、誤った検索結果や道具の出力の読み違いは残ります。同じモデルへ「本当に正しいか」と聞き直すだけでは、同じ誤りを説明し直すこともあります。根拠が不足する場合の応答をあらかじめ決め、分からないことを無理に埋めない運用が役立ちます。

正確さ以外の失敗も測る

実用では、返答の速さ、費用、形式の安定性、情報の扱い、異なる利用者や条件への偏りも関わります。HELMは複数の指標を並べて評価する研究の例です。例えば正確さが少し高くても、必要な時間内に処理できなければ使えない場面があります。また、外部資料の指示に誘導される、不要な情報を出力する、といった失敗もあります。目的に必要な検査を揃え、モデルの更新や資料の変化後には代表的な課題を再確認します。評価は一度の合格で永久に終わるものではありません。

関連項目