分類と混同行列・適合率・再現率

分類器は、正しく当てた数だけでは評価できません。見逃しと誤検出が誰にどれだけ影響するかを、混同行列・適合率・再現率・しきい値から読み取ります。ここでは迷惑メールを陽性と呼ぶ仮想例を使います。

予測と実際を別の軸に置く

二値分類では、実際に陽性で予測も陽性なら真陽性TP、実際は陰性なのに陽性と予測すれば偽陽性FPです。実際は陽性なのに陰性と予測すれば偽陰性FN、両方陰性なら真陰性TNです。ここで陽性とは選んだクラスの名前で、病気などを意味するとは限りません。迷惑メールを陽性と決めれば、通常のメールを迷惑扱いするのがFP、迷惑メールを通してしまうのがFNです。表を見る際は行と列のどちらが予測かを確かめ、陽性の意味を途中で入れ替えないようにします。

正解率が高くても役立たない場合がある

仮に1000通のうち迷惑メールが20通しかなければ、全部を通常メールと答えるだけで980/1000=98%の正解率になります。しかし迷惑メールを一通も捕まえていません。正解率は(TP+TN)/(TP+FP+FN+TN)で、少数クラスの見逃しが大きな多数派に埋もれることがあります。モデルの点数を見る前に、クラスの比率と、何もしない場合の成績を調べる必要があります。稀な事象ほど学習や評価の件数が少なくなりやすいため、割合だけでなく、それを計算した件数も併記します。

適合率と再現率を数で区別する

1000通でTP=16、FP=24、FN=4、TN=956なら、迷惑と予測した40通のうち正しかった16通の割合が適合率16/40=40%です。実際の迷惑20通のうち見つけた16通の割合が再現率16/20=80%です。正解率は972/1000=97.2%で、全部を通常扱いする98%より低くても、迷惑を検出する能力は改善しています。どちらを重視するかは、重要な通常メールを失う損失と、迷惑メールが残る負担によります。分母が0の場合にはその指標を通常の割り算で定義できず、集計の取り決めが必要です。

しきい値を動かすと判断が変わる

分類器が迷惑らしさのスコアを出すなら、一定値以上を陽性とするしきい値を決めます。同じ例と同じスコアでしきい値を下げると、陽性にする範囲が広がり、TPもFPも減りません。再現率は下がりませんが、適合率は必ず単調に変わるとは限りません。しきい値は検証集合で用途に合わせて選びます。ROC曲線は偽陽性率と真陽性率の関係、適合率・再現率曲線は別の側面を示します。AUCが高いことだけで、実際に使う一点の誤検出数や見逃し数まで十分だとは結論できません。

一つの指標に全ての判断を任せない

F1は適合率と再現率の調和平均で、件数では2TP/(2TP+FP+FN)と書けます。先の例なら32/60で約53.3%です。ただしTNを直接含めず、二種類の誤りに異なる費用がある場合もそれだけでは表現できません。またスコア0.8が本当に約80%の確率を意味するかという校正は、分類の正解率とは別の性質です。運用するデータで陽性の割合が変われば、同じ感度・偽陽性率でも適合率が変わることがあります。必要な指標、評価件数、群別の誤り、処理できる件数を合わせて確認します。

関連項目