はじめに
分類モデルを評価するとき、「正解率が90%なら十分に良いモデルなのか」「不正検知で見逃しを減らすには何を見ればよいのか」と迷うことがあります。分類モデルには複数の評価指標があり、どの数字を重視するかによってモデルの評価が変わります。
正解率は全体で正しく予測した割合、適合率は「陽性」と予測した結果の確かさ、再現率は実際の陽性を見逃さずに検出できた割合です。この記事では混同行列と同じデータで3指標を比較し、目的に合う指標の選び方を説明します。
この記事で分かること
- 混同行列で使うTP・FP・FN・TNの意味
- 正解率・適合率・再現率の計算方法と違い
- 誤検知と見逃しの影響から評価指標を選ぶ考え方
混同行列で4つの結果を整理する
二値分類は、対象を「陽性」と「陰性」の2種類に分ける予測です。ここでは、検出したい対象を「陽性」と呼びます。例えば不正取引の検知なら、不正取引が陽性です。
混同行列は、モデルの予測と実際の正解を照合し、4種類の結果を数えた表です。仮に100件の取引を判定し、次の結果が出たとします。
| モデルの予測 | 実際は陽性(不正) | 実際は陰性(正常) |
|---|---|---|
| 陽性と予測 | TP(真陽性)36件 | FP(偽陽性)9件 |
| 陰性と予測 | FN(偽陰性)4件 | TN(真陰性)51件 |
TP(True Positive)は不正を不正と正しく検出した数、TN(True Negative)は正常を正常と正しく判定した数です。一方、FP(False Positive)は正常なのに不正と判定した誤検知、FN(False Negative)は不正なのに正常と判定した見逃しです。
この例では実際の不正が40件(TP 36件+FN 4件)、正常が60件(FP 9件+TN 51件)です。以下の3指標は、同じ100件の結果でも分母に含める対象が異なります。
正解率・適合率・再現率の違い
| 指標 | 答える問い | 計算式 | 100件の例 |
|---|---|---|---|
| 正解率(Accuracy) | 全予測のうち正しかった割合は? | (TP+TN) ÷ (TP+FP+FN+TN) | (36+51) ÷ 100 = 87% |
| 適合率(Precision) | 陽性と予測した中で、本当に陽性だった割合は? | TP ÷ (TP+FP) | 36 ÷ 45 = 80% |
| 再現率(Recall) | 実際の陽性をどれだけ検出できたか? | TP ÷ (TP+FN) | 36 ÷ 40 = 90% |
正解率(Accuracy)は、陽性・陰性を問わず全体で何件正解したかを示します。分かりやすい指標ですが、実際の陽性が1%しかないデータで「すべて陰性」と予測しても正解率99%になります。そのため、陽性と陰性の件数が大きく偏ると、正解率だけでは見逃しの多さを判断できません。
適合率(Precision)は、モデルが陽性だと判断した45件のうち、実際に陽性だった36件の割合です。この例では80%なので、陽性判定のうち20%は誤検知でした。陽性判定を受けて大きな処置をする場合、誤検知が増えすぎないかを考える材料になります。
再現率(Recall)は、実際の陽性40件のうち、検出できた36件の割合です。この例では90%であり、残り10%に当たる4件を見逃しています。検出が必要な対象を取り逃がさないことを重視するときに役立ちます。
なお、計算式の分母が0になる場合、数学的にはその割合を定義できません。評価ツールによって0などの代替値を設定する方法があるため、結果の解釈には注意が必要です。
どの指標を重視するか
指標選びでは、まず誤検知(FP)と見逃し(FN)のどちらによる損失が大きいかを考えます。
| 重視したいこと | 注目する指標 | 判断の例 |
|---|---|---|
| 全体の正誤を大まかに把握したい | 正解率 | 陽性・陰性の割合と誤りの重要度を併せて確認する |
| 陽性と判断した結果を信用したい | 適合率 | 正常なメールを「迷惑メール」として自動削除する誤検知を抑えたい |
| 実際の陽性を取り逃がしたくない | 再現率 | 不正取引の疑いがあるものを、調査候補からできるだけ漏らしたくない |
例えば、陽性判定を出すたびに人手で調査する仕組みでは、誤検知が多いと作業負担が増えます。陽性判定の信頼性を示す適合率を確認し、調査件数との釣り合いを見るとよいでしょう。一方、見逃すと被害が広がる対象では、再現率を優先し、検出できなかった件数を確かめることが重要です。
ただし、適合率を上げれば必ず再現率も上がるわけではありません。陽性と判定する基準を厳しくすると誤検知が減る一方で、本当の陽性を見逃す場合があります。反対に基準を緩めると検出対象は増えますが、誤検知が増える場合があります。用途上許容できる誤りの範囲を決め、複数の指標で評価します。
F1スコアと特異度はどう使う?
正解率・適合率・再現率に加え、次の指標を知っておくと判断しやすくなります。
F1スコアは、適合率と再現率の調和平均です。式は F1=2×適合率×再現率÷(適合率+再現率)。例の適合率80%、再現率90%から計算すると約84.7%です。両方を一つの値で比較したい場合に使えますが、正常判定の正しさ(TN)は計算式に直接入りません。
特異度(Specificity)は、実際の陰性を陰性と判定できた割合です。式は TN÷(TN+FP)。例では51÷60=85%です。誤検知に関係する指標でも、適合率が「陽性と予測したもの」を分母にするのに対し、特異度は「実際の陰性」を分母にします。この2つは同じ意味ではありません。
また、評価指標はモデルが陽性と判定する基準(しきい値)によって変わります。しきい値を変えたときの検出性能を調べるROC曲線とAUCは別記事で解説しています。
評価する前に確認したい注意点
- どちらを陽性とするか: TP・FP・FN・TNの意味は、何を陽性と決めるかで変わります。目的のクラスを先に明確にします。
- クラスの偏り: 正解率が高くても、少数の重要な陽性をほぼ見逃している場合があります。混同行列と併せて確認します。
- 比較条件: 異なるモデルを比較するときは、原則として同じ評価用データと同じ陽性の定義を使います。
- 多クラス分類: この記事の式と例は二値分類のものです。3種類以上を分類する場合はクラスごとの指標や平均方法を決めて評価します。
まとめ
正解率は全体の正しさ、適合率は陽性と予測した結果の確かさ、再現率は実際の陽性を見逃さない割合です。同じ混同行列から計算しても、見ている対象が異なります。
分類モデルを選ぶときは、数字が最も高い指標を単純に選ぶのではなく、誤検知(FP)と見逃し(FN)のどちらを抑えたいかを決めます。混同行列で間違いの内訳を確かめ、必要に応じてF1スコアや特異度も組み合わせて判断しましょう。