PR

ROC曲線とAUCの見方|しきい値とTPR・FPRの関係を解説

ROC曲線とAUC データサイエンティスト検定
スポンサーリンク

はじめに

分類モデルを評価するとき、正解率が同じでも「どの程度の見逃しや誤検知が起こるか」は判定の基準によって変わります。判定のしきい値を変えたとき、モデルが陽性を見つける割合と誤って陽性にする割合がどう変わるかを示すのがROC曲線です。

AUCはROC曲線の下の面積で、陽性と陰性を区別するモデルの能力を一つの数値で表します。この記事では小さな架空データを使い、ROC曲線の形とAUCの意味を読み取れるようにします。

この記事で分かること

  • ROC曲線の横軸(FPR)と縦軸(TPR)が表すもの
  • しきい値を変えるとROC曲線上の点がどう移動するか
  • AUCが何を表し、正解率とどう違うか

ROC曲線は何を表す?

ROC曲線(Receiver Operating Characteristic curve)は、二値分類モデルで判定しきい値を動かしたときのTPRとFPRの組み合わせを描いたグラフです。モデルが出力する陽性らしさのスコアを、どこから陽性と判定するかによって結果が変わります。スコアは確率とは限りませんが、ここでは大きいほど陽性らしいものとします。

  • TPR(真陽性率・再現率):実際に陽性のデータのうち、陽性と判定できた割合。TPR = TP ÷ (TP + FN)
  • FPR(偽陽性率):実際に陰性のデータのうち、誤って陽性と判定した割合。FPR = FP ÷ (FP + TN)

TP・FP・FN・TNの意味は、関連記事の「正解率・適合率・再現率の違い」で確認できます。ROC曲線は横軸がFPR、縦軸がTPRです。同じFPRならTPRが高いほど多くの陽性を見つけられ、同じTPRならFPRが低いほど誤検知が少ないことを意味します。

しきい値を変えるとTPR・FPRはどう変わる?

迷惑メールを検出する架空のモデルを考えます。迷惑メール(陽性)が3件、通常メール(陰性)が3件あり、モデルは各メールに0~1のスコアを付けたとします。

メール 実際の分類 陽性らしさのスコア
A 陽性 0.90
B 陰性 0.80
C 陽性 0.70
D 陽性 0.60
E 陰性 0.40
F 陰性 0.20

スコアがしきい値以上なら陽性と判定します。しきい値を下げると、陽性と判定するメールが増え、TPRが上がる場合もFPRが上がる場合もあります。

しきい値 TP FP FN TN TPR FPR
0.85 1 0 2 3 1/3(約0.33) 0
0.65 2 1 1 2 2/3(約0.67) 1/3(約0.33)
0.50 3 1 0 2 1 1/3(約0.33)

0.85から0.65へ下げると陽性の発見が増えますが、陰性Bも誤検知します。0.65から0.50へ下げると陽性Dも見つけられ、今回のデータでは誤検知数は増えません。このようにしきい値とTPR・FPRの関係は、スコアの並びによって決まります。

ROC曲線のどこを見る?

6件のメールのROC曲線。横軸FPR・縦軸TPRで、しきい値0.85・0.65・0.50の各点とAUC約0.778を示す
図1 6件の架空データを使ったROC曲線。斜めの破線はAUC=0.5に対応する基準線で、実データのROC曲線とは別です。

ROC曲線では、左上(FPR=0、TPR=1)に近い点が「陽性を見つけながら、誤検知を抑えられている」状態を表します。右上へ近づけば陽性は見つけやすくなりますが、陰性も誤って陽性とする割合が増えます。

左下(0,0)は、すべてを陰性と判定するような高いしきい値に対応し、右上(1,1)は、すべてを陽性と判定するような低いしきい値に対応します。対角線に近い曲線は、陽性と陰性の順位付けが無作為な場合に近いことを表します。

ただし左上に近い点を必ず選ぶのが正解ではありません。迷惑メールの見逃しと通常メールの誤検知のどちらが問題になるかで、使うしきい値は変わります。

AUCの意味をどう読み取る?

AUC(Area Under the Curve、通常ここではROC-AUC)は、ROC曲線と横軸で囲まれる面積です。二値分類では、無作為に選んだ陽性1件と陰性1件を比較したとき、陽性に高いスコアが付く度合いとしても解釈できます。同点のスコアがある場合は、通常その組み合わせを半分の得点として数えます。

上の例では、陽性3件と陰性3件から作れる比較は9組です。陽性が陰性より高いスコアになる組み合わせは7組なので、ROC-AUC = 7 ÷ 9 ≒ 0.778です。図1の曲線の下の面積とも一致します。

AUCの代表的な値 読み方
1.0 この評価データでは、すべての陽性がすべての陰性より高いスコアを持つ
0.5 無作為な順位付けと同程度の基準
0.5未満 陽性と陰性の順位が逆方向になっている可能性もあるため、ラベルやスコアの向きを確認する

AUCは一定のしきい値での正解率(Accuracy)ではありません。また、0.8以上なら必ず良いモデルというような、用途を問わない合格ラインもありません。モデル同士を比較するときは、同じ目的・評価データなど、比較条件をそろえる必要があります。

ROC-AUCを見るときの注意点

クラスの不均衡が大きい場合、ROC曲線でFPRが小さく見えても、実際の誤検知数が多くなることがあります。例えば、陰性が非常に多い状況でFPRがわずかでも、その割合に相当する誤検知は発生します。そのため、まれな陽性を探す用途では、適合率(Precision)と再現率(Recall)、PR曲線なども併せて確認します。

また、ROC-AUCはしきい値全体を通じた順位付けの指標であり、採用するしきい値を単独で指定してくれるものではありません。実際の運用では、誤検知と見逃しの影響、必要な再現率、評価データの代表性を確認することが重要です。

まとめ

ROC曲線は、しきい値を変えたときのTPRとFPRの関係を示し、AUCはその曲線を一つの値にまとめた指標です。横軸FPRが小さく、縦軸TPRが大きい点ほど誤検知を抑えながら陽性を見つけている状態ですが、採用すべきしきい値は用途によって異なります。

AUCは陽性と陰性のスコアの順位付けを評価するもので、単一しきい値での正解率とは異なります。モデルを評価するときは、ROC曲線の形とAUCの値を確認し、必要に応じて適合率・再現率も併用しましょう。

関連記事


タイトルとURLをコピーしました