ROC曲線とAUCの見方を解説！分類モデルの精度評価

DS153：ROC曲線、AUC(Area under the curve)を用いてモデルの精度を評価できる

はじめに

分類モデルの精度を評価する際、「正答率（Accuracy）」だけでは不十分なことがあります。特に、クラスの不均衡（例：詐欺検出や医療診断）においては、より詳細な指標が求められます。そこで活用されるのが ROC曲線（Receiver Operating Characteristic Curve） と AUC（Area Under the Curve） です。

本記事では、ROC曲線とAUCの概念を分かりやすく解説し、どのようにモデルの評価に活用できるかを説明します。データサイエンス分野に限らず、品質管理、マーケティングなど幅広い分野での応用も紹介します。

ROC曲線とは？

ROC曲線は、分類モデルの性能を視覚的に評価するためのグラフです。特に 閾値（しきい値） を変化させた際の 真陽性率（TPR） と 偽陽性率（FPR） をプロットすることで、モデルの性能を把握できます。

• 真陽性率（TPR / Sensitivity）

  • 実際にポジティブなデータのうち、正しくポジティブと判定された割合。

  • 計算式：TPR = 真陽性 ÷ ( 真陽性 + 偽陰性 )

• 偽陽性率（FPR）

  • 実際にネガティブなデータのうち、誤ってポジティブと判定された割合。

  • 計算式：FPR = 偽陽性 ÷ ( 偽陽性 + 真陰性 )

ROC曲線の特徴

• FPR（横軸） vs TPR（縦軸） のグラフで表現される。

• 理想的なモデル は、ROC曲線が左上（FPR = 0, TPR = 1）に近づく。

• ランダムなモデル（役に立たない分類器）の場合、ROC曲線は対角線（y=x）上に分布する。

AUCとは？

AUC（Area Under the Curve） は、ROC曲線の下の面積を数値化した指標です。モデルの分類性能を 1つの数値 で表せるため、比較が容易になります。

AUCの解釈

AUCの計算方法

AUCは、ROC曲線の下の面積を 数値積分（トラペゾイド則など） で求めます。
一般的には sklearn.metrics.roc_auc_score などの関数で計算できます。

ROC曲線・AUCの活用例

これらの指標は、単なるデータサイエンスだけでなく、さまざまな分野で活用されています。

1. 医療診断（がん検診、糖尿病リスク評価）

   • 例：高感度の診断モデルを選定する際にAUCが重要な指標になる。

2. 金融（不正検出）

   • 例：クレジットカードの不正使用検知モデルの評価。

3. マーケティング（顧客ターゲティング）

   • 例：広告をクリックする確率が高いユーザーを分類する。

このように、ROC曲線とAUCは単なるデータサイエンスの指標にとどまらず、幅広い業界で意思決定を支える重要なツール となっています。

まとめ

• ROC曲線 はモデルの分類性能を視覚的に評価する手法。

• AUC はROC曲線の下の面積で、モデルの全体的な精度を数値化。

• 医療・金融・マーケティングなど、幅広い分野で活用可能。

分類モデルの評価において、ROC曲線とAUCを理解し、適切に活用することで、より精度の高い意思決定が可能になります。

AIで効率化してライバルに差をつける！【ビットランドAI】