DS154:混同行列(正誤分布のクロス表)、Accuracy、Precision、Recall、F値、特異度を理解し、精度を評価できる
データ分析や機械学習モデルの評価指標について解説します。本記事では、混同行列をもとにAccuracy(精度)、Precision(適合率)、Recall(再現率)、F値(F-Score)、特異度(Specificity)を理解し、適切にモデルの性能を評価できるようになることを目的とします。
混同行列とは
混同行列(Confusion Matrix)は、分類モデルの予測結果を整理するための表です。例えば、2クラス(ポジティブ・ネガティブ)の分類では、以下のように構成されます。
実際にポジティブ | 実際にネガティブ | |
---|---|---|
予測ポジティブ | True Positive (TP) | False Positive (FP) |
予測ネガティブ | False Negative (FN) | True Negative (TN) |
これをもとに、各評価指標を計算します。
Accuracy(精度)
Accuracyはモデルの予測がどの程度正しかったかを示す指標です。
ただし、クラスの不均衡がある場合は、Accuracyが高くても適切な指標ではないことがあります。
Precision(適合率)
Precisionは、ポジティブと予測されたサンプルのうち、実際にポジティブであった割合を示します。
これは、誤検知(False Positive)が多い場合に重要な指標となります。
Recall(再現率)
Recallは、実際にポジティブであったサンプルのうち、ポジティブと予測された割合を示します。
これは、見逃し(False Negative)が多い場合に重要な指標となります。
F値(F-Score)
F値(F1スコア)はPrecisionとRecallのバランスを考慮した指標です。
F1スコアは、PrecisionとRecallのバランスを取るために特に有効です。
特異度(Specificity)
特異度(Specificity)は、実際にネガティブであったサンプルのうち、ネガティブと正しく予測された割合を示します。
これは、誤検出(False Positive)を抑えたい場合に重要な指標です。
まとめ
-
Accuracy:全体の正確さを示すが、クラスの不均衡がある場合は注意が必要。
-
Precision:ポジティブと予測されたサンプルの信頼性を示す。
-
Recall:実際のポジティブをどれだけ見逃さずに検出できたかを示す。
-
F1スコア:PrecisionとRecallのバランスを取った評価指標。
-
特異度(Specificity):実際にネガティブなものを正しく分類できているかを示す。
モデルの用途に応じて、適切な評価指標を選びましょう。
コメント