データサイエンティスト検定のスキルチェックリストＤＳ１５４及びＤＳ１５５に関する解説を行います。
DS154：混同行列（正誤分布のクロス表）、Accuracy、Precision、Recall、F値、特異度を理解し、精度を評価できる
混同行列：分類モデルの予測結果をまとめた表です。二つのクラス（例: ポジティブとネガティブ）の場合、以下のように構成されます。
Accuracy（精度）
Accuracyはモデルの予測が正しかった割合を示します。
Precision（適合率）
Precisionは、ポジティブと予測されたサンプルのうち、実際にポジティブであったサンプルの割合です。
Recall（再現率）
Recallは、実際にポジティブであったサンプルのうち、ポジティブと予測された割合です。
F値（F-Score）
F値は、PrecisionとRecallの調和平均です。これにより、両方の指標をバランスよく評価できます。最も一般的なのはF1スコアで、計算式は次の通りです。
特異度（Specificity）
特異度は、実際にネガティブであったサンプルのうち、ネガティブと正しく予測された割合です。
まとめ
- Accuracyは全体の正確さを示しますが、クラスの不均衡がある場合は適切な指標でないこともあります。
- Precisionはポジティブ予測の信頼性を示します。
- Recallはポジティブサンプルを見逃さないことを示します。
- F値はPrecisionとRecallのバランスをとります。
- 特異度はネガティブサンプルに対する予測の正確さを示します。
DS155：RMSE（Root Mean Square Error）、MAE（Mean Absolute Error）、MAPE（Mean Absolute Percentage Error）、決定係数といった評価尺度を理解し、精度を評価できる
RMSE（Root Mean Square Error）
RMSEは、予測値と実際の値との差の二乗の平均の平方根です。数式で表すと次のようになります。
・大きな誤差に敏感です。大きな誤差があるとRMSEが大きくなります。
・単位は元のデータと同じで、直感的に理解しやすいですが、外れ値に影響されやすいです。
MAE（Mean Absolute Error）
MAEは、予測値と実際の値との差の絶対値の平均です。
・外れ値に対して比較的影響を受けにくく、RMSEに比べて大きな誤差が全体の評価に与える影響が小さくなります。
・単位は元のデータと同じで、解釈が簡単です。
MAPE（Mean Absolute Percentage Error）
MAPEは、予測誤差の絶対値のパーセンテージの平均です。
・誤差をパーセンテージで示すため、スケールに依存せず、異なるデータセット間で比較しやすいです。
・実際の値が0に近い場合、計算が不安定になることがあります。
決定係数（R²）
決定係数は、モデルがどれだけ実際のデータの変動を説明できるかを示す指標です。
・1に近いほどモデルがデータの変動をよく説明していることを意味します。
・負の値を取ることもあり、その場合はモデルが単純な平均値の予測よりも悪いことを示します。
まとめ
- RMSEは誤差の大きさを直感的に示し、外れ値に敏感。
- MAEは外れ値の影響が少なく、解釈が簡単。
- MAPEはパーセンテージで誤差を示し、スケールに依存しないが、実際の値が小さいと不安定。
- 決定係数はモデルの説明力を示し、1に近いほど良いモデルを示す。
コメント