PR

外れ値の見つけ方|箱ひげ図・IQR法・Zスコアの使い分け

外れ値の見つけ方 データサイエンティスト検定
スポンサーリンク

はじめに

測定値の多くが8~13の範囲に集まっているのに、1件だけ40が記録されていたとします。この40は外れ値でしょうか。値が大きく離れて見えるだけで、入力ミスと決めてよいのでしょうか。

外れ値の候補を見つける方法には、箱ひげ図、IQR法、Zスコアなどがあります。ただし、それぞれが注目する基準は異なります。この記事では同じ12件のデータを使って判定方法を確認し、どの方法を使えばよいかを整理します。

この記事で分かること

  • 箱ひげ図・IQR法・Zスコアが外れ値候補を見つける考え方
  • 1.5×IQRの境界とZスコアの具体的な計算例
  • 分布と分析目的に応じた方法の選び方、判定後の注意点

外れ値を見つける3つの方法を比較

方法主な見方向いている場面注意点
箱ひげ図中央の分布・ひげ・離れた点を見る分布やグループ差を視覚的に確認するひげの定義は作図方法によって異なる
IQR法Q1−1.5×IQR、Q3+1.5×IQRの外側を探す一つの数値項目の外れた値を調べる強い偏りがある分布では候補が多く出ることがある
Zスコア平均から標準偏差何個分離れているかを見る分布がおおむね対称で、平均・標準偏差が意味を持つ場合極端値や小標本の影響を受け、一律の閾値は使えない

これらは、値が「誤り」かどうかを確定する方法ではありません。まず詳しく確認する観測値を見つけるための手掛かりです。外れ値と異常値・欠損値の違いは「外れ値・異常値・欠損値の違い」で説明しています。

IQR法で外れ値の候補を求める

IQR(四分位範囲)は、データの第3四分位数Q3から第1四分位数Q1を引いた値です。小さいほうから約25%の境界がQ1、約75%の境界がQ3で、その間が中央約50%に相当します。

ここでは、次の12件のデータを小さい順に並べます。

8、9、9、10、10、10、11、11、12、12、13、40

今回は「前半6件と後半6件、それぞれの中央値をQ1・Q3にする」方法を使います。四分位数の算出方法はソフトウェアによって異なることがあります。

計算項目求め方結果
Q1前半6件の中央2値、9と10の平均9.5
Q3後半6件の中央2値、12と12の平均12
IQRQ3−Q12.5
下側の境界Q1−1.5×IQR5.75
上側の境界Q3+1.5×IQR15.75

一般的な1.5×IQR法では、5.75未満または15.75を超える値を外れ値の候補として確認します。今回の40は上側の境界を超えるため、候補に該当します。一方、13はQ3(12)より大きくても、上側の境界以内なので候補には該当しません。

重要なのは、Q1~Q3の外側にある値がすべて外れ値というわけではないことです。四分位数やIQRの基本は「分散・標準偏差・四分位数・パーセンタイルの違い」で確認できます。

箱ひげ図ではどこを見る?

箱ひげ図は、中央値を箱の中の線、Q1~Q3を箱として表し、データの中央部分と外側の広がりを確認するグラフです。

1.5×IQRを使う一般的な箱ひげ図では、ひげの先端を「境界の内側にある最も端の観測値」まで伸ばし、境界を超えた値を点として表示します。今回なら下側のひげは8、上側は13まで伸び、40が離れた点として示されます。ただし、箱ひげ図には最小値・最大値までひげを伸ばす形式もあるため、使用するツールの定義を確認します。

箱ひげ図は、複数の部署や期間を並べて比較したい場合にも便利です。ただし、図だけで入力ミスや異常の原因は確定できません。

Zスコアでは平均からの離れ方を見る

Zスコアは、値と平均の差を標準偏差で割り、平均からどの程度離れているかを表す値です。

Zスコア=(観測値−平均)÷標準偏差

先ほどの12件のデータでは、平均は約12.92、標本標準偏差は約8.65です。40のZスコアは、(40−12.92)÷8.65≒3.13となります。

絶対値が3を超える値を候補として調べる目安はありますが、±3はすべてのデータに共通する確定基準ではありません。今回も40が平均と標準偏差を押し上げています。分布が大きく偏っている場合やデータ数が少ない場合は、Zスコアだけで判断しないことが重要です。

どの方法から確認する?

初めてデータを見るときは、まずヒストグラムや箱ひげ図で分布の形を確認すると、値の偏りや離れた観測値に気づきやすくなります。

一つの数値項目について、中央値周辺のばらつきを基準に候補を調べるならIQR法が使えます。分布がおおむね対称で、平均からの距離を評価したいならZスコアが候補になります。時間に沿った変化や2つの数値の組み合わせが重要なら、折れ線グラフや散布図も併せて確認します。

いずれも、検出した値をすぐ削除してはいけません。入力単位、計測条件、集計対象の違い、本当に起こった稀な出来事などを調べてから対応を決めます。候補を見つけた後の対応は「外れ値・異常値・欠損値の違いと対応方法」で扱います。

まとめ

外れ値の候補を見つけるときは、データの分布と確認したいことに応じて方法を選びます。箱ひげ図は分布と離れた点を視覚化し、IQR法は四分位数から計算した境界、Zスコアは平均と標準偏差からの距離を基準にします。

特に、IQR法の候補判定は単にQ1~Q3の外側を見ることではなく、1.5×IQRを使って境界を計算する点に注意してください。どの方法でも、検出結果は調査の出発点であり、入力ミスや削除対象と断定するものではありません。

関連記事


タイトルとURLをコピーしました