はじめに
データを集めた後、すぐに平均を計算したりグラフを作ったりしても、どこを見ればよいのか分からないことがあります。欠損値(値が入っていないデータ)や外れ値(他の多くの値から大きく離れた値)が混ざっていたり、想定していなかった偏りがあったりすると、最初に考えていた分析方法が適切でない場合もあります。
探索的データ分析(EDA)は、このような段階でデータをさまざまな角度から確認し、特徴や問題点、気になる関係を見つけるための分析です。この記事では、EDAが何のために行われ、何を確認し、次の分析へどうつなげるのかを説明します。
この記事で分かること
- 探索的データ分析(EDA)が何をする分析なのか
- EDAで確認する代表的な観点
- 目的確認から次の分析へ進む基本的な流れ
探索的データ分析(EDA)とは
探索的データ分析(Exploratory Data Analysis:EDA)とは、データの特徴を広く確認しながら、次に詳しく調べるべき点を見つける分析です。あらかじめ一つの結論だけを確かめるのではなく、集計や可視化を行き来しながら、値の分布(どの範囲に多く、どれくらいばらついているか)や傾向、偏りを探索します。
EDAでは、平均値のような要約値だけを見るのではなく、値がどのあたりに多いか、極端な値がないか、項目ごとに違いがないか、複数の項目に関係がありそうかなどを確認します。ここで見つけた特徴は、原因を確定した答えではなく、次に詳しく確かめるための着眼点として扱います。
EDAの目的
EDAの目的は、データを詳しく眺めること自体ではありません。分析目的に対して、データをそのまま使えるか、どの切り口で比較すると特徴が見えるか、どの関係を次に検証すべきかを整理することです。
そのため、EDAの前には「何を明らかにしたいのか」を決めておく必要があります。分析目的が曖昧な場合は、先にデータ分析の目的を整理してからEDAへ進むと、関係のない特徴を追い続けることを避けやすくなります。
EDAで確認する4つの観点
EDAで見る内容は分析対象によって変わりますが、初めて行う場合は「全体像・品質・分布・関係性」の4つに分けると整理しやすくなります。
| 観点 | 確認すること | 次につながる判断 |
|---|---|---|
| 全体像 | 件数、項目の種類、期間、カテゴリーなど | どの単位・切り口で見るか |
| 品質 | 欠損値、重複、外れ値、入力の偏りなど | 修正や除外が必要か |
| 分布 | 値が多い範囲、ばらつき、偏りなど | 代表値や比較方法をどう選ぶか |
| 関係性 | 項目別の違い、2つ以上の項目の動きなど | 次に詳しく検証する関係は何か |
品質の問題が見つかった場合は、原因を決めつけずに外れ値・異常値・欠損値の確認方法へ進みます。分布や関係性を図で確認するときは、データ可視化の見方を使うと、外れ値・分布・傾向・関係性を整理して読み取りやすくなります。
EDAの基本的な進め方
EDAに決まった一つの手順があるわけではありません。ただし、分析目的から離れずに進めるためには、次の流れを基本にすると整理しやすくなります。
- 分析目的を確認し、何を知りたいのかを一文で整理する
- データの件数・項目・期間・発生条件を確認する
- 欠損値や外れ値など、分析結果へ影響する品質上の問題を確認する
- 集計やグラフで分布・違い・関係性を複数の切り口から見る
- 見つけた特徴を整理し、次に詳しく確かめる内容を決める
集計では、同じデータでも比較する軸を変えると見える特徴が変わります。どの単位で分けて比較するか迷った場合は、集計の切り口を先に整理すると、EDAで試す集計を選びやすくなります。
EDAの具体例
例えば、ECサイトで「最近、1回あたりの購入金額が下がっているように見える」という状況を考えます。EDAでは、いきなり原因を一つに決めるのではなく、まず購入データの期間や件数を確認し、欠損や極端に大きい注文がないかを見ます。
そのうえで、購入金額の分布を確認し、新規顧客とリピーター、商品カテゴリー、曜日などで集計を分けて比較します。ここで「新規顧客の購入金額が低い期間がある」と分かっても、それだけで原因とは断定しません。次に、その差が継続しているか、別の条件でも同じ傾向があるかなど、詳しく確かめる対象として整理します。
このように、EDAの成果はグラフを何枚作ったかではなく、データの状態を理解し、「次に何を詳しく確認するか」を説明できる状態にすることです。
EDAで注意すること
EDAでは多くの切り口を試せるため、偶然見つかった特徴を重要な結果だと思い込みやすい点に注意が必要です。自分の期待に合う集計やグラフだけを選ばず、分析目的とデータ全体を見ながら客観的に確認します。必要に応じて想定に固執せず判断する考え方も確認してください。
また、EDAで関係が見つかっても、因果関係や統計的な確かさまで自動的に証明されるわけではありません。EDAは、データを理解して次の検証や分析へ進むための探索段階として使います。
まとめ
探索的データ分析(EDA)は、データの全体像、品質、分布、関係性を幅広く確認し、次に詳しく調べる着眼点を見つける分析です。目的を確認してからデータを探索することで、集計や可視化を目的化せず、必要な分析へつなげやすくなります。
EDAでは、見つけた傾向をすぐに結論とせず、次に何を確かめるべきかを整理することが重要です。個別の外れ値処理、集計方法、グラフの読み方は、それぞれの関連記事で詳しく確認してください。