【ＤＳ検定】ＤＳ８３　実験計画法、ＤＳ８７　異常と欠損

データサイエンティスト検定のスキルチェックリストＤＳ８３及びＤＳ８７に関する解説を行います。

DS83：実験計画法の基本的な3原則（局所管理化、反復、無作為化）について説明できる

実験計画法：実験を効率的に設計し、最適な結果を得るための手法です。この方法は、因子（変数）とその設定が結果に与える影響を明確にし、最も効果的な実験条件を見つけることを目的としています。

以下は、実験計画法の主要な要素です。

1. 因子とその設定
   

   実験では、目的や仮説に基づいて、結果に影響を与える因子（要素）を選びます。それぞれの因子には、適切な値（レベル）や条件を設定し、実験結果を正確にし、目的に合った効果を明らかにします。

2. 実験設計

   選定した因子とレベルの組み合わせを計画し、最小限の実験で必要なデータを効率的に収集します。完全ランダム化設計や直交配列設計などの方法を用いて、実験の構造を決定します。

3. データ解析

   実験データを統計的に解析し、因子の主効果や交互作用を評価します。分散分析（ANOVA）や回帰分析を用いて、因子が結果に与える影響を明らかにします。

4. 再現性と信頼性

   実験結果の再現性と信頼性を確保するため、条件や管理を適切に行います。これには、サンプルサイズの設定、ランダム化、ブロック化などの方法が含まれます。

5. 最適化

   実験結果を基に最適な条件や設定を見つけ出し、プロセス改善や製品改良に役立てます。

実験計画法を活用することで、効率的に信頼性の高いデータを得ることができ、研究や開発のプロセスを大幅に改善し、より良い成果を上げることが可能です。

基本的な３原則

無作為化（ランダム化）

実験条件やサンプルをランダムに割り当てることで、偏りや外部要因の影響を最小限に抑えます。これにより、因子の効果を正確に評価し、統計的なバイアスを減らします。

反復（リピート）

同じ条件で複数回実験を行い、結果のばらつきを評価します。反復によって、データの信頼性を高め、偶然の誤差を考慮に入れます。

局所化（ブロック化）

実験対象をグループ（ブロック）に分け、外部要因や条件の変動を制御します。これにより、因子の効果をより明確にし、実験の精度を向上させます。

DS87：外れ値・異常値・欠損値とは何かを理解し、指示のもと適切に検出と除去・変換などの対応ができる

外れ値と異常値はどちらも分布から外れた値として使用されるが、外れ値は必ずしも異常ではない点で異なります。英語表記では同じ用語が使用されている事からもあまり区別する理由もないように感じます。

外れ値（異常値）

他のデータ点と比べて異常に大きいまたは小さい値のことを指します。外れ値は、データの分布から大きく逸脱しており、分析結果に大きな影響を与える可能性があります。

検出方法

統計的手法：標準偏差のx倍離れている値を外れ値とする

目視的手法：分布を目視確認して離れているものを外れ値とする

モデルベース手法：回帰モデルの予測値から大きく離れた値を外れ値とする

処置方法

確認と検証：外れ値がデータエラーか異常な観測かを再測定や検証で確認します。

削除：明らかにエラーや異常な場合、外れ値を削除します。

修正：外れ値が測定ミスの場合、正しい値に修正します。

ロバストな手法：外れ値の影響を最小限に抑える統計手法を使用します。

欠損値

欠損値とは、データセットにおいて必要な情報が欠落している状態を指します。欠損値があると、データ分析やモデルの精度に影響を与える可能性があります。

検出方法

視覚化：データセットを図表などで視覚化する事で欠損値を検出する。

整合性チェック：データの件数などを確認して母数との差異を確認して欠損値を検出する。

統計量分析：直接的な検出ではないが、平均値や中央値を算出する事で予想と大きく乖離することで欠損値に気が付く可能性がある。

処置方法

確認と検証：欠損値がデータエラーか、正当な理由によるものかを再測定やデータ検証で確認します。

削除：欠損値が多い場合や欠損の理由が不明な場合は、該当するデータを削除します。

補完：欠損値を推測して埋める方法を使用します。これには、平均値補完や回帰補完、複数の補完方法（MICE）などがあります。

ロバストな手法：欠損値の影響を最小限に抑えるため、ロバストな統計手法やモデルを使用します。