【ＤＳ検定】ＤＳ９３　特徴量化、ＤＳ１０１　可視化の重要性

データサイエンティスト検定のスキルチェックリストＤＳ９３及びＤＳ８７に関する解説を行います。

DS93：数値データの特徴量化（二値化／離散化、対数変換、スケーリング／正規化、交互作用特徴量の作成など）を行うことができる

データの特徴を数値的に表現するために、連続的な値やカテゴリを分かりやすい形式に変換するプロセスです。これにより、データを使って機械学習モデルを効果的に訓練したり分析したりできるようになります。

連続データやカテゴリデータを二つの値（通常は0と1）に変換する広義のプロセスです。連続データを閾値で「０」と「１」に分類する処理や、ダミー変数などのようにカテゴリデータのバイナリ表現する方法があります。

二値化と似ていますが、こちらでは３つ以上のカテゴリに分割します。

データの値を対数スケールに変換するプロセスです。これは、データの分布を正規分布に近づけたり、スケールを調整して分析やモデルの性能を向上させたりするために用います。対数変換は、特に以下のような目的で利用されます。

データの範囲や分布を調整するための方法です。最小最大スケーリングや標準化などがその例です。

スケーリングの一部としてデータのスケールを調整する方法ですが、特にデータの分布を正規分布に近づけることを指します。その例としてZスコア正規化などがあげられます。

2つ以上の特徴量が相互に作用することで、予測変数に与える影響を捉えるために生成される特徴量です。これにより、モデルはより複雑な関係を学習することができます。例えば、特徴量Aと特徴量Bがそれぞれの影響を持ちつつ、AとBの組み合わせによって新たな情報が得られる場合に交互作用特徴量が有効です。

データの性質を理解するために、データを可視化し、実際に眺めて考えることは非常に重要です。データ可視化は、データのパターンやトレンド、異常値などを把握するための強力な手段であり、以下の理由から重要です。