データ分析と前処理

データクレンジングは、集めたデータに含まれる誤りや不統一を見つけて正し、データの品質を整える作業である。

不備には、例えば入力の誤り、同じものが二重に登録された重複、同じ内容が違う書き方で入った表記の揺れ、値が入っていない欠損がある。不備を残したまま集計や結合をすると、同じ人が別人として数えられるなど、結果を信用できなくなる。そのため、データを分析や格納に使う前の段階で行う。

たとえ年賀状を出す前の住所録の手入れに似ている。同じ友人が旧姓と新姓で2回載っていれば1つにまとめ、引っ越した人の住所を書き直してから宛名を印刷する。

覚え方cleanse は英語で「洗い清める」。化粧落としのクレンジングと同じ語で、データの汚れを洗い落とす場面を思い浮かべる。

この用語の過去問 1 題 データクレンジング →

データの結合は、別々の表を共通の列(キー)の値で突き合わせ、1つの表にまとめる操作である。

結合では、両方の表にある同じ意味の列を手がかりに、値が一致する行どうしを組にして、列を横につなげる。これにより、1つの表だけでは分からない情報の組合せが得られる。突き合わせる相手が見つからない行の扱いは結合の方法によって異なり、例えば一致した行だけを残す方法がある。

たとえ宅配の伝票の控えと顧客台帳を、伝票に書かれた顧客番号で照らし合わせ、控えに届け先の電話番号を書き足していく作業に似ている。

覚え方英語では join。2つの表が共通の列で手をつなぐ姿で覚える。

コード設計は、商品や顧客などのデータ項目に付けるコード(番号や記号)の桁数・付け方・各桁の意味を決める作業である。

コードは項目を一意に見分けるためのもので、桁や番号の範囲に意味を持たせれば分類や集計にも使える。将来の項目の追加で番号が足りなくならないよう、桁数には余裕をもたせる。入力の誤りを見つけるため、ほかの桁から決まった規則で求めた検査用の数字であるチェックディジットを付けることもある。

たとえ郵便番号に似ている。先頭の数字で大まかな地域が分かり、後ろの数字ほど細かな区域を表すので、番号を見るだけで配達先のおおよその場所が分かる。

覚え方digit は英語で「数字」や「桁」の意味。check(検査)のための digit と覚える。

この用語の過去問 1 題 コード設計 →