教科書で学ぶデータ分析と前処理
定義データクレンジングは、集めたデータに含まれる誤りや不統一を見つけて正し、データの品質を整える作業である。
解説不備には、例えば入力の誤り、同じものが二重に登録された重複、同じ内容が違う書き方で入った表記の揺れ、値が入っていない欠損がある。不備を残したまま集計や結合をすると、同じ人が別人として数えられるなど、結果を信用できなくなる。そのため、データを分析や格納に使う前の段階で行う。
たとえ年賀状を出す前の住所録の手入れに似ている。同じ友人が旧姓と新姓で2回載っていれば1つにまとめ、引っ越した人の住所を書き直してから宛名を印刷する。
記憶フックcleanse は英語で「洗い清める」。化粧落としのクレンジングと同じ語で、データの汚れを洗い落とす場面を思い浮かべる。