本ユニットでは、データをデータベースへ格納する前の「分析・前処理」の考え方を学びます。誤りや表記揺れを正すデータクレンジング、複数のデータを突き合わせる結合、そして項目を識別するためのコード設計です。データ品質を左右する実務的で重要な工程です。
誤り・重複・表記揺れを修正してデータの品質を整える前処理。
データクレンジングは、集めたデータに含まれる誤入力・重複・表記の揺れ・欠損などを洗い出し、正しく整える作業です。例えば「(株)」と「株式会社」の表記統一、同じ顧客が二重登録された重複の削除、空欄や明らかな異常値の補正などが該当します。 分析や結合に先立つ最初の工程で、ここを怠ると後続の集計・分析結果が信用できなくなります(「ゴミを入れればゴミが出る」)。試験では、データを格納・活用する前に品質を高める作業がデータクレンジングである、という目的の理解が問われます。
たとえ料理の下ごしらえで、野菜の泥や傷んだ部分を取り除き、形を揃えてから調理するようなもの。素材をきれいにしてこそ良い料理になります。
記憶フックデータクレンジングといえば誤り・重複・表記揺れを正す前処理
複数のデータを共通項目で突き合わせて1つに統合する処理。
データの結合は、別々に管理されている複数の表(データ)を、共通する項目(キー)を手がかりに突き合わせて1つにまとめる処理です。例えば「顧客番号」を手がかりに、顧客マスタの氏名と注文データの注文額を結びつけ、誰がいくら買ったかを1つの表として得られます。 結合によって、単独の表だけでは分からない関係を見える化でき、分析の幅が広がります。試験では、共通のキー項目をもとに複数データを統合する操作であること、整えた(クレンジング済みの)データを次に統合する工程として位置づくことを押さえます。
たとえ名簿と出席カードを「学籍番号」で照合し、「この番号の人は誰で、何回出席したか」を一枚の表にまとめる作業のようなものです。
記憶フックデータの結合といえば共通キーで複数データを1つに統合
データ項目を体系的に分類・識別するためのコード体系を決める設計。
コード設計は、商品・顧客・部門などのデータ項目を一意に識別し、分類・集計しやすくするためのコード(番号や記号)の付け方を決める作業です。桁数や採番ルール、意味の持たせ方(順番号方式・区分コード方式・桁別コードなど)を設計します。 良いコード設計は、一意性が保て、将来の項目追加にも耐え、人が扱いやすいものです。試験では、コードに分類や識別の役割を持たせること、桁数不足で項目が足りなくなる・意味を詰め込みすぎて分かりにくくなるといった設計上の注意点が問われます。データを整え統合した上で、識別の体系を与える観点です。
たとえ図書館の本に分類番号(請求記号)を割り振るようなもの。番号の付け方を決めておけば、どの棚の何の本かを一目で識別・整理できます。
記憶フックコード設計といえばデータを識別・分類するコード体系の設計
関連の過去問演習は今後のアップデートで追加予定です。