数据分析与预处理

頻出约 21 分钟3 个术语过去问 3 题

本单元目标

术语总表（3 个）

数据清洗（データクレンジング）是找出并纠正所收集数据中的错误和不统一之处、提升数据质量的工作。

常见的问题有输入错误、同一对象被登记两次的重复、同一内容用不同写法录入的写法不一致，以及该有值却空着的缺失。带着这些问题去汇总或结合，就会出现同一个人被当成两个人来计数之类的情况，结果也就不可信了。所以，清洗要放在数据用于分析或存储之前进行。

类比就像寄贺卡前整理通讯录：同一个朋友因为改名被记了两次，就合并成一条；有人搬了家，就先改好地址，再打印收件人信息。

记法英语 cleanse 意为“洗净”，和卸妆用的“洁面（cleansing）”是同一个词，可以想象把数据上的污渍洗掉。

考点

常考数据清洗（データクレンジング）纠正的是数据的值和记录中的错误和不统一。把业务数据的结构拆成实体和关系来整理，叫作数据建模（データモデリング），两者目的不同。

数据的结合（データの結合）是用共同的列（键）的值对照各自独立的表，把它们合并成一张表的操作。

姓名和购买金额排在同一行，一张表就能看出谁买了多少。

4 / 4

结合时，以两张表中含义相同的列为线索，把值相同的行配成一对，再把各自的列横向拼接起来。这样就能得到单看一张表无法知道的信息组合。找不到对应行的数据怎么处理，取决于结合的方式，例如有一种方式只保留匹配上的行。

类比就像拿快递单的存根和客户名册，按单上的客户编号逐一核对，再把收件人的电话号码补写到存根上。

记法英语叫 join，可以想象两张表借共同的列手拉手。

考点

常考把表与表连起来的线索，是两张表中含义相同的列。多数情况下，用的是一张表中用来区分各行的主键（主キー），以及另一张表中引用该值的外键（外部キー）。
易混数据的结合（データの結合）是把分散在不同表中的信息组合起来的操作，与纠正错误和不统一、提升质量的数据清洗（データクレンジング）目的不同。基本顺序是先清洗，再结合。

比较点	数据清洗	数据的结合
关键目的	消除错误和不统一，提升质量	把分散在不同表中的信息组合起来
处理之后	得到值和记录都正确、规整的数据	得到一张列横向拼接起来的表

编码设计（コード設計）是为商品、客户等数据项目所编配的编码（编号或符号）确定位数、编排方式及各位含义的工作。

编码的作用是唯一地区分各个项目，如果让数位或号码范围带上含义，还能用来分类和汇总。为了将来增加项目时号码不至于不够用，位数要留有余量。为了发现输入错误，有时还会加上校验位，它是由其他各位按固定规则算出的检查用数字。

类比就像邮政编码：开头的数字表示大致的地区，越往后的数字代表越小的区域，所以只看号码就能知道投递地址的大概位置。

记法英语 digit 意为“数字”或“位”，记作用来 check（检查）的 digit。

考点

从本单元的过去问中选 3 题