跳到正文

数据科学与建模、仿真

頻出约 34 分钟8 个术语过去问 8 题

本单元目标

  • 能结合数据分析和业务应用,讲清数据科学家的角色。
  • 能讲清确定性模型和概率模型的区别。
  • 能分清建立模型、运行模型、用观测值修正模型这几项工作,并选出合适的手段来估计未来。
术语总表(8 个)
术语一句话类别线索
データサイエンティスト通过分析海量数据,提炼出业务可用见解的人才人才统计与机器学习
デシジョンツリー用分枝画出判断与结果如何分叉的图表示方法枝与叶
モデル化只挑选实现目的所需的要素,把现实简化地表示出来工作挑选要素
確定モデル输入相同,结果就总是相同的模型模型类型没有偶然
確率モデル用概率纳入偶然因素的模型模型类型分布与期望值
シミュレーション运行模型,试出各种条件下的结果实验改变条件
データ同化吸收观测值,使计算中的模型贴近现实的方法修正观测值
予測根据手头的信息估计未来的数值或状态目的未来的数值

术语

データサイエンティスト数据科学家

在术语表中打开 データサイエンティスト

数据科学家(データサイエンティスト)是分析海量数据、从中提炼出业务可用见解的专业人才。

光有分析技术还不够,要读懂数字背后的含义,还得懂业务。比如处理销售数据时,除了统计知识,还要了解这门生意如何运转,否则提不出有用的问题。

类比就像侦探:搜集现场留下的线索,提出推断,再拿着证据向委托人说明。

记法名字里的“科学家”,点明了提出假设、再加以验证的工作态度。

考点

  • 常考数据科学家(データサイエンティスト)以统计和机器学习(機械学習)为工具分析海量数据,寻找创造新价值的线索。
  • 易混搭建数据库(データベース)基础设施,或在安全方面为信息系统(情報システム)提供支持,都不是这个职位的核心工作。

该术语的过去问 2 题 データサイエンティスト

决策树(デシジョンツリー,又称決定木)是用分枝图表示判断与结果如何分叉的方法。

  • 要不要推出新服务
    • 推出
      • 用户多:概率0.7,利润100万日元
      • 用户少:概率0.3,亏损50万日元
    • 不推出:利润0日元

“推出”方案把金额乘以概率再相加(亏损要减去):100×0.7−50×0.3=55万日元,高于“不推出”的0日元。

3 / 3

在每个分叉处沿着条件或选项往下走,末端的叶子上就会出现结论。如果在枝上标出概率,就能用期望值(概率乘以结果后相加的值)比较各个方案。它也是一种逐步给数据分类的机器学习方法。

类比就像走岔路:每到路口看一次指示牌,最后走到哪里,答案就是哪个。

记法“决策”加“树”就是它的名字;结论所在的位置叫“叶”,同样来自树的比喻。

考点

  • 常考如果预计对手会选对我方不利的招数,就从末端的值往回推:轮到对手时留最小值,轮到我方时留最大值。
  • 常考有成本的方案,要用金额的期望值(期待値)减去成本后的值来比较。
  • 易混决策表(デシジョンテーブル)是按条件成立与否的各种组合列出对应结果的表格,形式上不同于分枝图。

该术语的过去问 2 题 デシジョンツリー

建模(モデル化)是只挑选实现目的所需的要素,用公式或图把现实对象简化地表示出来。

  1. 确定想知道什么
  2. 挑选必要的要素
  3. 用公式或图表示关系
  4. 对照现实加以修正

如果模型的结果与现实有出入,就退回到挑选要素这一步重新修正。

4 / 4

直接处理实物太过复杂,分析和实验都很费事,所以要精简要素。但舍弃了多少,就会留下多少与现实的差距,这一点无法避免。是否加入偶然因素,也是在这个阶段要决定的设计问题。

类比就像地铁线路图:省去距离和地形,只留下车站顺序和换乘信息。

记法日语塑料模型(プラモデル)里的“モデル”就是同一个词,本义正是“模型”。

考点

  • 常考速度恒定的工作,可以用直线模型表示时间与进度(進捗率)的关系。如果假定每个人的工作量可以直接相加,那么合作时的斜率就是各人斜率之和。

该术语的过去问 1 题 モデル化

確定モデル确定性模型

在术语表中打开 確定モデル

确定性模型(確定モデル)不含偶然因素,只要输入相同,结果就总是相同。

比如假定单价200日元的商品卖出30个,销售额的计算结果就只有6,000日元这一种。实际能否卖出30个是另一回事,与现实之间仍可能有差距。

考点

  • 易混公式再复杂,只要没有加入偶然因素,就仍是确定性模型(確定モデル)。区分的关键不在于计算难不难。

概率模型(確率モデル)用概率纳入偶然因素,以分布或期望值来表示结果。

每日到店人数概率人数×概率
10人0.11
20人0.612
30人0.39
期望值合计1.022人

它适合表示到店人数、机器故障这类每次取值都有波动的量。把每个值出现的可能性排列出来,就是概率分布,由此可以求出平均意义上的值,即期望值。

类比就像天气预报:不断言明天一定如何,而是告诉你降水概率。

考点

  • 常考给缺货(品切れ)概率设上限时,所需库存(在庫)量的求法是从需求高的一端累加概率,取超过库存的需求概率低于上限的最小量。
  • 常考期望值最大的方案,不一定是最高金额最大的方案。

该术语的过去问 2 题 確率モデル

「确定性模型」与「概率模型」的区别

比较点确定性模型概率模型
关键偶然因素不含以概率形式包含
相同输入重复运行时结果总是相同结果可能不同

仿真(シミュレーション)是运行模型,不动用实物就试出条件改变后的结果。

  1. 准备模型
  2. 改变条件
  3. 按条件分别计算
  4. 比较结果

比较各条件下的等待时间,作为决定台数的依据。

4 / 4

即便用实物试验成本高或风险大,在模型上也可以反复重来。用随机数再现波动的方法叫蒙特卡洛法(モンテカルロ法)。结果可不可靠,取决于模型做得好不好。

类比就像正式演出前的彩排:把流程试上几种,找出行得通的做法。

记法英语 simulate 意为“模仿”,中文“仿真”的“仿”也是这个意思。

考点

  • 常考适合仿真(シミュレーション)的一类问题是:对未来的条件作出假定,再试算之后的结果。
  • 常考只要把数值代入先后关系或固定公式就能得出唯一解的问题,并不是仿真的典型用途。

该术语的过去问 1 题 シミュレーション

数据同化(データ同化)是把观测值吸收到计算中的模型里,使模型状态贴近现实的方法。

  1. 用模型计算
  2. 与观测值比较
  3. 修正模型状态
  4. 从修正后的状态继续计算

以修正后的状态为起点继续计算,如此反复。

4 / 4

任何模型都与现实有差距,而且计算越往后,差距越容易累积。这时随时把观测值纳入模型,就能把偏差控制在较小范围。典型应用是天气预报。

类比就像行驶中的车载导航:不断接收卫星定位信息,持续修正地图上的当前位置。

记法生物学里的同化,是把外界摄取的物质变成自身的一部分;把观测值变成模型的一部分,正是同样的意象。

「仿真」与「数据同化」的区别

比较点仿真数据同化
关键主要作用运行模型,试出结果用观测值修正计算中的模型
所需输入模型与条件模型与观测值
适用场合对比难以用实物试验的各种条件追踪观测数据随时间增加的现象

预测(予測)是根据过去的数据、模型等手头的信息,估计未来的数值或状态。

手段示例线索做法
回归分析过去的输入输出数据用统计求出输入与输出的关系
模型试算模型与对未来的假定按条件计算结果
德尔菲法专家的见解反复进行调查并共享结果

手段不限于统计和模型计算,也可以汇集专家的见解。无论用哪种手段,既然是估计,就仍有不准的可能。

类比就像登山者根据一路走来的速度和剩下的路程,估算到达山顶的时间。

记法日语的予測字面就是“预先测量”:把还量不到的东西提前量一量。

考点

  • 常考预测(予測)的输入不限于过去的实际数据,对未来环境变化的假定也可以一并使用。
  • 常考费米估算(フェルミ推定)是对难以直接计数的量,凭已知数值和条理清晰的推理作出粗略估计的方法。对象不限于未来的量。
  • 易混德尔菲法(デルファイ法)通过反复调查专家来寻求对未来的共识,回归分析(回帰分析)则用统计从数据中求出输入与输出的关系。两者都不是费米估算。

该术语的过去问 3 题 予測

要点

  • 数据科学家通过分析海量数据,提炼出业务可用的见解。
  • 决策树在枝上标出概率和金额,用期望值比较方案;涉及对手的判断,则从末端往回推来决定走法。
  • 模型只保留实现目的所需的要素,是一种简化,因此与现实有差距。用观测值缩小这一差距的就是数据同化。
  • 仿真是在模型上改变条件、试出结果的实验,连难以用实物试验的方案也能比较。
  • 预测的手段不限于模型计算,也可以汇集专家的见解。

确认题

从本单元的过去问中选 5 题

开始做确认题

查看这个领域的全部过去问