学习的迁移与代表性的深度学习模型

在针对特定用途进行调整之前，先用大量数据训练模型，让它掌握多种用途共通的特征，这一过程称为预训练（事前学習）。

例如让模型阅读海量文章来掌握词语之间的衔接方式，或给它看各种各样的图像来把握形状和颜色的特征。这样做出来的已训练模型（学習済みモデル），之后被作为适配其他目的的基础来使用。由于基础可以共用，就省去了每种用途都从零开始收集大量数据再训练的麻烦。

类比就像在从事某项具体工作之前，先在学校里广泛学好读写、计算这类任何工作都用得上的基础。

记法英语叫 pre-training。对话式 AI 的名称 GPT 中的 P，就是 Pre-trained（预训练过的）的首字母。

该术语的过去问 1 题 事前学習 →

用符合目标任务的数据对预训练好的模型进行追加训练，使其适应该用途，这称为微调（ファインチューニング）。

它不是把模型从头重新做一遍，而是在利用已掌握特征的同时，让权重等参数朝目标方向调整。因此与从零开始训练相比，更容易减少所需的数据量和计算时间。例如，让用一般文章训练过的语言模型学习某家医院的问诊记录，使它的回答能很好地应对医疗术语。

类比就像在学校打好基础的新员工，到了分配的部门后，通过短期培训学会这个部门特有的工作方法。

记法fine 意为“细微的”，tuning 意为“给乐器调音”。这个名称把它比作乐器做好后，最后细细校准音高的工作。

该术语的过去问 1 题 ファインチューニング →

把在某项任务中训练好的模型的知识转用到相关的另一项任务上，从而高效推进新任务学习的方法，称为迁移学习（転移学習）。

例如，把已学会分辨多种物体的图像识别模型，用在“在工厂里发现产品划痕”这项另外的任务上。即使新任务的数据较少，也能利用已经学到的形状和纹理特征，因此比从零训练更容易在短时间内达到所需精度。以已训练模型为基础的微调（ファインチューニング），是实现迁移学习的代表性做法之一。

类比就像学过钢琴的人，凭着对琴键的手感和读谱能力，很快就能学会弹电子琴。

记法英语是 transfer learning。transfer 也是交通“换乘”的意思，可以理解为让知识换乘到另一条线路上。

CNN 是 Convolutional Neural Network 的缩写，是一种广泛用于图像识别的深度学习模型。

它把逐个小范围提取图像特征的处理叠加很多层，从线条、拐角这样的简单形状，逐步把握到眼睛、车轮这样成形的整体。它被用于照片中物体的分类、位置检测以及人脸认证等。内部原理放在其正式名称卷积神经网络（畳み込みニューラルネットワーク）一项中介绍。

类比就像把一张大地图划成小方格，逐格查看有没有道路或河流，再综合起来判断这是哪里的地图。

记法C 是 Convolution（卷积）的 C，而 RNN 的 R 是 Recurrent（循环），所以只看首字母就能分辨两者原理的不同。

卷积神经网络（畳み込みニューラルネットワーク）是 CNN 的正式名称，指通过名为卷积的处理，逐步提取图像局部特征的神经网络。

在卷积（畳み込み）中，把小滤波器在图像上一点点移动着套上去，把该范围内有没有特定图案转换成数值。接下来的池化（プーリング）把相邻的值合并以压缩特征，这些层叠加几次之后，由最后一层判断图中拍到的是什么。即使物体的位置稍有偏移也容易找到相同的特征，所以它适合处理图像的工作。

类比就像拿一张小纸样，从布料的一端到另一端一点点挪动着比对，在出现相同花纹的地方做上记号。

记法日语的“畳み込み”是数学术语 convolution 的译名，很早就被用作给声音和图像信号加滤波器这种计算的名称。

RNN 是 Recurrent Neural Network 的缩写，是一种适合处理文本、语音、时间序列数据这类顺序有意义的数据的深度学习模型。

它把处理前一个输入时得到的信息留在内部，再与下一个输入合在一起处理，因此能做出考虑到此前走向的判断。例如可用于预测句子里接下来出现的单词、把语音转写成文字，以及根据销售额的变化预测今后的走势。

记法Recurrent 是英语“反复发生”的意思。这个名称直接取自信息在网络内部反复循环的结构。

循环神经网络（リカレントニューラルネットワーク）是 RNN 的正式名称，指这样一种神经网络：把某一时刻处理中形成的内部状态，送回下一时刻的处理中使用。

由于存在把处理结果送回下一次处理的路径，内部的状态作为对此前所见数据的概括，被不断传递下去。各个时刻都重复使用相同的权重，因此长度不同的文本和时间序列也能用同一机制处理。

类比就像写日记时先翻看前一天的那页，顺着那天的脉络续写今天的内容。