神经网络与深度学习

模仿大脑中神经细胞（神经元）之间的连接，把计算单元按层相连而成的学习模型，称为神经网络（ニューラルネットワーク）。

数据从输入层进入，经过中间层（隐藏层），再作为结果从输出层出来。层与层之间的每条连线都带有一个叫作权重的数值，表示把哪个输入以多大的强度传给下一层。所谓学习，就是不断调整这些权重，让网络给出与数据相符的结果。

类比就像传话游戏的队伍里，每个人决定把前一个人的话看得多重再传下去，并一点点调整这种分寸，好让队尾的人说出正确答案。

记法ニューラル来自英语 neural（神经的），ネットワーク即 network（网），合起来读就是“神经之网”。

该术语的过去问 3 题 ニューラルネットワーク →

把输出与正确答案之间的误差从输出层一侧反向回溯到输入层一侧，逐一修正各连接权重的学习方法，称为反向传播（バックプロパゲーション，误差反向传播法）。

计算本身是从输入层向输出层正向进行的，而用于修正的信息则是从后往前传回。按层算出每条连接对偏差的影响有多大，影响越大的权重修正得越多。用大量数据反复执行这一过程，输出就会逐渐接近正确答案。

类比就像尝菜时发现太咸，就从最后放的调料开始往前倒推，重新决定哪一样该减多少。

记法バック是 back（向后），プロパゲーション是 propagation（传播）。把名字拆开就是“偏差向后传播”，方向就不会记反。

该术语的过去问 1 题 バックプロパゲーション →

把一个神经元接收到的值的总和，转换为送往下一层的值的函数，称为激活函数（活性関数，也称活性化関数）。

神经元把前一层送来的值分别乘以权重后相加，再让这个总和经过激活函数，然后交给下一层。例如，有的函数只在总和达到基准时才发出信号，有的则把值转换为 0 到 1 之间的平滑数值。正因为激活函数进行的是非线性的转换，层层叠加的网络才能表达复杂的关系。

类比就像每个人各自的判断习惯：看收到的消息有多强烈，再决定要不要传给下一个人、以多大的力度传。

记法生物的神经细胞在刺激超过一定程度时会“激活（放电）”并发出信号。这个函数模仿的正是这一行为，所以叫激活函数。

该术语的过去问 1 题 活性関数 →

因过度贴合学习所用的训练数据，导致对尚未见过的未知数据的预测精度下降的状态，称为过拟合（過学習）。

模型如果连训练数据中偶然的特点和噪声都记住了，适用于新数据的一般规律（泛化能力）就会变弱。当训练数据上的精度很高、在未用于学习的数据上精度却下降时，就能察觉到这种情况。抑制的方法有增加训练数据、简化模型等。

类比就像完全照着一个人的身材量身定做的衣服，本人穿着正合身，换个人却怎么也穿不上。

记法過学習的“過”是过度的意思。这个字本身就提醒你：这不是学得不够的失败，而是学过了头的失败，中文“过拟合”的“过”也是同一层意思。

使用把中间层叠加多层、加深而成的神经网络，让计算机自己找出数据特征的机器学习方法，称为深度学习（ディープラーニング）。

把层加深后，就会形成一种分工：浅层捕捉简单特征，深层把它们组合成复杂特征。因此，即使不由人来细致规定该关注哪里，也能从大量数据中自动提取特征。它在图像识别、语音识别、翻译等领域表现出很高的性能。

类比就像学认字时，先学笔画怎么写，再学偏旁部首，最后认整个字，一级一级地积累辨认能力。

记法ディープ是 deep（深）。指的不是聪明程度有多深，而是层叠得很深（很多）。

该术语的过去问 2 题 ディープラーニング →