在教科书中学习神经网络与深度学习
定义把一个神经元接收到的值的总和，转换为送往下一层的值的函数，称为激活函数（活性関数，也称活性化関数）。
解说神经元把前一层送来的值分别乘以权重后相加，再让这个总和经过激活函数，然后交给下一层。例如，有的函数只在总和达到基准时才发出信号，有的则把值转换为 0 到 1 之间的平滑数值。正因为激活函数进行的是非线性的转换，层层叠加的网络才能表达复杂的关系。
类比就像每个人各自的判断习惯：看收到的消息有多强烈，再决定要不要传给下一个人、以多大的力度传。
记忆钩子生物的神经细胞在刺激超过一定程度时会“激活（放电）”并发出信号。这个函数模仿的正是这一行为，所以叫激活函数。