ニューラルネットワークと深層学習

脳の神経細胞（ニューロン）どうしのつながりをまねて、計算の単位を層状につないだ学習モデルをニューラルネットワークという。

データは入力層から入り、中間層（隠れ層）を通って出力層から結果として出てくる。層と層をつなぐ線にはそれぞれ重みという数値があり、どの入力をどれだけ強く次へ伝えるかを表す。学習とは、データに合った結果が出るようにこの重みを調整していくことである。

たとえ伝言ゲームの列で、一人一人が前の人の話をどのくらい重く受け止めて次へ伝えるかを、正しい答えが最後に出るよう少しずつ変えていくようなもの。

覚え方ニューラルは英語の neural（神経の）。ネットワークは網なので、そのまま「神経の網」と読める。

この用語の過去問 3 題 ニューラルネットワーク →

出力と正解の誤差を出力層の側から入力層の側へ逆向きにたどり、各つながりの重みを直していく学習の方法をバックプロパゲーション（誤差逆伝播法）という。

計算そのものは入力層から出力層へ前向きに進むが、直すための情報は後ろから前へ戻っていく。どのつながりがずれにどれだけ影響したかを層ごとに割り出し、影響の大きい重みほど大きく直す。この手順を多くのデータで繰り返すことで、出力が正解に近づいていく。

たとえ料理の味見をして塩辛すぎたら、最後に入れた調味料から順にさかのぼって、どれをどれだけ減らすかを決め直すようなもの。

覚え方バックは「後ろへ」、プロパゲーションは「伝わっていくこと」。ずれが後ろへ伝わる、と名前を分解すれば向きを間違えない。

この用語の過去問 1 題 バックプロパゲーション →

一つのニューロンが受け取った値の合計を、次の層へ送る値に変える関数を活性関数（活性化関数）という。

ニューロンは前の層から届いた値に重みを掛けて足し合わせ、その合計を活性関数に通してから次へ渡す。例えば、合計が基準に達したときだけ信号を送る関数や、0 から 1 の間のなめらかな値に変える関数がある。活性関数が直線的でない変換をするおかげで、層を重ねたネットワークが複雑な関係を表せる。

たとえ受け取った知らせの強さを見て、次の人へ伝えるか、どのくらいの強さで伝えるかを決める、一人一人の判断のくせのようなもの。

覚え方生物の神経細胞は刺激が一定を超えると「活性化（発火）」して信号を出す。その振る舞いをまねる関数なので活性関数と呼ぶ。

この用語の過去問 1 題 活性関数 →

学習に使った訓練データに合わせすぎた結果、まだ見ていない未知のデータに対する予測の精度が下がる状態を過学習（オーバーフィッティング）という。

モデルが訓練データの偶然の癖や雑音まで覚え込むと、新しいデータに通用する一般的な規則（汎化の力）が弱くなる。訓練データでは高い精度なのに、学習に使っていないデータで精度が落ちることで気づける。抑える方法には、例えば訓練データを増やす、モデルを単純にする、といったものがある。

たとえ一人の体に合わせすぎて仕立てた服が、本人にはぴったりでも、ほかの人にはまったく合わないようなもの。

覚え方「過」は度を越すこと。学習が足りない失敗ではなく、やりすぎによる失敗だと字が教えてくれる。

中間層を何層にも深く重ねたニューラルネットワークを使い、データの特徴をコンピュータ自身に見つけさせる機械学習の手法をディープラーニング（深層学習）という。

層を深くすると、浅い層は単純な特徴を、深い層はそれらを組み合わせた複雑な特徴をとらえるという分担が生まれる。そのため、どこに注目すべきかを人が細かく決めなくても、大量のデータから特徴を自動で取り出せる。画像認識や音声認識、翻訳などで高い性能を出している。

たとえ文字を覚えるとき、まず線の引き方、次に部首、最後に字全体というように、段を踏んで見分ける力を積み上げていくようなもの。

覚え方ディープは「深い」。賢さの深さではなく、層の重なりが深い（多い）ことを指す。

この用語の過去問 2 題 ディープラーニング →