学習の転用と代表的な深層学習モデル

特定の用途に合わせる前に、大量のデータでモデルを学習させ、多くの用途に共通する特徴を身につけさせておく工程を事前学習という。

例えば膨大な文章を読ませて言葉のつながり方を覚えさせたり、多種多様な画像を見せて形や色の特徴をつかませたりする。こうして作った学習済みモデルを、後から別の目的に合わせるための土台として使う。土台を共有できるので、用途ごとに毎回ゼロから大量のデータを集めて学習させる手間を省ける。

たとえ特定の仕事に就く前に、学校で読み書きや計算といった、どの仕事でも使う基礎を広く身につけておくようなもの。

覚え方英語では pre-training。対話 AI の名前に使われる GPT の P は Pre-trained (事前学習済み) の頭文字である。

この用語の過去問 1 題 事前学習 →

事前学習済みのモデルに、目的の作業に合ったデータで追加の学習をさせ、その用途向けに調整することをファインチューニングという。

モデルを一から作り直すのではなく、すでに身につけた特徴を生かしたまま、重みなどのパラメータを目的に合わせて動かす。そのため、ゼロから学習させる場合よりも、必要なデータの量や計算にかかる時間を抑えやすい。例えば、一般的な文章で学習した言語モデルに、ある病院の問診の記録を学ばせ、医療の用語に強い応答をさせるといった使い方がある。

たとえ学校で基礎を身につけた新入社員が、配属先の部署で、その部署ならではの仕事の進め方を短い研修で覚えるようなもの。

覚え方fine は「細かい」、tuning は「楽器の調律」。できあがった楽器の音を最後に細かく合わせる作業になぞらえた名前である。

この用語の過去問 1 題 ファインチューニング →

ある課題で学習したモデルの知識を、関連する別の課題に転用して、新しい課題の学習を効率よく進める手法を転移学習という。

例えば、多くの種類の物を見分けるように学習した画像認識のモデルを、工場で製品の傷を見つけるという別の課題に使う。新しい課題のデータが少なくても、すでに学んだ形や模様の特徴を生かせるため、ゼロから学習するより短い時間で精度を出しやすい。学習済みモデルを土台にしたファインチューニングは、転移学習を実現する代表的なやり方の一つである。

たとえピアノを習った人が、鍵盤の感覚や楽譜の読み方を生かして、電子オルガンを早く弾けるようになるようなもの。

覚え方英語は transfer learning。乗り換えを「トランスファー」と呼ぶのと同じ語で、知識を別の路線へ乗り換えさせると読める。

CNN は Convolutional Neural Network の略で、画像認識に広く使われる深層学習のモデルである。

画像の小さな範囲ごとに特徴を拾う処理を何層も重ね、線や角のような単純な形から、目や車輪のようなまとまった形へと段階的にとらえていく。写真に写っている物の分類や位置の検出、顔認証などで使われている。中の仕組みは、正式名称である畳み込みニューラルネットワークの項で見る。

たとえ大きな地図を小さなマスに区切り、マスごとに道や川があるかを調べてから、全体でどこの地図かを見当づけるようなもの。

覚え方C は Convolution (畳み込み) の C。RNN の R が Recurrent (くり返し) なので、頭の 1 文字で仕組みの違いが分かる。

CNN の正式名称で、畳み込みと呼ばれる処理によって画像の局所的な特徴を取り出していくニューラルネットワークを畳み込みニューラルネットワークという。

畳み込みでは、小さなフィルタを画像の上で少しずつずらしながら当て、その範囲に特定の模様があるかどうかを数値にする。続くプーリングで近くの値をまとめて特徴を縮め、こうした層を重ねたあと、最後の層で何が写っているかを判定する。写っている物の位置が少しずれても同じ特徴を見つけやすいため、画像を扱う作業に向いている。

たとえ小さな型紙を布の端から端まで少しずつずらして当て、型と同じ柄がある場所に印を付けていくようなもの。

覚え方「畳み込み」は数学の convolution の訳語で、音や画像の信号にフィルタを掛ける計算の名前として以前から使われてきた。

RNN は Recurrent Neural Network の略で、文章や音声、時系列データのように順序に意味があるデータを扱うのに向いた深層学習のモデルである。

前の入力を処理したときの情報を内部に残し、次の入力と合わせて処理するため、それまでの流れを踏まえた判断ができる。例えば、文章の次に来る単語の予測、音声の文字起こし、売上の推移からの先の予測などに使われる。

覚え方Recurrent は「くり返し起こる」という意味の英語。情報がネットワークの中をくり返し巡る形をそのまま名前にしている。

RNN の正式名称で、ある時点の処理で作った内部の状態を次の時点の処理に戻して使う仕組みをもつニューラルネットワークをリカレントニューラルネットワークという。

処理の結果を次の処理へ戻す経路があるため、内部の状態がそれまでに見たデータの要約として引き継がれていく。各時点で同じ重みを使い回すので、長さの違う文章や時系列も同じ仕組みで扱える。

たとえ日記を書くときに前の日のページを読み返し、その流れを踏まえて今日の分を書き足していくようなもの。