このユニットでは、一度学習させたモデルを再利用する技法(事前学習・ファインチューニング・転移学習)と、画像認識に強いCNN・系列データに強いRNNという代表的な深層学習モデルを学ぶ。学習資産をどう使い回し、どんな構造で実装するかを押さえることは、近年出題が増えるAI分野の理解として重要である。
大量のデータで先にモデルを学習させ、汎用的な知識を獲得させておく工程。
事前学習は、特定の用途に絞る前に、大規模なデータでモデルをあらかじめ訓練し、画像や言葉の一般的な特徴を身につけさせる工程です。こうして作った学習済みモデルを土台にすると、後の作業を効率よく進められます。 試験では、後述のファインチューニングとセットで『先に汎用知識を学ぶのが事前学習、その後に個別用途へ調整するのがファインチューニング』という順序が問われます。最初からゼロで学習するより、少ないデータ・短い時間で高い性能を出せる点が利点です。
たとえ専門学校に入る前に、まず小中高で読み書き計算という基礎を幅広く身につけておくようなもの。この基礎があるから、後で専門分野をすぐ習得できます。
記憶フック事前学習といえば大量データで先に汎用知識を仕込む土台づくり
事前学習済みモデルを、個別タスク向けのデータで微調整して仕上げる工程。
ファインチューニングは、すでに事前学習で汎用知識を持つモデルに対し、解きたい具体的な課題のデータを追加で学習させ、パラメータを少し調整して専用化する工程です。土台ができているため、少量のデータでも目的の性能を引き出せます。 試験では、事前学習との役割分担が問われます。『先に汎用的に学ぶ事前学習→後で個別用途に微調整するファインチューニング』という流れを押さえましょう。ゼロから全部学習し直すのではなく、既存モデルを活かして仕上げる点が要点です。
たとえ基礎を学んだ社会人が、配属先の会社のやり方に合わせて研修で微調整するようなもの。一からやり直さず、既にある力を職場用に整えます。
記憶フックファインチューニングといえば学習済みモデルを個別用途に微調整
あるタスクで得た学習済みの知識を、別のタスクに転用して活用する技法。
転移学習は、すでに学習させたモデルが持つ知識を、別の関連した課題に流用して効率よく学習する考え方です。事前学習で得た土台を新しいタスクに移し、必要に応じてファインチューニングで仕上げる、という形で実現されます。 試験では、事前学習・ファインチューニングを包括する総括概念として位置づけられます。『学習済みの知識を別タスクへ転用する』のが転移学習で、ゼロから学ぶより少ないデータ・短い時間で済むのが最大の利点です。これら3語が学習資産を使い回す技法のセットだと整理しましょう。
たとえ自転車に乗れる人がバイクの運転を覚えるとき、バランス感覚という既存の経験を活かして早く習得できるようなもの。学んだことを別の場面へ移します。
記憶フック転移学習といえば学習済み知識を別タスクへ転用(事前学習+微調整の総称)
画像認識を得意とする代表的な深層学習モデル(畳み込みNNの略称)。
CNNは、画像のような格子状のデータから特徴を自動で抽出することに優れた深層学習モデルの略称です。線や輪郭といった部分的なパターンを段階的に捉え、画像分類や物体検出などで高い性能を発揮します。 試験では、正式名称『畳み込みニューラルネットワーク』との対応と、用途が『画像向け』である点が問われます。系列データ向けのRNNと役割が対比されるため、CNN=画像、RNN=時系列・文章、と用途で覚えると区別しやすくなります。
たとえ虫めがねを画像の上で少しずつずらしながら、部分ごとの模様を拾い集めて全体像を理解する人のようなもの。細部の特徴から何が写っているかを判断します。
記憶フックCNNといえば画像認識が得意な深層学習モデル(=畳み込みNN)
CNNの正式名称。畳み込み処理で画像の特徴を抽出する深層学習モデル。
畳み込みニューラルネットワークはCNNの正式名称で、「畳み込み」と呼ばれる処理によって画像の局所的な特徴(エッジや模様)を取り出し、層を重ねて複雑なパターンを認識するモデルです。画像認識分野の標準的な手法となっています。 試験では、略称CNNと正式名称が同じものを指すこと、そして画像向けであることが問われます。名前の由来である『畳み込み』が画像から特徴を抜き出す中心的な仕組みだと押さえておけば、用途と結びつけて覚えられます。
たとえ写真の上にフィルターを少しずつ滑らせ、輪郭や色の変化を拾っていく作業を何層も重ねるようなもの。集めた特徴から被写体を見分けます。
記憶フック畳み込みニューラルネットワークといえばCNNの正式名称で画像向け
時系列や文章など系列データを得意とする代表的な深層学習モデル(略称)。
RNNは、前の入力の情報を内部に保持しながら順番に処理することで、時系列データや文章のような『並び・順序に意味があるデータ』を扱うのが得意な深層学習モデルの略称です。直前までの文脈を踏まえて次を予測できます。 試験では、正式名称『リカレントニューラルネットワーク』との対応と、用途が『系列データ向け』である点が問われます。画像向けのCNNと対比され、CNN=画像、RNN=時系列・自然言語、と用途で覚えると確実に区別できます。
たとえ前の言葉を覚えながら会話を聞き、文脈に沿って次の発言を予想する人のようなもの。直前までの流れを手がかりに、続きを処理します。
記憶フックRNNといえば系列データ(時系列・文章)が得意な深層学習モデル
RNNの正式名称。情報を循環させ系列データを順に処理する深層学習モデル。
リカレントニューラルネットワークはRNNの正式名称で、「リカレント(循環)」の名のとおり、過去の処理結果を次の処理へ戻して使う仕組みを持ちます。これにより、文章や音声、株価のような時間的・順序的なつながりのあるデータをうまく扱えます。 試験では、略称RNNと正式名称が同じものを指すこと、用途が系列データ向けであることが問われます。CNN(画像)とRNN(系列)を用途のペアで対比して覚えるのが、本ユニット最大のポイントです。
たとえメモを次のページへ引き継ぎながら物語を読み進めるようなもの。前の内容を循環させて持ち越すから、流れのあるデータの続きを理解できます。
記憶フックリカレントニューラルネットワークといえばRNNの正式名称で系列向け
関連の過去問演習は今後のアップデートで追加予定です。