教科書で学ぶ学習の転用と代表的な深層学習モデル
定義特定の用途に合わせる前に、大量のデータでモデルを学習させ、多くの用途に共通する特徴を身につけさせておく工程を事前学習という。
解説例えば膨大な文章を読ませて言葉のつながり方を覚えさせたり、多種多様な画像を見せて形や色の特徴をつかませたりする。こうして作った学習済みモデルを、後から別の目的に合わせるための土台として使う。土台を共有できるので、用途ごとに毎回ゼロから大量のデータを集めて学習させる手間を省ける。
たとえ特定の仕事に就く前に、学校で読み書きや計算といった、どの仕事でも使う基礎を広く身につけておくようなもの。
記憶フック英語では pre-training。対話 AI の名前に使われる GPT の P は Pre-trained (事前学習済み) の頭文字である。