LLM

教科書で学ぶ生成モデルと大規模言語モデル

定義LLM は、膨大な量の文章を学習し、与えられた文に続く自然な文章を作り出す生成AIのモデルである。

解説文の中で次にどの語が来やすいかを確率で予測する言語モデルを、非常に大きな規模で作ったものである。まず幅広い分野の大量のデータで学習させて (事前学習) 汎用的な力を持たせ、その後の追加の学習 (ファインチューニング) で特定の用途に合わせることもできる。このように多くの用途の土台になるモデルを基盤モデルという。

たとえ膨大な本を読み込んだ人が、書きかけの文を見せられると、いかにもそれらしい続きを書けるのに似ている。

記憶フック先頭の L は Large。服の L サイズと同じ「大きい」の L である。