生成モデルと大規模言語モデル

GAN は、偽のデータを作る生成器と、それを本物と見分けようとする識別器を競わせて学習させ、本物に似た新しいデータを作り出す深層学習のモデルである。

生成器は乱数を元にデータを作り、識別器は本物のデータと生成器の作ったデータを見比べて判定する。判定の結果を受けて、生成器は見破られにくい作り方へ、識別器は見破りやすい見方へとそれぞれ学び直す。この繰り返しで、生成器は本物と区別しにくいデータを作れるようになる。

たとえ贋作を描く画家と鑑定士が腕を競い合うと、鑑定の目が厳しくなるほど画家の絵も本物に近づいていく。

覚え方頭文字は G = Generative (生成)、A = Adversarial (敵対的)、N = Network。3 文字から正式名称を組み立て直せる。

敵対的生成ネットワークは、GAN (Generative Adversarial Network) の日本語の正式名称である。

「敵対的」は生成器と識別器が互いを出し抜こうとして競う関係を、「生成」は新しいデータを作り出す目的を表す。名称の各部分が、そのまま仕組みの要点に対応している。

覚え方英語は Generative (生成) が先、日本語訳は「敵対的」が先で、語の並びが逆になっている。

LLM は、膨大な量の文章を学習し、与えられた文に続く自然な文章を作り出す生成AIのモデルである。

文の中で次にどの語が来やすいかを確率で予測する言語モデルを、非常に大きな規模で作ったものである。まず幅広い分野の大量のデータで学習させて (事前学習) 汎用的な力を持たせ、その後の追加の学習 (ファインチューニング) で特定の用途に合わせることもできる。このように多くの用途の土台になるモデルを基盤モデルという。

たとえ膨大な本を読み込んだ人が、書きかけの文を見せられると、いかにもそれらしい続きを書けるのに似ている。

覚え方先頭の L は Large。服の L サイズと同じ「大きい」の L である。

この用語の過去問 2 題 LLM →

大規模言語モデルは、LLM (Large Language Model) の日本語の正式名称である。

「言語モデル」は語のつながりやすさを確率で表すモデルを、「大規模」は学習に使う文章の量と、学習で調整される内部の数値 (パラメータ) の数が非常に多いことを指す。規模を大きくしたことで、質問への回答や要約、翻訳など幅広い言葉の作業をこなせるようになった。

覚え方「言語モデル」の部分は昔からある技術の名前で、新しさは頭に付いた「大規模」の側にある。

この用語の過去問 1 題 大規模言語モデル →

プロンプトエンジニアリングは、生成AI に渡す指示文 (プロンプト) の書き方を工夫して、目的に合った出力を引き出す技法である。

同じモデルでも、指示の具体さや前提の示し方によって出力の質は大きく変わる。例えば、AI に担当させる役割を最初に示す、作業を小さな段階に分けて頼む、答えを表や箇条書きの形で出すよう指定する、といった工夫がある。出力を見て指示文を直す試行を何度も繰り返すことも多い。

たとえ初めて仕事を頼む相手に、目的や期限、仕上がりの形まで伝えておくと、望みに近い成果が返ってくるのと似ている。

覚え方prompt は、舞台で役者にせりふのきっかけを小声で伝える「プロンプター」と同じ語で、ここでは人が AI に、書き出すきっかけの言葉を渡すという意味を持つ。

この用語の過去問 1 題 プロンプトエンジニアリング →