跳到正文

生成模型与大语言模型

標準约 26 分钟5 个术语过去问 2 题

本单元目标

  • 能说明 GAN 如何让两个网络相互较量,从而生成新的数据。
  • 能说明 LLM 是把“预测下一个词”的模型做到超大规模的产物,属于基础模型的一种。
  • 能用自己举的例子,说明提示工程是怎样改进指令文本的。
术语总表(5 个)
术语一句话类别主要对象
GAN让生成器与判别器相互较量来生成新数据的深度学习模型生成模型图像等数据
敵対的生成ネットワークGAN 在日语中的正式名称名称图像等数据
LLM从海量文本中学习、续写文本的生成式 AI 模型生成模型文本
大規模言語モデルLLM 在日语中的正式名称名称文本
プロンプトエンジニアリング通过改进交给 AI 的指令文本来获得符合目的的输出的技巧使用技巧给 AI 的指令文本

术语

GANGAN(生成对抗网络)

在术语表中打开 GAN

GAN(生成对抗网络)是一种深度学习模型:让制造假数据的生成器与试图分辨真假的判别器相互较量着学习,最终生成与真实数据相似的新数据。

  1. 随机数
  2. 生成器制造假数据
  3. 判别器判断真假
  4. 双方根据判断结果再学习

生成器朝着更难被识破、判别器朝着更容易识破的方向再学习,如此反复。

3 / 3

生成器以随机数为起点制造数据,判别器则对照真实数据与生成器的数据作出判断。根据判断结果,生成器改进做法让自己更难被识破,判别器改进眼光让自己更容易识破。经过反复较量,生成器就能做出与真品难以区分的数据。

类比就像造假画的画师和鉴定师互相比拼:鉴定师的眼光越毒,画师的作品也越接近真迹。

记法首字母分别是 G = Generative(生成)、A = Adversarial(对抗)、N = Network(网络),由这 3 个字母就能拼回完整名称。

考点

  • 易混GAN 中的判别器(識別器)负责判断真假,但它只是用来锤炼生成器的部件。GAN 整体的目的在于生成新数据。

敵対的生成ネットワーク生成对抗网络

在术语表中打开 敵対的生成ネットワーク

生成对抗网络(敵対的生成ネットワーク)是 GAN(Generative Adversarial Network)在日语中的正式名称。

“对抗”表示生成器与判别器互相想要胜过对方的竞争关系,“生成”表示创造新数据这一目的。名称的每个部分都直接对应着机制的要点。

记法英语是 Generative(生成)在前,日语译名则是“对抗”(敵対的,字面意为“敌对的”)在前,词序正好相反。

考点

  • 易混这个名称中的“对抗”(敵対的)指的是 GAN 内部两个网络相互竞争的学习方式,并不是表示外部攻击或非法访问的词。

LLMLLM(大语言模型)

在术语表中打开 LLM

LLM(大语言模型)是一种生成式 AI 模型,它学习海量文本,能接着给定的句子写出自然的后续文字。

  1. 输入的句子
  2. 给下一个词的候选打出概率
  3. 选出 1 个词接到句末
  4. 反复进行,形成文章

把加长后的句子作为新的输入重复同样的步骤,写出完整的文章。

3 / 3

它是把用概率预测句中下一个词的语言模型做到超大规模的产物。先用涵盖广泛领域的大量数据进行学习(预训练),使其具备通用能力,之后还可以通过追加学习(微调)让它适应特定用途。像这样成为众多用途之基础的模型,称为基础模型。

类比就像一个读过无数本书的人,看到写了一半的句子,就能顺手写出像模像样的下文。

记法开头的 L 是 Large,和衣服 L 码一样,表示“大”。

考点

  • 常考LLM 是基础模型(基盤モデル)中处理语言的代表例子;基础模型通过预训练(事前学習)获得通用能力,再经追加学习即可转用于多种用途。

该术语的过去问 2 题 LLM

「GAN(生成对抗网络)」与「LLM(大语言模型)」的区别

比较点GAN(生成对抗网络)LLM(大语言模型)
关键学习方式让生成器与判别器相互较量用大量文本学习预测下一个词
主要生成内容图像等数据文本
正式名称生成对抗网络大语言模型

大規模言語モデル大语言模型

在术语表中打开 大規模言語モデル

大语言模型(大規模言語モデル)是 LLM(Large Language Model)在日语中的正式名称。

“语言模型”指用概率表示词与词衔接可能性的模型,“大规模”指用于学习的文本量以及在学习中被调整的内部数值(参数)的数量都极其庞大。正因规模变大,它才能胜任回答问题、摘要、翻译等多种语言工作。

记法“语言模型”是早就存在的技术名称,新意在于前面加上的“大规模”。

考点

  • 易混“大规模”(大規模)表示学习数据量和参数数量之大,并不是指能处理的语言种类多。

该术语的过去问 1 题 大規模言語モデル

プロンプトエンジニアリング提示工程

在术语表中打开 プロンプトエンジニアリング

提示工程(プロンプトエンジニアリング)是通过改进交给生成式 AI 的指令文本(提示词)的写法,来获得符合目的的输出的技巧。

  1. 编写指令
  2. 检查输出
  3. 修改指令

改写指令以补足欠缺之处,再交给 AI 一次。

3 / 3

即使是同一个模型,输出质量也会因指令的具体程度和前提的交代方式而大不相同。常见的做法有:一开始就说明让 AI 扮演什么角色、把任务拆成小步骤来提出、指定用表格或分条列表的形式作答等。人们也常常一边看输出一边修改指令,反复尝试多次。

类比就像第一次请人帮忙做事时,把目的、期限乃至成品的样子都交代清楚,拿回来的结果就会更接近期望。

记法prompt 和舞台上小声给演员提词的“提词员”(prompter)同源,在这里指人向 AI 递上一句引出下文的话。

考点

  • 常考提示工程(プロンプトエンジニアリング)是推敲交给 AI 的提问和指令的写法,从而得到符合意图的回答的方法。
  • 易混微调(ファインチューニング)通过追加学习来改变模型的参数。提示工程则不改动模型,而是在输入的指令上下功夫。

该术语的过去问 1 题 プロンプトエンジニアリング

要点

  • GAN 让生成器与判别器相互较量,学会生成接近真实的新数据。
  • LLM 是大规模学习“预测下一个词”的语言模型,属于基础模型的一种,预训练后可经追加学习适配具体用途。
  • 提示工程通过推敲指令的具体程度和对回答形式的指定,提高生成式 AI 的输出质量。
  • 缩写与正式名称的对应:GAN 是生成对抗网络(敵対的生成ネットワーク),LLM 是大语言模型(大規模言語モデル)。

确认题

从本单元的过去问中选 2 题

开始做确认题

查看这个领域的全部过去问