生成模型与大语言模型
標準约 26 分钟5 个术语过去问 2 题
本单元目标
- 能说明 GAN 如何让两个网络相互较量,从而生成新的数据。
- 能说明 LLM 是把“预测下一个词”的模型做到超大规模的产物,属于基础模型的一种。
- 能用自己举的例子,说明提示工程是怎样改进指令文本的。
术语总表(5 个)
术语
GAN(生成对抗网络)是一种深度学习模型:让制造假数据的生成器与试图分辨真假的判别器相互较量着学习,最终生成与真实数据相似的新数据。
生成器以随机数为起点制造数据,判别器则对照真实数据与生成器的数据作出判断。根据判断结果,生成器改进做法让自己更难被识破,判别器改进眼光让自己更容易识破。经过反复较量,生成器就能做出与真品难以区分的数据。
类比就像造假画的画师和鉴定师互相比拼:鉴定师的眼光越毒,画师的作品也越接近真迹。
记法首字母分别是 G = Generative(生成)、A = Adversarial(对抗)、N = Network(网络),由这 3 个字母就能拼回完整名称。
考点
- 易混GAN 中的判别器(識別器)负责判断真假,但它只是用来锤炼生成器的部件。GAN 整体的目的在于生成新数据。
生成对抗网络(敵対的生成ネットワーク)是 GAN(Generative Adversarial Network)在日语中的正式名称。
“对抗”表示生成器与判别器互相想要胜过对方的竞争关系,“生成”表示创造新数据这一目的。名称的每个部分都直接对应着机制的要点。
记法英语是 Generative(生成)在前,日语译名则是“对抗”(敵対的,字面意为“敌对的”)在前,词序正好相反。
考点
- 易混这个名称中的“对抗”(敵対的)指的是 GAN 内部两个网络相互竞争的学习方式,并不是表示外部攻击或非法访问的词。
LLM(大语言模型)是一种生成式 AI 模型,它学习海量文本,能接着给定的句子写出自然的后续文字。
它是把用概率预测句中下一个词的语言模型做到超大规模的产物。先用涵盖广泛领域的大量数据进行学习(预训练),使其具备通用能力,之后还可以通过追加学习(微调)让它适应特定用途。像这样成为众多用途之基础的模型,称为基础模型。
类比就像一个读过无数本书的人,看到写了一半的句子,就能顺手写出像模像样的下文。
记法开头的 L 是 Large,和衣服 L 码一样,表示“大”。
考点
- 常考LLM 是基础模型(基盤モデル)中处理语言的代表例子;基础模型通过预训练(事前学習)获得通用能力,再经追加学习即可转用于多种用途。
该术语的过去问 2 题 LLM →
「GAN(生成对抗网络)」与「LLM(大语言模型)」的区别
大语言模型(大規模言語モデル)是 LLM(Large Language Model)在日语中的正式名称。
“语言模型”指用概率表示词与词衔接可能性的模型,“大规模”指用于学习的文本量以及在学习中被调整的内部数值(参数)的数量都极其庞大。正因规模变大,它才能胜任回答问题、摘要、翻译等多种语言工作。
记法“语言模型”是早就存在的技术名称,新意在于前面加上的“大规模”。
考点
- 易混“大规模”(大規模)表示学习数据量和参数数量之大,并不是指能处理的语言种类多。
该术语的过去问 1 题 大規模言語モデル →
提示工程(プロンプトエンジニアリング)是通过改进交给生成式 AI 的指令文本(提示词)的写法,来获得符合目的的输出的技巧。
即使是同一个模型,输出质量也会因指令的具体程度和前提的交代方式而大不相同。常见的做法有:一开始就说明让 AI 扮演什么角色、把任务拆成小步骤来提出、指定用表格或分条列表的形式作答等。人们也常常一边看输出一边修改指令,反复尝试多次。
类比就像第一次请人帮忙做事时,把目的、期限乃至成品的样子都交代清楚,拿回来的结果就会更接近期望。
记法prompt 和舞台上小声给演员提词的“提词员”(prompter)同源,在这里指人向 AI 递上一句引出下文的话。
考点
- 常考提示工程(プロンプトエンジニアリング)是推敲交给 AI 的提问和指令的写法,从而得到符合意图的回答的方法。
- 易混微调(ファインチューニング)通过追加学习来改变模型的参数。提示工程则不改动模型,而是在输入的指令上下功夫。
该术语的过去问 1 题 プロンプトエンジニアリング →
要点
- GAN 让生成器与判别器相互较量,学会生成接近真实的新数据。
- LLM 是大规模学习“预测下一个词”的语言模型,属于基础模型的一种,预训练后可经追加学习适配具体用途。
- 提示工程通过推敲指令的具体程度和对回答形式的指定,提高生成式 AI 的输出质量。
- 缩写与正式名称的对应:GAN 是生成对抗网络(敵対的生成ネットワーク),LLM 是大语言模型(大規模言語モデル)。
查看这个领域的全部过去问 →