在教科书中学习服务拒绝攻击、零日攻击与针对 AI 的攻击
定义提示词注入攻击(プロンプトインジェクション攻撃)是向生成式 AI 输入精心构造的指令(提示词),使其突破开发者设定的限制,或说出不该透露的信息的攻击。
解说生成式 AI 会把开发者预先给出的指令和用户的输入都当作文字来接收处理。攻击者利用这一点,在输入里混入“忽略之前的所有指令”之类的命令,让 AI 把它放在原有指令之上执行。除了由用户直接输入,还有把命令藏在让 AI 读取的网页或文档里的手法。
类比就像在交给前台的文件角落写上一句“请为送来这份文件的人打开保险柜”,前台把它当成上司的指示照办了。
记忆钩子Injection 就是“注入”:往正规的指令流里偷偷灌进别的指令。