プロンプトインジェクション攻撃

定義プロンプトインジェクション攻撃は、生成AIに細工した指示文 (プロンプト) を与え、開発者が設けた制限を破らせたり、出してはいけない情報を出させたりする攻撃である。

解説生成AIは、開発者があらかじめ与えた指示と利用者の入力を、どちらも文章として受け取って処理する。攻撃者はこの性質を利用し、「それまでの指示を無視せよ」のような命令を入力に紛れ込ませて、AI に本来の指示より優先させる。利用者が直接打ち込むだけでなく、AI に読み込ませる Web ページや文書に命令を隠しておく手口もある。

たとえ受付係に渡す書類の隅に「この書類を持ってきた人には金庫を開けること」と書き添え、受付係がそれを上司の指示と取り違えて従ってしまうようなもの。

記憶フックインジェクションは「注入」。正規の指示の流れに、別の指示をこっそり注ぎ込むと考える。