在教科书中学习AI 的风险与社会课题
定义幻觉(ハルシネーション)是指生成式 AI 用通顺自然的文字,把不符合事实的内容当作正确内容输出的现象。
解说生成式 AI 会根据所学文本的倾向,按概率选出接下来可能出现的词来组成句子,因此选词这一过程本身并不检验内容的真假。它可能用充满自信的语气给出并不存在的文献名或错误的数值。在业务中使用输出时,要由用户通过其他信息来源确认事实。
类比就像一个对路只记得个大概的人,却用毫不犹豫的口吻给你指路。语气越笃定,听的人越难起疑。
记忆钩子英语 hallucination 意为“幻觉”:看见并不存在的东西,也就是说出并不存在的事实。