教科書で学ぶAIの仕組みと透明性・人間の関与
定義マルチモーダルAI は、文章・画像・音声など形式の異なるデータ (モダリティ) を組み合わせて扱える AI である。
解説1 種類の形式だけを入力・出力する AI は シングルモーダル と呼ばれ、マルチモーダルAI はその対になる。複数の形式を組み合わせて入力したり、入力とは別の形式で出力したりして、形式をまたぐやり取りができる。
たとえ目で見たものについて耳で聞いた質問に、口で答える人のように、複数の感覚をつないで働く。
記憶フック「モーダル」は様式・形式のこと。「マルチ」(多い) が付いて、形式が多いと読める。