ハルシネーション

AIが、事実に基づかない内容や元の情報と食い違う内容を、もっともらしく生成してしまう現象。

「幻覚」を意味する言葉で、言語生成の分野で使われてきました。2023年のジらの総説は、元の資料と矛盾するものと、資料からは確かめられないものに分けて整理しています^[1]。

大規模言語モデルは「もっともらしい次の語」を選ぶ仕組みなので、知らないことでも流暢に答えてしまうことがあります。解釈可能性の研究では、モデルが本来「分からない」と答える状態を持っていて、それを打ち消す仕組みが誤って働くことが一因になっている、という手がかりが得られています。