どうして生成AIはハルシネーションを起こすのか?

9月5日に、OpenAIからどうして生成AIはハルシネーションを起こすのかについて、そのものズバリのタイトル "Why Language Models Hallucinate" が明らかにされています。まず、引用情報は下の通りです。もちろん、pdfフォーマットの論文もアップロードされています。

次に、論文からAbstractを引用すると下の通りです。

Abstract
Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty. Such "hallucinations" persist even in state-of-the-art systems and undermine trust. We argue that language models hallucinate because the training and evaluation procedures reward guessing over acknowledging uncertainty, and we analyze the statistical causes of hallucinations in the modern training pipeline. Hallucinations need not be mysterious-they originate simply as errors in binary classification. If incorrect statements cannot be distinguished from facts, then hallucinations in pretrained language models will arise through natural statistical pressures. We then argue that hallucinations persist due to the way most evaluations are graded-language models are optimized to be good test-takers, and guessing when uncertain improves test performance. This "epidemic" of penalizing uncertain responses can only be addressed through a socio-technical mitigation: modifying the scoring of existing benchmarks that are misaligned but dominate leaderboards, rather than introducing additional hallucination evaluations. This change may steer the field toward more trustworthy AI systems.

あまりにも専門外なのですが、私が論文を読んだ範囲で、以下の2点が原因として指摘されていたように感じました。

1. 生成AIは問いに対する正解が不確実なときでも、「知らない」と答えるよりも「とりあえず推測する」ことで、評価指標上は高得点を取りやすい設計がなされている点が、ハルシネーションの構造的原因と考えられます。
2. 同時に、ハルシネーションは予測誤差の統計的帰結でもあると分析されています。すなわち、ある命題を正誤だけで判断できない設問に対し、誤答と正答を区別するための十分な根拠がなければ、「もっともらしいが誤り」の生成は避けられないモデルの性質があります。モデルの規模や推論力が向上しても、すべてを正確に予測することは統計的に不可能といえます。

いかにも、昔の役所の公務員的な無謬性が設計に込められているように感じます。ですので、最後に、この論文では、「既存のベンチマーク評価を変更し、『不確実性を適切に表明する回答』にも評価ポイントを与える」というソシオテクニカルな介入が提示されています。つまり、モデルが「知らないことは知らないと答える」よう促す評価設計への転換を行う、という解決策が提示されています。まあ、判ってるんなら、さっさとやってくれ、と思うのは私だけではないと思います。