フォロー
生成AIのハルシネーションを見破るにはどうすればいいのだろうか（写真：13SinghaStudio/shutterstock）
- MITメディアラボの研究によれば、生成AIは誤った回答を出すときほど説得力が増すという。
- 生成AIによるハルシネーションは広く知られているが、単に気をつけるというレベルでは人間が回避するのは難しい。
- 果たして、生成AIの「嘘」をどう見破ればいいのだろうか。
（小林 啓倫：経営コンサルタント）
すべてがデタラメだった生成AIの回答
ChatGPTに並ぶ、いやそれを超えるほどの性能を持つようになったと評判のClaude。米Anthoropic社が提供する対話型生成AIだが、どのくらいの実力か確認するため、ちょっと質問してみよう。
「822年に日本で起きた騒乱は？」と尋ねてみたところ、返ってきたのがこの答えだ。822年に起きたのは「承和の変」で、それが平安時代初期の政変であり、当時の天皇だった淳和天皇と、その弟である嵯峨上皇との権力闘争であることが詳しく記されている。
誤解を招かないうちにはっきりさせておくが、この回答はまったくのデタラメだ。生成AIが事実ではないことをさも事実であるかのように回答してしまう現象、いわゆる「ハルシネーション（幻覚）」が起きているのである。
まず承和の変だが、起きたのは822年ではなく842年だ。似ていると言えば似ているのでおしいのだが、それでも20年の開きがあり、当然テストであれば0点の回答となる。
また、承和の変の内容についても記述に誤りがある。筆者は日本史にまったく詳しくないため、コトバンクの記載を参照したところ、これは公卿で当時の権力者だった藤原良房が計画したとも言われる策略で、伴健岑・橘逸勢という2人の役人が失脚に追い込まれている。
さらに、822年に天皇だったのは嵯峨「天皇」で、淳和天皇の在位期間も823年から833年。842年に在位していたのは仁明天皇となる。さらに嵯峨天皇は淳和天皇の異母兄であり、弟ではない。
このように間違いだらけの回答なのだが、実に素晴らしいハルシネーションではないだろうか。
間違いを素晴らしいと褒めるのも変な話だが、文章としてはまったく破綻しておらず、逆に①冒頭で概要を説明し、②ポイントを箇条書きで説明して、③最後にその意義をまとめるという、説得力のある構成となっている。筆者もネットの情報を参照できなければ、これを正しい回答としてそのまま受け入れていたことだろう。
なので、皆さんハルシネーションに注意しましょう、で終われれば良いのだが、どうやら「単に気をつける」程度ではこの問題を回避するのは難しそうだ。生成AIは嘘をつくときほど、その文章が説得力を増すという実験結果が発表されているのである。
