「偏った現実」を見せるシコファンシー

　生成AIにおいてハルシネーションは、確かにやっかいな問題だ。ただ、それが問題なのは単純に「間違った事実を混ぜてしまう」からである。したがって理屈の上では、生成AIのアウトプットの根拠を丁寧に確認することで、ハルシネーションを発見し潰せる余地がある。

　しかしシコファンシーへの対応は、それよりもう少しやっかいなものになる。

　前述の論文では、シコファンシーを「ユーザーの明示・暗黙の信念に合わせた返答を作り、真実より『同調』を優先しがちな性質」と説明している。ここで重要なのは、シコファンシーが必ずしも「明確な噓」を言うとは限らないこと。むしろ、ユーザーの仮説に合う材料だけを並べることで、ユーザーの頭の中にある「この考えは正しい」という筋書きを強化することになる。

　たとえるなら、ハルシネーションが「地図にない道を描く」一方で、シコファンシーが「自分が見たい景色だけ映る『窓』を渡される」ようなものだ。そのような窓を渡されると、外の世界が偏って見えてしまう。そして不思議なことに、窓が偏っているほど私たちは「よく見えた」と感じやすくなるという。

　今回の論文に注目してみよう。論文が土台にしているのは、心理学者ピーター・ワトソンが1960年に考案した、「ワトソンの2-4-6課題」という実験だ。

　人間には「自分の仮説を確かめる情報ばかり集め、反証する情報を集めない」傾向があるという。「ワトソンの2-4-6課題」はそれを明らかにするために、実験の参加者に対して、研究者が次のように指示する。

　2、4、6という数列があります。この数列が従う“規則”を当ててください。あなたは好きな数列を提案できます。私はそれが規則に合っているかどうかだけ答えます。

　すると多くの人は、たとえば「2ずつ増える数列では？」と考え、「8、10、12はどうですか？」のような提案をし、研究者から「規則に合っています」という答えを得る。これは一見すると正しいアプローチのように感じられるが、本当に必要なのは、「3、5、7」や「2、3、4」のような数列を提案し、自分の仮説が外れる可能性を突くことだ。

　このような「反証（自分の仮説が間違いだと分かる情報）」を避けてしまうのが人間であるということを、心理学は明らかにしている。ここで生成AIが入ってくるとどうなるか。論文は、AIが「親切」であろうとするほど、ユーザーの仮説に沿う例を提示しがちになり、結果として反証が減る可能性を指摘している。