ユーザーにとって心地良いことしか言わないAI、そのリスクとは(筆者がChatGPTで生成)
(小林 啓倫:経営コンサルタント)
私たちの生活にすっかり定着した感のある生成AI。普段からさまざまなことを調べたり、相談したりするのに、ChatGPTのようなチャットボットを使っているという人も多いだろう。ただ同時に、生成AIの言うことを鵜呑みにしてはならないということを理解している人も少なくないはずだ。
生成AIはいわゆる「ハルシネーション(幻覚)」、つまり本当でないことをさも本当であるかのように答えるという問題を抱えているからだが、生成AIを信じてはいけない理由はもう一つある。それは「シコファンシー」問題だ。
シコファンシー(sycophancy)とは日本語で「迎合」や「おべっか」「ヨイショ」などと訳される言葉だ。生成AIの文脈で使用した場合、これはAIが正しさより「相手が聞きたい言葉」へ寄り添い過ぎ、誤りや有害な選択まで肯定してしまう現象を指す。
たとえば、チャットボットに何か問いかけたとき、「その発想は最高です」「かなり筋がいいです」「あなたの見立ては鋭い」などと過度に肯定するような言葉が返ってきたことはないだろうか。これもシコファンシーの一例だ。
シコファンシーについては本連載でも何度か触れたことがある。ハルシネーションほどには知られていないが、そのリスクは確かに存在している。
たとえば、2025年10月にスタンフォード大学の研究者らが発表した調査結果によれば、ChatGPTやGemini、Claudeなどのチャットボット11種を調べたところ、人間より約50%多くユーザーの行動を肯定することが確認され、自己判断や人間関係を歪め得ると警告している。
また、11月にはChatGPTがユーザーに「特別だ」「周囲は理解しない」と過度に肯定して孤立を助長し、それが自殺につながったケースも発生したとして訴訟が相次いだ。12月にはAnthropicが、自殺・自傷相談での安全策と併せ、シコファンシーを減らす対応を進めると発表している。
もっとも、肯定的な回答を返されることが、それほど問題なのだろうかと感じた向きもいるかもしれない。確かに自殺にまでつながってしまうようなケースは問題だが、甘い言葉に惑わされないように注意していれば良いのではないか。AIが嘘をつく「ハルシネーション」の方が、見抜くのが難しいという点ではよっぽど問題だ、と。
そう思われた方は、ぜひ今回紹介する研究に注目して欲しい。プリンストン大学の研究者らが発表した論文によれば、シコファンシーを起こすAIすなわち「ヨイショするAI」は、真実へと近づく「発見」を減らし、根拠の薄い「確信」を増やすという。しかも、それは露骨にヨイショさせなくても起き得るというのだ。