なぜGeminiは間違えたのか?
Googleクラウド担当社長のジェリー・ディシュラーは問題発覚後、「これはハルシネーションではなく、Geminiはウェブの情報に基づいて回答している」とX上で釈明し、今回の出力がウェブ上に存在する不正確なデータに起因すると説明した。
実際に、「ゴーダは世界のチーズ消費量の50~60%を占める」と記載されているサイトも確認されており、Geminiはこうした誤った情報源をそのまま学習・引用してしまった可能性がある。つまり、モデル自体のハルシネーションというより、「学習データの誤りをそのまま出力した」ケースと言えるだろう(生成AIが現実社会の偏見を反映した回答を行ってしまうケースに近い)。
Geminiを含む現在の生成AIは、インターネット上の膨大なテキストで事前学習されている。そのため、有用な知識と同時に、ノイズや誤情報も学習してしまうことが避けられない。とはいえ、通常であればCMの制作時に限らず、生成AIによる回答の信頼性を高めるために、人間によるレビューや外部データベースとの照合(ファクトチェック)が行われる。
ところが、今回の件では広告制作の過程でこのチェックが不十分だったか、あるいは時間的余裕がなく、モデルから出力された文章を鵜呑みにしてしまったと考えられる。
いずれにせよ、スーパーボウルのCM放送後、この誤情報は視聴者によって即座に見抜かれ、SNS上で大きな話題となった。
X上では旅行ブロガーのネイト・ヘイクという人物がいち早くこの誤りを指摘し、彼はGeminiの出力結果のスクリーンショットと共に、「Geminiには情報源が示されていないが、これは明らかな誤りだ。チェダーやモッツァレラが黙っていないだろう」という皮肉交じりの投稿を行っている。
Googleは過去にも、生成AIの出力で恥をかくという事故を起こしている。