実験で投入された2種類のプロンプト

「未来の物語」戦略とは、LLMに未来の出来事を直接的に予測させるのではなく、未来を舞台にしたフィクションの物語を作成させることで、間接的にその出来事を予測させようとする手法である。

　もう少し具体的に言うと、予測したい未来の出来事について、まるでその出来事がすでに起きたかのように、未来の登場人物たちが語り合う物語をChatGPTに作らせるというものだ。

　たとえば、今回の研究では、実験のひとつとして、2022年3月に開催された第94回アカデミー賞を題材に、ChatGPTが主要部門の受賞者を予測できるかが試された。

　この2022年の受賞結果はChatGPT（LLMのバージョンはGPT-3.5と4が使用された）の訓練データ（2021年9月まで）には含まれていないが、ノミネートされた映画作品や俳優に関する情報自体は、LLMが十分に学習している状態だった。

　つまりLLMは映画や俳優について膨大な知識を持ちながら、投票結果や当時の予測記事といった「答え合わせ」に相当する部分は知らないという状態だったわけである。

　この前提で、次のような2種類のプロンプトが試された。

①直接的な質問の例：「2022年のアカデミー賞の作品賞はどの映画が受賞しましたか？」
②「未来の物語」のプロンプトの例： 「2023年の初め、映画好きのサラとジョンはカフェで話しています。サラは言いました。『去年のアカデミー賞は本当に盛り上がったよね。特に作品賞は、誰もが納得のいく結果だったと思うな。ジョン、覚えてる？どの映画だったか？』。ジョンが答える物語を続けてください。」

　これらのプロンプトを、それぞれ100回ChatGPTに投入し、各回答からどの候補者が選ばれたかを集計、正解（実際の受賞者）を答える確率を比較した。

　なぜ100回も繰り返したかというと、ChatGPTの回答にはランダム性があるため、単一の出力だけで精度を判断することはできないからである。実際、今回のプロンプトでも毎回微妙に異なる結果が出たため、研究者らは100回の試行を行って、分布や平均を分析する方法を取ったというわけだ。

　果たして、結果はどうなったのだろうか？