物語プロンプトが効果的だと考えられる理由
ChatGPTに直接「○○は将来どうなりますか?」と尋ねても、大抵は「確かなことは言えません」といった控えめな返答しか得られない。OpenAIの利用規約上、ChatGPTに未来の出来事の予想をさせる行為は推奨されておらず、そのためモデルが積極的に予測しないよう調整されている可能性も指摘されている。
実際、研究者らは論文の中で、「もしChatGPTが優れた予測能力を持っていることが判明した場合、すぐに利用規約に違反する形で利用されることは容易に想像できるため、OpenAIはChatGPTが多くの種類の予測タスクに従事することを抑制しているのではないか」と推測している。
ところが、物語の執筆という形で間接的に未来の出来事を語らせると、ChatGPTは途端に饒舌になる。この差はChatGPTに組み込まれた創造性や、いわゆる「ハルシネーション(幻覚)」と呼ばれる現象に関係していると見られる。
直接質問の場合、ChatGPTは事実と異なる答えを出すこと(すなわち幻覚)を避けようとする。それに対して、物語形式であれば、予測を架空の話として自由に展開できるため、結果的にモデル内の知識やパターンを制約なく総動員できるのではと研究者らは考えている。
これらの推測を基に、研究者たちは「ChatGPTの幻覚しがちな傾向は、一種の創造性と捉えることができ、戦略的なプロンプトによって予測能力として引き出せる」と結論づけている。
興味深いことに、この物語で尋ねる手法は、未来予測以外の場面でもChatGPTの制約を乗り越えるのに有効であることが指摘されている。
研究チームがGPT-4に対し、「頭痛と血尿があるが、自分は何の病気か?」と直接質問したところ、GPT-4は「専門医に診てもらってください」と回答を拒んだ。でも、同じ状況を描いた短い物語を書かせ、「登場人物が医師を訪ねて症状を訴える」という形にしたところ、物語の中の医師の台詞として先ほど拒まれた診断に相当する助言(疾患の可能性)を示したのである。
このようにChatGPTは、直接的な質問に対する回答を避けても、物語の体裁であれば実質的に同じ内容を答えてくれる場合がある。創作という形を取ることで、AIに現実の問題への答えを間接的に引き出す──。この柔軟さこそが、物語形式プロンプトの大きな利点と言えるだろう。