- 生成AIを適切に用いることで、人間の予測精度を引き上げることができるのではないか──。そんな実証実験が論文で発表された。
- 『超予測力 不確実な時代の先を読む10カ条』で知られるペンシルバニア大学のフィリップ・E・テトロック教授などが進めた実験で、予測の際に「超予測の10カ条」を守るよう指示したLLM(大規模言語モデル)を使ったグループ、偏った考え方をするLLMを使ったグループ、LLMを使わなかったグループによる比較である。
- その結果は、「超予測LLM」を使ったグループの予測結果が一番よかったのは当然として、次位に評価されたのは、意外なグループだった。
(小林 啓倫:経営コンサルタント)
「予測するAI」への期待
先日、デンマークでおよそ8割という高い精度で人間の死期を予測するAIが開発されたというニュースがあった(関連記事)。これはデンマークのほぼ全国民(約600万人)に関する、およそ8年分もの大規模なデータセットを与え、学習させたAIで、その倫理性に関する議論(非常に繊細な予測を行うAIを開発してもいいものなのか?)を引き起こすこととなった。
【関連記事】
◎倫理的・社会的に許容できない「人の死期を予測するAI」、実現は目と鼻の先(JBpress)
そんな魔法のようなレベルではなくても、最近の生成AIの流行の中で、「ChatGPTに簡単な未来予測をさせられないだろうか?」と考えた人は多いはずだ。「週明けの日経平均株価の終値はどうなりますか」と質問を打ち込むと、ある程度正確な予測を返してくれる――。そんなことが可能になれば、仕事や生活がずっと楽になるだろう。
残念ながら、現在の技術ではこのレベルも期待できない。
仮にいま、ChatGPTにこの質問を投げると、「週明けの日経平均株価の終値について予測することはできません。株価は多くの要因によって変動し、これには経済データ、政治的な出来事、市場のセンチメント、企業の業績などが含まれます。また、未来の株価に関する確実な予測は不可能です」などといった答えが返ってくるだろう(これはいま筆者が手元で試してみた結果だ)。
この答えは至極まっとうなもので、株価はさまざまな要因によって左右される。ならば、その要因をChatGPTの助けを借りて確認し、自分自身で考えてみれば、予測精度を上げられるのではないか。
そんな実験を実際にしてみた結果が、論文として発表されている。タイトルはそのものずばり、AI-Augmented Predictions:LLM Assistants Improve Human Forecasting Accuracy(AIによる拡張予測:LLMの支援が人間の予測精度を向上させる)だ。
【関連資料】
◎AI-Augmented Predictions: LLM Assistants Improve Human Forecasting Accuracy
既にタイトルで結論が出てしまっているが、この論文の研究者らは、LLM(大規模言語モデル、ChatGPTのような対話型AIのエンジンのような存在)を適切に使うことで、人間の予測精度を上げられると結論付けている。それでは具体的に、どのようにLLMを予測に活用したのだろうか。