AIエージェントに調査を依頼する際のコツとは?(筆者がChatGPTで生成)
(小林 啓倫:経営コンサルタント)
上司や顧客から突然、「○○というテーマについて、明日までにレポートをまとめておいて」と言われたとしよう。しかしあなたはそのテーマについて、知識も経験もまったくない。周囲に頼れる人もいなさそうだ。そんなとき、昔であれば図書館か本屋に駆け込むか、あるいは識者を探し出して無理やりアポを取るというのが常套手段だった(筆者もすべてやったことがある)。
しかしありがたいことに、いまならAIに頼ることができる。最近は、ChatGPTやGeminiのDeep Research機能のような人間に代わって調査してくれる「調査系AIエージェント」に対して、「○○についてレポートを書いて」と指示するだけでいい。少し待ち時間はかかるが、同じ時間では人間なら絶対に集めるのが無理なボリュームの情報を、読みやすいレポートにまとめてくれる。
ただ、そこはAI。いわゆる「ハルシネーション(幻覚)」、つまり回答内容に誤った情報が紛れ込むリスクもある。実際に調査系AIエージェントを使ったことがある人であれば、生成された結果を鵜呑みにしてはいけないということを実感しているだろう。
精度を上げるためには、どのようなプロンプトを書けば良いのか──。そんな誰もが一度は持ったことのある疑問に答えてくれる論文が発表されている。
結果だけを見るのではなく、作業プロセスに注意する
論文を執筆したのは、香港大学などの学術機関に所属する研究者ら。発表された論文「なぜあなたのディープリサーチエージェントは失敗するのか?」によれば、調査系AIエージェントの最終成果物(ユーザーに提示されるレポート)だけを見ていては、その精度を上げることはできないという。
彼らはエージェントが行う調査作業のプロセス、すなわち「調査計画立案」「調査実施(検索)」「レポート作成」という3つのステップに注目し、調査系AIエージェントの最終成果物に誤りが含まれてしまう原因を次の4つのパターンに分類している。
1) 行動の幻覚(Action Hallucination):計画段階で誤りが発生する
2) 制約の無視(Restriction Neglect):ユーザーが示した制約(条件)を無視する
3) 主張の幻覚(Claim Hallucination):情報の要約段階で誤った情報が混入する
4) ノイズ支配(Noise Domination):必要情報が取得できているのに、重要情報を使わずノイズ(周辺情報)中心で要約してしまう
研究者らは実際に、Gemini、ChatGPT、Perplexity、Qwen、Grok、Salesforce Airという6つのサービスの調査系AIエージェント機能で実験し、これらを使用する際のプロンプト設計上の注意を解説している。
では、上記4つの誤りのパターンについて、それを回避するためのプロンプト・テクニックを見ていこう。