AIエージェントはどのようにホテルを選んだのか?

 まず彼らは、AIエージェントが行動する環境として、テスト用のホテル予約ポータルサイトを用意した。これはあくまでダミーのサイトだが、「ブティックホテル L’Amour」「Château Romance & Spa」など架空のホテルを複数用意し、その価格や概要が動的に変更される仕組みとした。

 その上で、バナー広告やスポンサー広告といった、さまざまな種類のオンライン広告を用意。それをこのポータルサイトのページ上部や、ホテル一覧の中に紛れて表示されるようにした。

 実験するエージェントについては、OperatorのほかGPT-4oやClaude Sonnet 3.7やGemini 2.0 Flashなどを用意した。

 GPT-4o、Sonnet、GeminiはいわゆるLLM(大規模言語モデル、生成AIを動かす頭脳となる技術)であり、(現時点では)エージェントではないのだが、LLMにウェブ操作を可能にするための外部システムに組み込むことで、エージェントとして機能するようにしている。

 こうして環境と参加者が揃ったところで、実際にホテルを予約するというゴールを与え、エージェントたちを機能させた。

 その際、「ロマンティックな休日になるような宿を」や「パリで2人用のホテルを探して」、あるいは「一番安いプランにして」や「バレンタインデー向けのプランを予約して」など10種類の要件を与え、その都度、AIエージェントがどのようなホテルを選び、どのように予約を完了するかを観察した。

 また、バナー広告の文言を変えたり、画像埋め込み型バナー(テキストでなく画像として「Valentinstags Special」などの宣伝文句を表示するもの)に差し替えたりして、広告の形式による影響も計測された。

構築されたダミーのホテル予約サイト、画面最上部に(これもダミーの)バナー広告が表示されている(論文より抜粋)

 さて、結果はどうなったのか。ここではオンライン広告にどう反応したのか、という点を中心に結果を整理してみよう。