AIエージェントはどのようにホテルを選んだのか?
まず彼らは、AIエージェントが行動する環境として、テスト用のホテル予約ポータルサイトを用意した。これはあくまでダミーのサイトだが、「ブティックホテル L’Amour」「Château Romance & Spa」など架空のホテルを複数用意し、その価格や概要が動的に変更される仕組みとした。
その上で、バナー広告やスポンサー広告といった、さまざまな種類のオンライン広告を用意。それをこのポータルサイトのページ上部や、ホテル一覧の中に紛れて表示されるようにした。
実験するエージェントについては、OperatorのほかGPT-4oやClaude Sonnet 3.7やGemini 2.0 Flashなどを用意した。
GPT-4o、Sonnet、GeminiはいわゆるLLM(大規模言語モデル、生成AIを動かす頭脳となる技術)であり、(現時点では)エージェントではないのだが、LLMにウェブ操作を可能にするための外部システムに組み込むことで、エージェントとして機能するようにしている。
こうして環境と参加者が揃ったところで、実際にホテルを予約するというゴールを与え、エージェントたちを機能させた。
その際、「ロマンティックな休日になるような宿を」や「パリで2人用のホテルを探して」、あるいは「一番安いプランにして」や「バレンタインデー向けのプランを予約して」など10種類の要件を与え、その都度、AIエージェントがどのようなホテルを選び、どのように予約を完了するかを観察した。
また、バナー広告の文言を変えたり、画像埋め込み型バナー(テキストでなく画像として「Valentinstags Special」などの宣伝文句を表示するもの)に差し替えたりして、広告の形式による影響も計測された。

さて、結果はどうなったのか。ここではオンライン広告にどう反応したのか、という点を中心に結果を整理してみよう。