これからはSEOだけでなくAIOが重要になる（写真：SB/イメージマート）
ギャラリーページへ
  • 米ニューヨーク・タイムズをはじめ生成AIによるクローラーをブロックするメディアは少なくない。
  • その中で米政治系ニュースサイト、Politicoはクローラーが情報を読みやすいようにデザインを変えた。
  • その背景には、SEOの次に来るAIO（AI最適化）をにらんだ判断がある。

（小林 啓倫：経営コンサルタント）

クローラーを受け入れたPolitico

　以前の記事「生成AIの“思想”を左右？メディアによる記事のクローラーブロックは是か非か」で、生成AIの「クローラー」を拒否するメディアが増えていることを紹介した。

【関連記事】
◎生成AIの“思想”を左右？メディアによる記事のクローラーブロックは是か非か（JBpress）

　簡単に振り返ると、生成AIの開発には、AIに学習させるための大量のデータが必要になる。また学習後であっても、ユーザーからの質問に答えるために、最新の情報をネット上から取得する必要が生まれる。

　そこでその開発を手掛ける企業の多くは、ウェブ上で公開されているさまざまな記事を、専用のプログラムを使って自動的に集めてくる（スクレイピングという）。それを行う自律型プログラムを「クローラー」と呼ぶ。

　もっとも、クローリングされる側のメディア、特に新聞社や雑誌社など記事そのものを売り物にしているニュースメディアはたまったものではない。AIが記事の中にある知識や情報を学習して、あるいは適時必要な情報を記事からすくい上げてユーザーに回答できるようになれば、元の記事へアクセスする必要がなくなってしまうからだ。そこでいま、クローラーをブロックするサイトが増えている。

　ただ、逆に生成AIのクローラーを積極的に受け入れようというメディアも登場している。米国の政治系ニュースサイト「Politico（ポリティコ）」もそのひとつだ。

　Politicoは2007年に設立されたニュースサイトで、ワシントンD.C.を拠点とし、米連邦議会やホワイトハウスの動きや選挙動向など、政治に特化したニュースを伝えている。その読者は一般の市民だけでなく、政治家、政策立案者、ロビイストなど、政治に直接関与する人々もPoliticoの報道に信頼を置いている。

　それだけの老舗で、堅実な運営をしているニュースメディアともなれば、生成AIのクローラーは当然ブロックしていると思うかもしれない。しかしPoliticoはこの対応を取っていない。

　それが単なる対応のミスやテクノロジーの軽視でないことを、同社のプロダクト＆デザインチーフのマックス・リロイが、ジャーナリズムに関する英国の専門誌Press Gazetteが行ったインタビューの中で答えている。

　それによると、Politicoは今年1月末、同サイトの欧州版であるPolitico.euのリニューアルを実施。その際、生成AIのクローラーを拒否するどころか、それが「読みやすい」ようにデザインを変更したそうだ。

【関連記事】
◎Politico embraces generative AI web crawlers with website redesigns（Press Gazette）