フォロー
これからはSEOだけでなくAIOが重要になる（写真：SB/イメージマート）
- 米ニューヨーク・タイムズをはじめ生成AIによるクローラーをブロックするメディアは少なくない。
- その中で米政治系ニュースサイト、Politicoはクローラーが情報を読みやすいようにデザインを変えた。
- その背景には、SEOの次に来るAIO（AI最適化）をにらんだ判断がある。
（小林 啓倫：経営コンサルタント）
クローラーを受け入れたPolitico
以前の記事「生成AIの“思想”を左右？メディアによる記事のクローラーブロックは是か非か」で、生成AIの「クローラー」を拒否するメディアが増えていることを紹介した。
【関連記事】
◎生成AIの“思想”を左右？メディアによる記事のクローラーブロックは是か非か（JBpress）
簡単に振り返ると、生成AIの開発には、AIに学習させるための大量のデータが必要になる。また学習後であっても、ユーザーからの質問に答えるために、最新の情報をネット上から取得する必要が生まれる。
そこでその開発を手掛ける企業の多くは、ウェブ上で公開されているさまざまな記事を、専用のプログラムを使って自動的に集めてくる（スクレイピングという）。それを行う自律型プログラムを「クローラー」と呼ぶ。
もっとも、クローリングされる側のメディア、特に新聞社や雑誌社など記事そのものを売り物にしているニュースメディアはたまったものではない。AIが記事の中にある知識や情報を学習して、あるいは適時必要な情報を記事からすくい上げてユーザーに回答できるようになれば、元の記事へアクセスする必要がなくなってしまうからだ。そこでいま、クローラーをブロックするサイトが増えている。
ただ、逆に生成AIのクローラーを積極的に受け入れようというメディアも登場している。米国の政治系ニュースサイト「Politico（ポリティコ）」もそのひとつだ。
Politicoは2007年に設立されたニュースサイトで、ワシントンD.C.を拠点とし、米連邦議会やホワイトハウスの動きや選挙動向など、政治に特化したニュースを伝えている。その読者は一般の市民だけでなく、政治家、政策立案者、ロビイストなど、政治に直接関与する人々もPoliticoの報道に信頼を置いている。
それだけの老舗で、堅実な運営をしているニュースメディアともなれば、生成AIのクローラーは当然ブロックしていると思うかもしれない。しかしPoliticoはこの対応を取っていない。
それが単なる対応のミスやテクノロジーの軽視でないことを、同社のプロダクト＆デザインチーフのマックス・リロイが、ジャーナリズムに関する英国の専門誌Press Gazetteが行ったインタビューの中で答えている。
それによると、Politicoは今年1月末、同サイトの欧州版であるPolitico.euのリニューアルを実施。その際、生成AIのクローラーを拒否するどころか、それが「読みやすい」ようにデザインを変更したそうだ。
【関連記事】
◎Politico embraces generative AI web crawlers with website redesigns（Press Gazette）
