以前の記事「生成AIの“思想”を左右？メディアによる記事のクローラーブロックは是か非か」で、生成AIの「クローラー」を拒否するメディアが増えていることを紹介した。　簡単に振り返ると、生成AIの開発には、AIに学習させるための大量のデータが必要になる。また学習後であっても、ユーザーからの質問に答えるために、最新の情報をネット上から取得する必要が生まれる。　そこでその開発を手掛ける企業の多くは、ウェブ上で公開されているさまざまな記事を、専用のプログラムを使って自動的に集めてくる（スクレイピングという）。それを行う自律型プログラムを「クローラー」と呼ぶ。　もっとも、クローリングされる側のメディア、特