DebunkBotに挙がった疑問とは?
たとえば、これはあくまで「自主的に実験に参加してきた」陰謀論を信じる人々に対する結果であり、そうではない人々(おそらく彼らの方がもっと強く陰謀論を信じているだろう)に対してどこまでの効果が期待できるのか?といった具合だ。
MITの研究者らもその点は認識しており、今後、現実世界における検証を進めなければならないと述べている。
そして実際に、その現実世界における検証を行った結果が、別の論文として発表されている。今度はこちらの内容を見てみることにしよう。
論文を発表したのは、ドイツの著名な研究機関であるマックス・プランク研究所の研究員ら。彼らは生成AIを用いてヘイトスピーチに対する反論(カウンタースピーチ)を生成し、それをツイッター上で実際にぶつけてみるという実験を行った。
その際に、彼らは反論にいくつかの種類を設定した。まずは「文脈に依存しないカウンタースピーチ」である。これは汎用的な内容で、特定の投稿内容には応じずに使用可能なメッセージであり、作成は人間の専門家によって行われた。
さらに、このスピーチについて、「共感を促すメッセージ」と「行動の結果を警告するメッセージ」の2つのサブカテゴリーを設定した。
前者は、たとえば「この投稿が他者にどれほどの影響を与えるか考えてみてください」のような内容、後者は「この投稿はあなたの評判や将来に悪影響を及ぼす可能性があります」のような内容である。
そして、もうひとつは「文脈に沿ったカウンタースピーチ」である。こちらは文字通り、反論する対象となったツイートの内容や背景に基づいているもので、生成AIを使用して作成された。
こちらについても、「共感を促すメッセージ」と「行動の結果を警告するメッセージ」の2つのサブカテゴリーが設定され、それぞれの内容が生成されるようAIに対して指示が与えられた。
こうして準備されたそれぞれのメッセージを、ツイッター上からランダムに抽出されたヘイトスピーチのツイート(過去の研究や専門家の意見を基に「ヘイトスピーチに関連するもの」として選定された、特定のキーワードやハッシュタグを含むツイートが収集された)約2600件に対して、実際に反論として投稿したのである。
結果はどうだったか。