AIスウォーム対策に銀の弾丸は存在しない

　まずAIスウォームは、多数のAI人格が同じ方向の発言を異なる口調で大量に並べることで、実際には存在しない「多数派」や「世論の空気」を作り出す。人は周囲の同調を手がかりに判断しがちであり、見かけの合意が増えるほど、少数意見や慎重な議論は押し流されやすくなる。その結果、AIスウォームが生み出した「偽の世論」は、次第に「本当の世論」を上書きすることになる。

　次に、スウォームはコミュニティごとに刺さる物語を出し分け、集団ごとに別の「現実」を形成する。そうした複数の現実は、本質的に、他の現実とは相容れないものに設定されがちだ。結果として、異なる現実を抱くコミュニティ間での相互理解が難しくなり、対立が固定化される。

　さらに、政治家やコミュニティ内のリーダー、ジャーナリスト、研究者など公共的な担い手に対する嫌がらせを大量生産し、精神的・時間的コストを押しつけて発言や活動を萎縮させる。それはすなわち、過去において社会的分断を埋める役割を果たしてきた人々が、その役割を封じられるということを意味する。未来のガンジーやキング牧師、ネルソン・マンデラたちを、AIスウォームが一掃してしまうかもしれないのである。

　そして最後に、こうした操作が積み重なると、「何が本当か分からない」「どうせ騙される」という不信と疲弊が広がり、参加意欲そのものが下がって民主的な討議空間が空洞化する。また偽情報がウェブ上に継続的に蓄積されると、将来のAIが学習するデータ環境が汚染され、誤った情報がモデルに潜り込むという2次的なリスクも生じ得る、というのが論文の見立てだ。

　本論文はあくまで未来の可能性を論じたものであり、その兆候は見られるものの、前述のような民主主義へのダメージが本格的に始まっているわけではない。しかし放置しておけば、こうした未来が到来する恐れが強いということで、研究者たちは複数の対策を提言している。

　まず示されているのは、AIスウォームを「完全に防ぎ切る」ことを目指すのではなく、攻撃をやりにくくし早期に露見させる方向で対応するというアプローチだ。

　具体的には、投稿内容の真偽判定に寄り過ぎず、同時多発・過度な相互増幅などスウォーム特有の協調行動を検知し、監視の実効性を高めるといった対策である。また利用者側には、疑わしいアカウント群や投稿を可視化し表示順位を調整する「AIシールド」のような仕組みで選択肢を与えることが提言されている。

　それに加えて、仮想環境でスウォームを走らせてシミュレーションし、それに対する防御策を事前に構築する、本人確認を強化して「なりすまし」や大量偽アカの登録コストを上げる、研究者・NGO等が連携して早期警戒と証拠標準化を担う観測所を立ち上げる、そして偽のエンゲージメントでも儲かってしまうという市場構造を改め、世論操作のインセンティブを削ぐといった構想が説明されている。

　これらはいずれも実現に時間がかかるが、残念ながら「これさえ実行すればすべて解決する」といった銀の弾丸は存在しない。AIが徒党を組んで人間を騙そうとする時代には、防御する側においても、複数の組織が協調して各種施策を推進するしかないだろう。

“On the Internet, nobody knows you’re a dog”（ネット上では、あなたが犬でも誰にも分からない）という有名な名言がある。The New Yorker誌の1993年7月5日に掲載された漫画に添えられていたキャプションだ。

　それから30年以上が経過し、AIが人間を演じてSNSに参加するようになったいま、この明言は“On the Internet, nobody knows you’re a bot”（ネット上では、あなたがボットでも誰にも分からない）と言い換えられるべきだろう。そして人間である私たちは、ネットにアクセスするときは常に、スクリーンの向こう側にいるのはAIかもしれないという疑念を持たなければならない。

小林 啓倫（こばやし・あきひと）
経営コンサルタント。1973年東京都生まれ。獨協大学卒、筑波大学大学院修士課程修了。システムエンジニアとしてキャリアを積んだ後、米バブソン大学にてMBAを取得。その後コンサルティングファーム、国内ベンチャー企業、大手メーカー等で先端テクノロジーを活用した事業開発に取り組む。著書に『FinTechが変える! 金融×テクノロジーが生み出す新たなビジネス』『ドローン・ビジネスの衝撃』『IoTビジネスモデル革命』（朝日新聞出版）、訳書に『ソーシャル物理学』（草思社）、『データ・アナリティクス3.0』（日経BP）、『情報セキュリティの敗北史』（白揚社）など多数。先端テクノロジーのビジネス活用に関するセミナーも多数手がける。
Twitter: @akihito
Facebook: http://www.facebook.com/akihito.kobayashi