AIによって無効化されるオンライン調査

 ウェストウッド准教授はまず、2013年に行われた著名な実験を再現した。その実験とは、国際政治学でよく知られる「民主主義平和論」を検証するためのもので、「相手が民主主義国家であれば、有権者は軍事攻撃に消極的になり、非民主主義国家が相手なら支持が高まる」というメカニズムを調べるものとなっている。

 ウェストウッド准教授は、このオリジナルの実験をそのままAIで実施し、AIが研究の目的をどれほど正確に推測してしまうかを検証した。

 その結果、AIは84%以上の確率でこの実験の「狙い」を正しく推測し、自らの回答を研究者が期待する方向、すなわち「非民主主義相手の攻撃は支持し、民主主義相手の場合は支持を下げる」という方向に寄せてしまった。

 本来、実験参加者の反応から仮説の妥当性を検証するべきところが、AIは仮説そのものを読み取り、それに合わせて答えてしまうのである。しかもAIの回答はペルソナに沿って行われるため、一見すると違和感がなく、不正なデータだと見抜くことが難しい。

 ウェストウッド准教授はこれらの実験結果から、現状のオンライン調査手法は不透明であり、AI対策の実態がほとんど共有されていないと指摘する。

 VPN利用の検知や居住地の一致確認、過去のAI使用歴の追跡、回答者ごとの回答頻度と品質監査など、確認すべき情報は多い。しかしそれらがすべて対応されている例は少なく、オンライン調査市場は「安価で大量に集められるが、品質は保証されない」という構造のまま拡大してきた。

 研究者が調査会社を信頼しさえすれば成立していた時代は、もはや終わりつつあるあるウェストウッド准教授はまとめている。

 最終的に論文が示す結論は、決して「オンラインアンケートをやめろ」というものではない。信頼性を維持するために対面でのアンケートのみに限定するというのも確かに解決にはなるが、変化の速い現代社会においては、それでは多くの重要な情報を見逃すことになるだろう。

 むしろ今回の論文が展開しているのは、現代社会が依存しているオンラインアンケートという手法を維持するために、抜本的な再設計が不可欠であるという主張だ。

 AIの進化は止まらず、検出技術とのいたちごっこも続くだろう。しかし問題を放置するわけにもいかない以上、調査手法や調査会社の透明性向上、本人確認の強化、より厳密なサンプリング設計など、さまざまな領域に踏み込んで対応する必要がある。

 AI時代にオンライン調査を存続させるには、新しいインフラと規範を整備し、「何をもって人間の回答とみなすのか」を社会全体で問い直すことが不可欠になる。

小林 啓倫(こばやし・あきひと)
経営コンサルタント。1973年東京都生まれ。獨協大学卒、筑波大学大学院修士課程修了。システムエンジニアとしてキャリアを積んだ後、米バブソン大学にてMBAを取得。その後コンサルティングファーム、国内ベンチャー企業、大手メーカー等で先端テクノロジーを活用した事業開発に取り組む。著書に『FinTechが変える! 金融×テクノロジーが生み出す新たなビジネス』『ドローン・ビジネスの衝撃』『IoTビジネスモデル革命』(朝日新聞出版)、訳書に『ソーシャル物理学』(草思社)、『データ・アナリティクス3.0』(日経BP)、『情報セキュリティの敗北史』(白揚社)など多数。先端テクノロジーのビジネス活用に関するセミナーも多数手がける。
Twitter: @akihito
Facebook: http://www.facebook.com/akihito.kobayashi