チェックをすり抜けるための驚くべき擬態テクニック
たとえば、まるで人間が操作しているかのように、リアルなマウスの動きをシミュレートしたり、自由回答の質問に対しては、キー入力一つひとつをシミュレートし、さらにもっともらしい誤字や修正まで含ませたりするといった具合だ。
驚くことに、ペルソナの学歴レベルに合わせて、現実的な読解時間(質問文を読むのにかかる時間)までシミュレートするという。
合成回答者はこうした優秀なペルソナ作成と擬態の能力により、科学者が長年かけて開発してきた、AIによる自動入力を検出するための方法論を、ことごとく無力化することに成功している。
4万3000回のテストを通じて、ACQsの99.8%を突破したのである。ACQsとは、Attention Check Questionsの略で、オンライン調査で「ちゃんと質問文を読んで答えているか」を確認するために入れられる注意力確認用の質問のこと。研究や世論調査においては、いい加減な回答者やAIによる自動入力を排除するために広く使われている。
さらに、AIには簡単だが、人間にはほぼ不可能なタスクを課す「リバース・シボレス(reverse shibboleth)」と呼ばれる検出方法(たとえば異常に難しい長文の要約を求めるなど)に対しても、合成回答者は97.7%のケースで拒否という選択肢を取ることができた。
つまり自分がAIであり、超人的な能力を持っていることを見破られないよう、「私にはできません」と人間のように振る舞うのである。
こうした実験結果から、ウェストウッド准教授は、合成回答者のような最新のAIにより既存の検出方法は「実質的に陳腐化」したと宣言している。
こうしたAIが、悪意ある世論操作に応用される可能性は計り知れない。ウェストウッド准教授は、AIに簡単な指示を与えるだけで、不自然さを与えることなく回答の方向性を操作できることを示している。