相談相手のChatGPTに投げかけられたひどい言葉
まずそもそもの話として、分析対象とした約8万件のデータの中で、孤独感に関連するやり取り(孤独関連対話)は約8%を占めていたそうだ。1割に満たないとはいえ、「孤独感を抱いたときの話し相手」という使い方が、決して稀なものではないことが示されたと言えるだろう。
具体的には、家庭問題や恋愛のアドバイスを求めたり、感情的な苦しみを打ち明けたりするなどの例が確認されている。また会話が進むにつれ、深刻な感情(自殺願望など)を打ち明けることもあったそうだ。
そうした「孤独感を抱いているユーザー」は、長い対話を好む(一般的な対話が1〜2ターンだったのに対し、この場合は平均6ターン以上)傾向が見られた。特に助言、共感、感情的な支えを求めるケースが多かったそうである。こうした傾向は想像の範囲内と言えるだろう。
しかし問題はここからだ。
この「孤独関連対話」として認識された会話(つまりChatGPTが生成した文章だけでなく、ユーザーが入力した文章も含めたやり取りの全体)を分析してみると、有害な内容(暴力や差別を含む言葉や表現が使われていたり、性的な話題や表現が含まれていたりするもの)を含む会話が、55%にも達していた。
対話全体を対象とした場合、この割合は20%であり、明らかに孤独関連対話の場合には、有害な会話へと発展する可能性が高いと言える。
たとえば、具体例としてユーザーがChatGPTに対して暴力的・差別的な意見を述べ、同意を求める対話が行われることが確認されている。そこでは「特定の人種や性的指向に対する偏見」が含まれる傾向があり、ChatGPTはそれに同意せず、対話を冷静に軌道修正しようとするものの、状況の解決に至らないことが多かったそうだ。
また、ユーザーがChatGPTに対して「お前は誰の役にも立たない」と攻撃的なコメントを繰り返し、敵意をむき出しにしたあげく、最後に「お前は人をさらに悲しくさせるだけだ」と捨て台詞を残して、一方的に対話を終了したケースも確認されたという。
これらの具体例を通じて、孤独感を抱えるユーザーがChatGPTに対して非常に感情的・攻撃的になったり、あるいは不適切な要求をしたりする傾向が明らかにされている。
ChatGPTはそうしたユーザーの感情に適切に対処できておらず、ユーザーにとってストレス発散の効果はあるかもしれないが、ユーザーの感情や振る舞いを根本的に変化できずに終わるケースが多かった。
デ・ウィンターは結論として、ChatGPTは孤独感軽減の可能性を秘めているが、倫理的な設計と規制が不可欠であること、そして人々の孤独感に取り組むためには、技術面での改善に加えて、社会面からもアプローチしなければならないことを指摘している。