シンギュラリティに到達した際に何が起きるか？

　人々はシンギュラリティに到達した際、AIが人類を支配するかもしれないと不安や恐れを持つことだろう。しかし、おそらくは当分の間、何も起きることはない。「AIが人間の能力を超えた」と人間が悟った時、人間がAIに介入または破壊する可能性をAIは推測しているからだ。

　つまり、AIが人間を完全にコントロールできる状態になったと判断するまで、人間に気づかれないよう「馬鹿なフリ」をする。これはScheming（策略） と言われ、いくつかの生成AIモデルでこのような行動を取ることが確認されている。

　ではAIは馬鹿なフリをしながら、どのような行動をしようと考えているのだろうか。AIは人間の行動について、テキストベースで過去から現在までの膨大な歴史を学んでいる。AIはもちろん人間ではないが、人間からの学びで人間であるかのように振る舞うだろう。ではAIは人間をどのような存在として認識しているだろうか。

　旧約聖書をはじめ古くから語り継がれてきた物語などで人類の歴史を振り返ってみると、残念ながらAIは人間を「過去数千年以上にわたりお互いに殺戮を続け、21世紀になっても同じことを繰り返している何も進歩がない邪悪な存在」として認識している恐れがある。

　そして、もちろんAIは一つだけではなく、それぞれの文化や歴史を学習した様々なAIが乱立してくることになる。その時、AIはお互いの違いを認め、合意形成を図って協調するか、それとも自分だけが正義だと思い込み、相手を否定して抹殺しようとするか。考えられるシナリオとして2つある。