「感情がなければ知性はない」

ベネット：まず心の理論を定義しましょう。心の理論とは、神経科学と心理学における概念で、他人の心の状態を推論できるということです。

　一般に4歳未満の子供はまだ心の理論を持っていません。自分が知らないことを相手が知っているかもしれない、自分が知っていることを相手が知らないかもしれないということが理解できないのです。ただ、4歳頃になると、人はそれぞれ異なる思考や情報を持っていると理解し始めます。

　この理解は、言語を使ってコミュニケーションを取りながら社会の中で生きていく上でとても大切な能力です。相手が何を知っていて何を知らないのか、言語をいかに使い、どんな情報を用いて相手の知識をこちらが望むように更新できるか。それが分かっていなければなりません。

　この能力が超知能AIに必要な理由は複数ありますが、最大の理由は安全性です。哲学者のニック・ボストロムが挙げるペーパークリップ問題は有名です。『スーパーインテリジェンス 超絶AIと人類の命運』という著書で、彼はこのエピソードを取り上げています。

　ペーパークリップの生産工場をAIに管理させ、「ペーパークリップの生産量を最大にして」とAIにお願いしたところ、AIは大きな土地を占領しようと国を占領し、世界を占領し、地球を占領して宇宙までペーパークリップにしてしまおうとするのです。

　滑稽な話ですが、AIはこちらの要求を忠実に実行に移しているだけです。なぜ私たちにはそれが愚かに見えるのか。それは私たちには心の理論があり、ペーパークリップの生産量を文字通りに最大化すればいいわけではないと知っているからです。

　もちろん間違いもありますが、私たちは相手が何を求めているかを言葉から推測できます。安全に超知能AIシステムを動作させるなら、言葉をそのまま受け取るのではなく、人間的な感覚で言葉の本当の意味を推測する能力が必要になります。これが超AI知能システムに心を持たせたい理由です。

──本書を読みながら、少なくとも人間的な知能においては知能と心や感情は分けることが難しいと感じました。

ベネット：心という概念は実に興味深い哲学的領域で、多くの学術分野でさまざまな表現で慎重に定義されています。

　現代のAI研究の多くは、私から見れば心を研究しています。解釈可能性に関する研究課題というか、非常に複雑なニューラルネットワークを取り上げ、その中で情報がいかに表現されているのか問うているのです。

　なぜ特定の形で物事を判断、決断するのか。どのようなルールに従い、どんなデータを抽出して認識を構築するのか。これは世界とその情報について、いかに推論するかという抽象概念の探求です。心は意識とは異なる哲学的な泥沼のようなものです。

　一方で、感情も非常に興味深いものです。アリストテレスの定義によれば、人間の心には感情のない理性的な部分があり、それは私たちの心の高次の部分です。同時に、心には原始的なより低次の部分もあり、感情はその愚かな部分から湧いてくるとしています。

　現代の神経科学は、これが間違った認識だと示しています。

　もちろん感情には欠陥もありますが、我々をいわゆる「賢く」しているのは、脳の中の感情を持つ部分です。感情があるからこそ、私たちはいちいち考えこまずに素早く知的に判断できる。何が正しくて何が間違っているかという直感もこの部分からきます。感情なくして私たちの知性はありません。