バイアスのあるデータで学習したAIが、ビジネスに与える深刻な影響とは？

　ビジネスや社会生活にAIが急速に普及するのに伴い、AIに関する倫理やガバナンスが注目を集めている。本連載では、Deloitte AI Instituteのグローバルリーダーが著した『信頼できるAIへのアプローチ』（ビーナ・アマナス著、森正弥・神津友武監訳／共立出版）より、内容の一部を抜粋・再編集。AIに潜む落とし穴、積極的に利用するために必要なリスク管理、そしてAIをいかに信頼できるものとして活用していくかを探る。

　第3回目は、AIに学習させるためのデータを収集する時、また収集されたデータを扱う際に注意すべきバイアスの1つ「選択バイアス」について解説する。

^{■AIにおけるバイアスの本質}

　バイアスとは人間が持つ特性であり、人間を人間たらしめている部分でもあります。人間の行動に影響を与える認知バイアスは、既に何十種類も確認されています。

　例えば、「購入後の合理化バイアス（post-purchase rationalization bias）」は、購入したものの価格に関わらず、まるで高価であるかのように自分を説得する行為のことをいい、「イケア効果（IKEA effect）」とは、最終的なモノの品質に関わらず、自分で組み立てたモノに大きな価値を見出す行為のことをいいます。

　ほかにも、「ギャンブラーの誤（Gamblerʼs fallacy）」といって、確率は変わらないにもかかわらず、過去の出来事（負け）によって将来の出来事（勝ち）の確率を判断してしまう認知バイアスもあります。

　AIはこうした非論理的なバイアスのほとんどから解放されていますが、その出力結果が不公平で信頼できないものになりうる原因として、データに潜むバイアスがあります。逆に言うと、AIが持つバイアスの主要因はデータにあるのです。

　バイアスとは、狭義的には訓練データから予測される出力値と実際の出力値の差分のことを指します。しかしここでは、バイアスとは、性別・人種・社会的地位などの、社会の根源に存在しかつ間違ったデータ収集方法によってデータに表出されるような偏見のことを指します。

　データサイエンスにおいては、データセットが現実世界を正確に反映していないことでバイアスが現れる場合もありますが、これは必ずしも人為的に発生するものではありません。

　例えば、機械のセンサが誤作動すると、不完全で不正確なデータが出力されることがありますし、また、データセットの入ったファイルが技術的な障害により破損してしまう可能性もあります。

　多くの場合には人間の行動はデータの品質や精度に影響を与えますが、これは必ずしもデータサイエンティストによる悪意や怠慢が原因ではありません。

　データが持つバイアスは、社会通念や法制度など様々な要因により生じることがあり、私たちが「これは公平性に反している」と思う事象が現実には往々にして発生しています（例えば、昇進時のジェンダーバイアスにより、女性よりも男性のほうが管理職に就くことが多いなど）。

　バイアスの要因を探求することは、一見すると学術的な問題に見えるかもしれません。しかし、バイアスがかかったデータによって訓練されたAIの判断は、ビジネスの世界において大きな影響を与える可能性もあるのです。

　ある有名な事例を紹介しましょう。ProPublica^dの調査によって、全米で使用されていた犯罪者の再犯リスクをスコアリングするアルゴリズムが、人種バイアスがかかった結果を出力していたことが判明しました⁵。

　白人の被告人は黒人の被告人と比較してリスクスコアが誤って低く出力されており、黒人の被告人は白人の被告人の約2倍、将来再犯する可能性が高いとスコアリングされていたのです。

　リスクスコアはあくまで刑期を決定するための一要素に過ぎませんでしたが、このようなバイアスによりもたらされる影響は非常に大きく、1つの間違った出力によってその人の人生を何年にもわたって変えてしまいかねないのです。

　このことを踏まえ、バイアスを軽減、場合によっては排除するために、AI開発チームはデータおよび彼ら自身を深く見つめなおさなければなりません。ではどのようなバイアスがあるのか、ここではビジネス的観点から4つの主要なバイアスに焦点を当てて考えてみましょう。

d訳注：アメリカ合衆国の非営利・独立系の報道機関。

5. Julia Angwin et al., “MachineBias,” Pro Publica, May 23, 2016.