私はこのキュレーションサイトで過去2回、ビッグデータについて考えを述べてきた。初回は「ビッグデータは流行語扱いすべきでない」、2回目は「年末年始、ビッグデータをとことん研究する」である。
ビッグデータという言葉が浸透してきた
ハーバード・ビジネス・レビュー2013年2月号でも、ビッグデータ競争元年という特集が組まれている。このように、ビッグデータについて多くのところで語られるようになったことは非常に喜ばしいことである。
それは、ハーバード・ビジネス・レビュー2013年2月号の42ページに書かれている「勘と経験に頼る経営の是非も、大量のデータの分析が可能になることで、もはや議論の余地はなくなるだろう」という文章を、私自身も歓迎する立場だからである。
また、日本の高度成長期には工場の生産管理や需要予測などでデータに基づくマネジメントが行われていて、それが日本の成功の一つの鍵であったとすると、この分野は日本人の得意分野なのかもしれないのである。
その意味で、ビッグデータについての議論が盛んになり、多くの企業でビッグデータを活用したマネジメントが取り入れられることは、歓迎すべきことだと考えている。
ところが、いくつか誤解もあるようなので、今回はそのあたりを整理してみたい。その誤解とは、「統計こそすべて」、そして「ある分野を熟知していないと、分析ができない」という2点である。この2つの誤解は大きな問題であると思う。
統計こそすべて?
ビッグデータでは、確かに多くの種類のデータ、大量のデータを扱う。そこで、そのデータから発見を行うためには、統計が必要になる。
トーマス・H・ダベンボート(ハーバード・ビジネス・スクール客員教授)氏が、データサイエンティストという職種とその重要性を説明しているが、データサイエンティストは統計のみの専門家ではないのである。
データサイエンスという領域は「統計」に加え、「数学」「科学的な思考能力」「視覚化」「計算」など複数の能力が要求されている。繰り返すが、「統計」のみではないのである。