「ビッグデータの正体 情報の産業革命が世界のすべてを変える」という本に、ビッグデータがもたらす3つのパラダイムシフトが提示されています。
3つ目の因果関係ではなく相関関係が重要は、本書で最もインパクトがある論点でした。ちなみに「相関関係がある」というのは、AとBという2つが同時に起こることで、「因果関係がある」というのは、Aが原因でBが起こることです。
ビッグデータにおいては因果関係よりも、何と何に相関関係があるかさえわかればよく、その組み合わせを見つけることが重要であるという考え方。これまではAとBというわかりやすい相関しかわからなかったのが、大量データをまわすことで、AとTという一見何の関係もない2つに相関があることを発見できるかどうか。なぜAとTにどういう因果関係があるかは気にしないというもの。
■ビッグデータによる未来予測と選択の余地
ビッグデータの活用例として予測があります。大量のデータがあり、数式モデル等も導入することで、データから未来がわかる。一方で、本書で興味深かったのは以下の指摘。
これを実感したのが、Yahoo! JAPANが発表していた、Y!の検索データからの参院選予測でした。ビッグデータが導き出した参議院選挙の議席予測
検索データと、昨年末の衆院選の知見からモデルをつくり、データから選挙結果予測をすること自体は価値のあるものだと思います。
従来の選挙結果予測は、電話調査(RDD)による聞き取りであったり、投票後の出口調査からが主な方法でした。それを、ネットでの検索数から高い相関で出せるようになった。Y!が予測に使ったモデルは異なる2種類があり獲得議席数の予測に若干ぶれはあるものの、データから言える結論は変わらず、おそらくこの予測通りの結果になるのでしょう。
一方で、分析結果がこのタイミングで出ることは選挙にとってよいことなのか、もっと言うと日本の将来(少なくともあと3年はこの規模の選挙はないので)にとって有益なのかは考えてしまいます。
すでに勝負が決まったかのような情報が流れると、「投票してもしなくても変わらない」という意識が出てしまうのではと思います。自民支持者、自民ではない党を支持/投票しようと思っている人にとっても。特に浮動票と呼ばれる特定支持がない層。浮動票をどれだけ確保できるかは自公以外は結果に響く気がしますが、その層の投票率が下がってしまいかねない。
先月の東京都議選の結果は、自民が大勝したのと共産党の議席が増えて野党第一党になりました。投票率が下がったのは主に浮動票で、その分、組織票が強い党が票を集めた。同じ構図が今回の参院選でも起こるのではないかなと。
先に引用した「ビッグデータ予測が完璧で、アルゴリズムが我々の未来を寸分違わずはっきりと見通せるなら、我々の行動にもはや選択の余地など存在しないことにならないか」という指摘が当てはまります。
ヤフーの検索データからの選挙予測は、ビッグデータがもたらすとされるパラダイム・シフトの1つである「因果関係よりも相関関係」の例でもあります。検索と投票に高い相関があり、それを使うことで選挙結果が予測できる。
これまで活用していなかったデータから未来が予測できることは有意義だと思う一方で、「ビッグデータ予測が完璧で、アルゴリズムが我々の未来を寸分違わずはっきりと見通せるなら、我々の行動にもはや選択の余地など存在しないことにならないか」という問題意識は持っておきたいです。
※関連記事
因果関係よりも相関関係：ビッグデータがもたらすパラダイムシフト｜思考の整理日記
- 限りなく全てのデータを扱う。n=全数
- 量さえあれば精度は重要ではない
- 因果関係ではなく相関関係が重要になる
3つ目の因果関係ではなく相関関係が重要は、本書で最もインパクトがある論点でした。ちなみに「相関関係がある」というのは、AとBという2つが同時に起こることで、「因果関係がある」というのは、Aが原因でBが起こることです。
ビッグデータにおいては因果関係よりも、何と何に相関関係があるかさえわかればよく、その組み合わせを見つけることが重要であるという考え方。これまではAとBというわかりやすい相関しかわからなかったのが、大量データをまわすことで、AとTという一見何の関係もない2つに相関があることを発見できるかどうか。なぜAとTにどういう因果関係があるかは気にしないというもの。
■ビッグデータによる未来予測と選択の余地
ビッグデータの活用例として予測があります。大量のデータがあり、数式モデル等も導入することで、データから未来がわかる。一方で、本書で興味深かったのは以下の指摘。
ビッグデータ予測が完璧で、アルゴリズムが我々の未来を寸分違わずはっきりと見通せるなら、我々の行動にもはや選択の余地など存在しないことにならないか。完璧な予測が可能なら、人間の意志は否定され、自由に人生を生きることもできない。皮肉なことだが、我々に選択の余地がないとなれば、何ら責任を問われることもない。
検索データと、昨年末の衆院選の知見からモデルをつくり、データから選挙結果予測をすること自体は価値のあるものだと思います。
従来の選挙結果予測は、電話調査(RDD)による聞き取りであったり、投票後の出口調査からが主な方法でした。それを、ネットでの検索数から高い相関で出せるようになった。Y!が予測に使ったモデルは異なる2種類があり獲得議席数の予測に若干ぶれはあるものの、データから言える結論は変わらず、おそらくこの予測通りの結果になるのでしょう。
一方で、分析結果がこのタイミングで出ることは選挙にとってよいことなのか、もっと言うと日本の将来(少なくともあと3年はこの規模の選挙はないので)にとって有益なのかは考えてしまいます。
すでに勝負が決まったかのような情報が流れると、「投票してもしなくても変わらない」という意識が出てしまうのではと思います。自民支持者、自民ではない党を支持/投票しようと思っている人にとっても。特に浮動票と呼ばれる特定支持がない層。浮動票をどれだけ確保できるかは自公以外は結果に響く気がしますが、その層の投票率が下がってしまいかねない。
先月の東京都議選の結果は、自民が大勝したのと共産党の議席が増えて野党第一党になりました。投票率が下がったのは主に浮動票で、その分、組織票が強い党が票を集めた。同じ構図が今回の参院選でも起こるのではないかなと。
先に引用した「ビッグデータ予測が完璧で、アルゴリズムが我々の未来を寸分違わずはっきりと見通せるなら、我々の行動にもはや選択の余地など存在しないことにならないか」という指摘が当てはまります。
ヤフーの検索データからの選挙予測は、ビッグデータがもたらすとされるパラダイム・シフトの1つである「因果関係よりも相関関係」の例でもあります。検索と投票に高い相関があり、それを使うことで選挙結果が予測できる。
これまで活用していなかったデータから未来が予測できることは有意義だと思う一方で、「ビッグデータ予測が完璧で、アルゴリズムが我々の未来を寸分違わずはっきりと見通せるなら、我々の行動にもはや選択の余地など存在しないことにならないか」という問題意識は持っておきたいです。
※関連記事
因果関係よりも相関関係：ビッグデータがもたらすパラダイムシフト｜思考の整理日記
