2015/01/03

全ての調査は正しいし、全ての調査は見誤る可能性があるという話




2014年12月、第47回衆議院議員選挙 (衆院選) が行われました。


Yahoo! が検索データから選挙予測を実施


選挙の事前予想では、昔は有権者への電話調査や該当でのインタビューが中心でした。しかし、最近ではネットの予想調査も目にするようになっています。

Yahoo! Japan が新しい取り組みをしています。Yahoo! での検索データに基づいた選挙予測を発表しています (2012年12月12日) 。

参考:ビッグデータが導き出した第47回衆院選の議席数予測 (ビッグデータレポート)|ヤフー株式会社


全ての調査は正しいし、全ての調査は見誤る可能性がある


興味深いのは、予想内容がどれだけ当たるかだけではなく、何のデータを使ってどういう方法で予測されているかという点です。

こうした調査を見る際に意識したいのは、全ての調査は正しい一方で、全ての調査は間違って見誤る可能性がある、ということです。

  • 正しい:どんな調査であってもその前提条件 (調査対象者や調査手法など) を理解した上で解釈をするなら正しい
  • 見誤る:その前提条件を見ないと、結果を間違って理解してしまうミスリードの可能性がある

どんな調査も、全数調査でない限りは真実との乖離は必ずあります。この乖離の大小は前提条件に依存します。


誰にどういう方法で聞いたのか


アンケートであれば、誰にどういう方法で聞いたものなのかです。具体的には、電話なのかインターネットアンケートなのかです。

電話であれば、新聞社が定期的に実施する内閣支持率などの世論調査は、日本では RDD 方式 (Random Digit Dialing: 乱数番号法) と呼ばれる方法が使われます。

RDD 方式は、予め決めたエリアに対して該当する電話番号をかけます。例えば東京なら 03 で始まる番号です。各エリアに対して目標とする年代と性別の回答者を集めるため、電話をかけまくる方法です。お気づきかもしれませんが、電話調査に使われる電話は日本では固定電話で、携帯電話は含まれていません (2015年現在) 。

ネットアンケートも、それがどういう方法で誰に聞いたかを前提として知っておくことが大事です。

例えば、ニコニコではアンケートによる独自の選挙予測調査を発表しています (2012年12月14日) 。

参考:【全475議席中、452議席の当確予測が的中】 ニコニコアンケートもとに衆院選の 「当確予測」 を発表 (12月15日12時更新)|ニコニコニュース


ニコニコアンケートで注意が必要なのは、1つはアンケート回答対象者はニコニコユーザーであるということ、ニコニコが言う 「独自の手法」 がブラックボックスな点です。

もちろん、予測手法そのものは各社のノウハウで、公開したくないということは理解できます。一方で、結果を見るに際にどういう前提かが受け手にわからなければ、私たちはその結果を判断しようがないのです。


最後に


繰り返しになりますが、全ての調査は正しい一方で、全ての調査は間違って見誤る可能性があるのです。それは前提条件が何かで、かつ理解して見るかどうかです。

  • 新聞社やテレビ局が行なう電話調査であれば、固定電話から答えた人の結果
  • Yahoo! の検索データからの予測であれば Yahoo! 検索を利用した検索という興味関心のデータを使った結果
  • ニコニコアンケートであれば、ニコニコユーザーにアンケートをした結果

それぞれの前提を理解した上で見る限りは正しいし (ただし 「真実」 との乖離は発生する) 、前提条件を無視すればミスリードするかもしれないわけです。

最新エントリー

多田 翼 (書いた人)


外資系 IT 会社にて 「シニア マーケティングリサーチ マネージャー」 (LinkedIn) 。

1981年 (昭和56年) 生まれ。名古屋出身。学生時代は京都。家族4人で東京23区内に在住、2人の子どもの父親。気分転換は毎朝1時間のランニング。

書いている内容は、所属組織や会社の正式見解ではなく個人の見解です。