2015/01/03

全ての調査は正しいし、全ての調査は見誤る可能性があるという話

2014年12月、第47回衆議院議員選挙(衆院選)が行われました。

選挙結果もさることながら、個人的にいつも興味があるのは、事前予想であったり投票締め切り直後から発表される速報結果です。選挙特番が始まった20時の段階ですぐに出始める「当選確実」のあれです。

特に事前予想では、昔は有権者への電話調査や該当でのインタビューが中心でしたが、ここ最近ではネットからの予想調査もよく目にするようになっています。

興味があるのは、単に各予想内容がどれだけ当たるかではなく、それぞれが何のデータを使ってどういう方法で予測されているかという点です。

定番であるアンケートや電話調査に加え、新しい試みとして、例えばYahoo! Japanは検索データに基づいた選挙予測を展開しています。
ビッグデータが導き出した第47回衆院選の議席数予測 (ビッグデータレポート)|ヤフー株式会社




こうした「調査」を見る際に、いつも頭に入れておきたいと思っていることがあります。

全ての調査は正しい一方で、全ての調査は間違って見誤る可能性がある、ということです。
  • 正しい:どんな調査であってもその前提条件(調査対象者 / 調査手法など)のを理解した上で解釈をするなら正しい
  • 見誤る:その前提条件を見ないと結果を間違って理解してしまうというミスリードの可能性がある

どんな調査も、(全数調査でない限りは)真実との乖離は必ずあります。この乖離の大小は前提条件に依存します。

アンケートであれば、誰にどういう方法で聞いたものなのか(電話なのかネットアンケートなのか)。

電話であれば、日本ではRDD方式(Random Digit Dialing: 乱数番号法)と呼ばれ、予め決めたエリアに対して該当する電話番号をかけます(例えば東京なら 03 で始まる番号)。各エリアに対して目標とする年代と性別の回答者を集めるため、電話をかけまくる方法です。お気づきかもしれませんが、電話調査に使われる電話は日本では固定電話で、携帯電話は含まれていません。

ネットアンケートも、それがどういう方法で誰に聞いたかを前提として知っておくことが大事。例えば、ニコニコではアンケートによる独自の選挙予測調査を発表しています。
【全475議席中、452議席の当確予測が的中】 ニコニコアンケートもとに衆院選の「当確予測」を発表 (12月15日12時更新)|ニコニコニュース

ニコニコアンケートで注意が必要なのは、1つはアンケート回答対象者はニコニコユーザーであるということと、2つ目はニコニコが言う「独自」の手法がブラックボックスな点です。

もちろん、予測手法そのものは各社のノウハウですが、一方で結果を見るにあたってどういう前提なのかが受け手にとってわからなければ、私たちはその結果を判断しようがないのです。

繰り返しになりますが、全ての調査は正しい一方で、全ての調査は間違って見誤る可能性があるのです。それは前提条件が何かで、かつ理解して見るかどうかです。

新聞社やTV局が行なう電話調査であれば、固定電話から答えた人の結果。Yahoo! の検索データからの予測であればY!検索を利用した検索(興味関心)を使った結果。ニコニコアンケートであれば、ニコニコユーザーにアンケートをした結果。

全ての前提条件が明らかにはなってはいませんが、各前提を通して見る限りは正しいし(ただし「真実」との乖離は発生する)、前提条件を無視すればミスリードするかもしれないわけです。


Related Posts Plugin for WordPress, Blogger...