2015/05/08

ビジネスでの統計的な結果の解釈とリスクテイク



仕事と統計の話です。

今の会社の自分の役割の1つに、データ結果の見方や解釈をどう考えればよいかを相談されることがあります。

例えば、あるマーケティング施策をして、その効果や達成目標を把握するためのリサーチ結果をどう評価するか。聞かれることの多い質問として、リサーチレポートで比較対照に対しての有意差検定の扱いです。

有意差の統計的な意味などの、そもそもの仮説検定の考え方の説明から入るケースもあれば、有意差検定の結果をどう解釈するかなど、いくつかパターンがあります。

後者の有意差検定結果の解釈について、質問として多いのは「有意差は出ていないが、数字上はポイント差が出ている。これをどう読めばよいか」というもの。具体的には、施策について効果が +15% 増加しているが、この +15% には有意差はなかった、というケースです。

どう解釈すればよいかの質問の裏には、この +15% について「効果があった」と解釈したい、増加したとの説明根拠に使いたい、という思惑があります。しかし、有意差はついていないので、本当にそう結論づけていいか、という質問意図です。

このようなケースで、自分が答えているのは次のような内容です。
  • 統計的には、この +15% は有意とは言えない結果。本来は増加しないものが、サンプリングにおけるたまたまの偶然で増加した可能性が否定できない。つまり、評価として「効果があったとは言えない」との解釈になる
  • もちろん、サンプルサイズが十分でないために、+15% には有意差がでなかった可能性はある。ただし、サンプルサイズが増やすことで、結果は有意にプラスになることもあれば、依然として有意差が出ない、あるいは、有意にマイナスになる可能性もある

例えば +15% の有意差検定が、有意水準 10% であったとします。

もし仮に有意差があったとすれば、この結果が偶然起こった確率は 10% 未満です。10% 未満なので偶然とは考えにくいと捉え、統計的に有意な差があったと見なします。

一方で +15% の増加に統計的な有意差がなかった場合。たとえば p値が p = 0.25 だったとします。たまたま起こる可能性が 25% で、有意水準である 10% よりも大きく、偶然の可能性が排除できないため「有意ではない」と判断されます。

ビジネスにおいて、この有意ではない結果をどう意思決定に使うか。統計上の有意差がない結果をそのまま使えば、この施策には No という判断になります。

一方、偶然起こる可能性が、p 値である 25% だということは、逆に言えば本当に効果がある可能性は 75% です。統計的には、仮説検定から有意差はないとの結論づけますが、ビジネスの意思決定としては、偶然ではない 75% のほうの可能性に賭ける判断は、リスクを吟味した上ではあり得ます。 (2016年7月追記:p 値について誤った記述内容のため削除しました)

書籍「統計学が最強の学問である[実践編]」に、ビジネスにおけるリスクテイクの話が、データと仮説検定をどう活用するかという視点で書かれていました。

医学やビジネスでの仮説検定の使い方

現代の医学の世界では基本的に両側5%の有意水準で有意とされるようなデータが存在しない仮説を大っぴらに主張することは許されないが、だからと言って有意でなかった治療行為を行なうことが絶対的に許されないか、というとそうでもない。

有効性が確立された治療法がない状況で、メカニズム上効くという可能性が示唆され、そのことについて医師と患者双方に合意が得られた場合には、「とりあえず試してみる」「そして無事治ったらそれで良しとする」という意思決定もしばしばなされている。特に、命に別状がないレアな病気、というのはデータが集まりにくく研究も進まないため、こうした状況になりやすい。

おそらくビジネスマンにとってもこれは同様である。学者なら多少ぼんやり側にいても許されるのかもしれないが、「5%で有意じゃないから」と慎重意思決定しさえすればいいかというと必ずしもそうとは限らない。自分がただの誤差に騙されているだけかも、というリスクを承知で、ビジネスチャンスをつかみに行かなければならないことはしばしばある。

ただ、何でもかんでもあわてて直感で意思決定をする、というのと、データと仮説検定をもとに「あえてリスクをとる」というのでは大きな違いがある。

後者の考え方があれば、①ほとんどリスクを取らなくて済む場合と、②リスクを取らないで済むよう追加でデータを集めるべき場合と、③どうしても取らなければいけないリスクについて吟味すべき場合を区別できるようになるだろう。




follow us in feedly このエントリーをはてなブックマークに追加

Facebook Page

バックナンバー

Related Posts Plugin for WordPress, Blogger...