2017/09/13

「分析では比較される側の反論を考えよ」 。尊敬する上司からの教え


Free Image on Pixabay


分析の本質は何でしょうか。


分析の本質


分析とは、分析の目的を達成するために、何かと何かを比較して知見や示唆を得ることです。

良い分析かどうかを見分けるポイントは3つあります。

  • 目的が明確か
  • 分析での比較は目的に沿ったものか
  • 得られた知見や示唆は目的を達成するために有益か

3つともに 「目的」 が入っています。分析は目的に始まり、目的で終わります。目的を達成するために比較分析があり、得られたアウトプットは目的に貢献するかです。


上司からの教え


データ分析で上司からよく言われていた教えの1つが、「分析では比べられる相手の立場で、どんな反論ができるかを考えなさい」 です。

特に競合と比較する場合に、よく言われていました。「比べられる相手の立場」 とは、競合からの視点です。

上司からの教えは、自分がやった比較分析を競合の人が見たときに、どのような反論ができるかを常に考るべきというものです。分析手法、何と何をどう比較したか、結果、考察のそれぞれについて、競合の立場からどんな反論ができるかです。


ツイッターとテレビの比較分析


具体例でご説明します。以前のエントリーで、ツイッターが実施したツイッターとテレビのリーチ比較を取り上げました。

参考:ツイッターとテレビのリーチ比較から考える、データ分析で何と何を比べるかの重要性 #AWAsia 2017


アドバタイジングウィーク アジア 2017 というイベントで、ツイッターがセッションで発表したものです。タイトルは 「Win with “Fastest and Conversational” Marketing ( 「最速・会話形式」 のマーケティングで勝つ) 」 でした。

ツイッターが紹介していたのが、ツイッターとテレビのリーチの比較分析結果でした。その時のスライドには、以下のグラフが表示されていました。

ツイッターとテレビ局の4系列で、人口の 20% にリーチするまでの所要時間を比較したものです。リーチの % の分母は、関東・関西・中京の3エリアに住む男女15-69歳で、自宅にテレビがあり、スマホを利用する人です。


ツイッターとテレビ局の 20% リーチ到達時間比較。ツイッターが最も早く情報を届けられるメディアと説明されているが、後述のようにツイッターとテレビの比較がそろっていない。引用:Advertising Week Asia 2017 より (7分14秒)


データソースはインテージ社のシングルソースパネル i-SSP です。なお、テレビ視聴率として通常使われるビデオリサーチの視聴率データは世帯がベースです。一方、i-SSP テレビデータは個人視聴率です。

20% リーチ到達時間は、ツイッターが 9.0 時間とのことでした。4つのテレビ局と比べて 20% リーチに到達する時間は、ツイッターが最も早かったと説明されました。


Twitter が過大評価されていた比較方法


ツイッターとテレビの比較方法は正しくありません。リーチの定義 (集計方法) が、自社メディアであるツイッターのリーチが過大評価されているからです。

スライド左下のソース情報は、以下のように書かれています。

  • 2016年12月1日 午前5:00 を起点とした集計でのメディア接触率
  • 「接触」 の定義は、テレビ局は1分以上の視聴、Twitter (モバイルブラウザ、アプリ) は1秒以上の起動ログに基づく
  • エリア:関東・関西・中京   /   対象:15-69才男女   /   パネル:TV & スマートフォン (Android + iOS)
  • ウェイトバック:3エリアの TV & インターネット人口に合わせて実施   /   サンプル数:1517s

比較の仕方が正しくないと考える根拠は2つです。


1. 接触定義が異なる

1つ目は、テレビとツイッターで接触の定義が異なることです。Apples to Apples なリーチの比較ではありません。

  • テレビ:1分 (60秒) 以上の視聴
  • ツイッター:1秒以上の利用 (スマホのブラウザまたはアプリ)

下線でハイライトしたように、テレビを60秒とする一方、ツイッターが1秒なのはフェアな比較ではありません。短い接触時間で定義されたツイッターのほうが有利な比較です。ファーストパーティとして自社メディアを過大評価するやり方は中立的ではありません。


2. 比較データが1つしかない

正しい比較ではないと考える2つ目の根拠は、20% リーチ到達時間の起点が1つしかないことです。2016年12月1日 (木) の朝5時を開始点にしています。うがった見方をすれば、恣意的にこのタイミング選び、比較していると見えてしまいます。


比較された側のテレビから考えられる反論


ご紹介した比較分析は、ツイッターが 「ツイッター vs テレビ」 を比較しました。比較された側はテレビです。

テレビの立場では、自分たちが不利な結果になるような比較がされていると反論できます。具体的には、特に先ほどの1つ目で指摘したリーチの定義です。テレビが過小評価される定義です。

ツイッターが適用したリーチ定義は、テレビは60秒以上、ツイッターは1秒以上でした。テレビは30秒しか見なければユニークリーチとしてカウントされませんが、ツイッターを30秒でも利用すれば接触者として含まれます。フェアな比較ではありません。

データ期間が2016年12月1日 (木) の朝5時を開始点についても、時間帯によってはテレビの視聴者は変わるので、他の期間では結果が異なるのではないかとテレビ側から言えます。

これらが、「分析では比べられる相手の立場で、どんな反論ができるかを考えよ」 で見たときの比較される側であるテレビから考えられる反論です。


望ましい比較方法


公平な比較方法はどのようなやり方があるのでしょうか。先ほど正しくないと書いた2つを、それぞれ次のようにすればよいと考えます。


1. リーチの定義をそろえる

テレビを60秒、ツイッターを1秒と変えずに、定義をそろえるべきです。

技術的にテレビを1秒での接触判定が難しければ、両方とも60秒にするか、ツイッターの1回あたりの利用時間を考慮するなら、30秒や15秒でもよいでしょう。いずれにせよ、同じ接触時間の定義で 20% リーチ到達時間を算出し比較します。


2. データを12月1日 AM 5:00 起点の1つではなく、複数データでメタアナリシスをする

リーチの定義をそろえた上で、複数の起点からの 20% 到達時間で比較します。複数の平均でツイッターとテレビのリーチ到達時間を比べます。

具体的には、朝の5時だけではなく、0時スタート、1時スタート、… 、23時スタートと、一日における複数の時刻から到達時間を集計します。

また、テレビは平日と休日では見られ方が異なるので、少なくとも平日と休日の両方を使います。可能ならば、12月を使うなら1日だけではなく、12/2、12/3、… 、と対象日を増やすほうがよいです。ただし、クリスマス以降の特に年末時期は特殊なので、集計対象から除外するとよいでしょう。


以上のような、リーチ定義をそろえ、複数データによるメタアナリシスをします。その上でツイッターとテレビの 20% 到達時間を比較し、テレビのリーチ力に対してツイッターのリーチがどうなのかを言うべきです。


最後に


上司からよく言われていた 「分析では比べられる相手の立場で、どんな反論ができるかを考えなさい」 は、その分析で本当に良いかを見極めることができる教えです。

比較相手の視点で、フェアな分析をしているか、比較手段は適切か、もっとよい方法があるのではないかを立ち止まって考えることができます。

最新エントリー

多田 翼 (書いた人)