今回は、プロダクト開発についてです。
テスト設計のつくり方を解説します。
この記事でわかること
- プロダクト開発でテスト設計のつくり方
- テスト設計の具体例
記事は大きく二部構成です。
前半はプロダクト開発のテスト設計のつくり方をご紹介します。後半は事例ケースから、具体例に当てはめて解説をしていきます。
ぜひ記事を最後まで読んでいただき、お仕事での参考にしてみてください。
プロダクト開発のテスト設計
プロダクト開発では、開発初期から様々なテストを実施します。テストを成功させるためにも、事前のテスト設計は大事です。
では、テスト設計をどのようにつくればいいでしょうか？
以下が、設計の項目です。
プロダクト開発のテスト設計
- 基本情報 (プロダクト名, テストテーマ, 責任者, 顧客, パートナー)
- 位置づけ (目的, ゴール設定, ネクストステップ)
- 検証 (テスト課題, 仮説, 検証方法と判断基準)
- その他 (スケジュールとコスト)
テスト設計項目のうち、いくつか補足です。
[補足 1] 目的とゴール設定
まず大事なのは目的の明確化です。テストの位置づけ、もっと言えばテストの存在意義を明確にします。
次にゴール設定です。別の表現をすればテストの成功条件になります。成功条件は、最低目標と理想目標の少なくとも二段階に分けておくといいです。
[補足 2] テスト成功条件
成功条件を踏まえ、ネクストステップもあらかじめ言語化しておきます。
大きくは二つパターンがあり、成功条件を満たしテストが成功した場合と、未達だった場合のシナリオです。
[補足 3] 仮説と検証
仮説と検証についても補足です。
テスト課題に対して、現時点でどのような見立てをしているかの仮説も解像度を高く言語化します。
そして仮説を検証するためのテスト方法に落とし込み、仮説検証の判断基準を書いておきます。判断基準を定めるために仮説を明確にしておく必要があるのと、どうなれば仮説は正しかったと言えるかの判断基準を数字や言葉で明確にします。
では、ここまでの内容を踏まえて、テスト設計の具体例を見ていきましょう。
テスト設計の具体例
具体的なケースとして、ウェブ広告の配信自動化プロダクトを考えます。
内容は、以前に私が仕事で関わった事例のいくつかを合わせて架空のケースにして書いています。
今回のテストで検証するのは、外部データ (気象情報) による広告の自動配信機能です。具体的には、その日の天候、気温、湿度、そして前日との気温差をパラメーターにして、広告クリエイティブと配信メディア面、入札単価を自動で最適化します。
では、先ほど見たテスト設計に沿って見ていきましょう。
[設計項目 1] 目的
クライアントの実キャンペーンで、広告配信の自動調整による広告効果を検証する (プロダクトが動くことは社内テスト環境では確認済) 。
[設計項目 2] ゴール設定 (テスト成功条件)
- 実キャンペーンで自動配信が想定通り機能した [最低目標]
- 広告効果が可視化できている [最低目標]
- 自動配信により効果が確認できている (CTR, CPA 等) [理想目標]
[設計項目 3] ネクストステップ
成功した場合:
自動配信が機能すれば、クライアントの 1st party データを活用し、さらに広告効果を高めるロジックを組み込んだ機能を開発しテストを実施。
広告効果が確認できれば事例にし、他社へ横展開する。
未達の場合:
自動配信が機能しなければプロダクト修正を早急に行う。
広告効果が見られなければ、自動配信というアプローチや仕組みの問題なのか、テスト広告対象のブランドとクリエイティブの問題かを切り分け、必要なら他のキャンペーンで同様のテストを実施する。
[設計項目 4] テスト設計詳細
テスト課題:
社外データと自社保有データを活用し、より広告効果を高める手法とは？
仮説 (課題の見立て) :
気象の変動 (外部データ) に合わせて広告配信を調整すると、広告効果がより高まるのではないか。
テスト方法:
A/B テストによる広告効果検証から、自動配信の効果が通常配信よりも有意な効果があるかを検証する。
- A: 自動配信キャンペーン (テストグループ)
- B: 通常キャンペーン (コントロールグループ)
仮説検証の判断基準:
A/B テストの結果、テストグループの広告効果がコントロールグループに比べて 30% 以上高い (統計的に有意な結果)
スケジュール:
テストキャンペーン期間は翌月1日から28日までの4週間
コスト:
配信運用等の人件費のみ (広告出稿はクライアント予算から)
まとめ
今回は、プロダクト開発でのテスト設計についてでした。
いかがだったでしょうか？
最後に今回の記事のまとめです。
プロダクト開発のテスト設計
- 基本情報 (プロダクト名, テストテーマ, 責任者, 顧客, パートナー)
- 位置づけ (目的, ゴール設定, ネクストステップ)
- 検証 (テスト課題, 仮説, 検証方法と判断基準)
- その他 (スケジュールとコスト)
目的とゴール設定
- まず大事なのは目的の明確化。テストの存在意義
- ゴール設定はテストの成功条件。最低目標と理想目標の少なくとも二段階に分けておく
- 成功条件からのネクストステップを成功条件を満たした場合と、未達だった場合の両方で設定する
仮説と検証
- テスト課題に対する見立てを仮説として言語化する
- 仮説検証のテスト方法、仮説検証の判断基準を書く (数字や言葉で明確に)