グロースマーケターとして、すべての意思決定はデータに基づき、投資に対するリターンをもたらすものでなければならない。成功するマーケターであるためには、チームや特にクライアントに提示する情報の妥当性を実証することが重要です。「インクリメンタリティ」は、モバイル・マーケティング戦略全体の中でリターゲティング・キャンペーンの価値を理解するための指標となります。しかし、「インクリメンタリティ」の結果が継続的に価値をもたらすことを保証するには、どうすればよいのでしょうか？それは、「統計的有意性」です。
マーケティングにおける統計的有意性とは、キャンペーンの結果が、そのキャンペーンがなかった場合にも発生した可能性が高いかどうかを確率的に示すものです。マーケティング担当者は、期待した結果を得られないキャンペーンに無駄な費用をかけたくないので、結果が統計的に有意であることが重要である。マーケティング担当者は、キャンペーン開始後1ヶ月以内に統計的有意差検定を実施し、特定の変数が他の変数よりも結果を出しやすいかどうかを検証することがよくあります。
統計の専門家ではないですか？ご心配なく。統計的有意性の価値、計算方法、リターゲティングキャンペーンにとって重要な理由を説明します。
統計的有意とは何か？
マーケティングにおける統計的有意性は、最も基本的なレベルでは、テストしている変数間の関係がランダムではないこと、つまり、互いに影響し合っていることを証明するものです。リターゲティングキャンペーンに関して言えば、統計的有意性は、ユーザーの行動がキャンペーンの直接的な結果であること、またはキャンペーンが実施されなかったとしても同様の結果が観察されたかもしれないことを示すパラメータです。
キャンペーンのアップリフト（広告を見たグループと広告を見ていないグループの反応率の差）が統計的に有意であると判断された場合、キャンペーンがユーザーの希望するアクションに関与したという強い証拠が存在することになります。これは、キャンペーンが有効であることを意味します。
マーケティングにおいて統計的有意性を理解することは、今後別のキャンペーンを実施する際に、その結果を再現できるようにするために重要です。マーケティングにおいて統計的有意性を理解することは、今後別のキャンペーンを実施する際に、その結果を再現できるようにするために重要です。
統計的有意の算出
キャンペーンの統計的有意性を測定するために、マーケティング担当者はインクリメンタルテストを実施し、仮説を定義し、決定した有意水準について理解する必要があります。以下は、キャンペーンの価値を証明するために、このテストを完了するために必要なステップです。
1. 仮説の定義
仮説とは、間違っていることを証明することができる経験則に基づいた推測です。仮説には、帰無仮説と対立仮説の2種類があります。
帰無仮説は、A/Bテストにおけるグループ間の差はまったく何もないに等しいと仮定します。言い換えれば、テストバージョン間のコンバージョンの差はありません。
例：リターゲティング広告をユーザーに提供しても、何も提供しなくても、コンバージョン結果に差はない。
対立仮説は、文字通り、帰無仮説の反対です。帰無仮説が間違いであることを証明することは、統計的に有意な結果が得られることを意味します。データドリブン・マーケッターとしてのゴールは、キャンペーンの結果が帰無仮説を否定し、したがって統計的に有意であることを証明することです。
例：ユーザーに広告を配信した場合と、広告を配信しなかった場合では、有意に高いコンバージョン率が得られる。
2.データの収集
適切なサンプルサイズを決定することは、実験の最初のステップです。価値のあるテストを作成するためには、実験に参加するユーザーのサンプルは十分な大きさが必要です。実験に含まれるデータポイントが多ければ多いほど、分析の信頼性は高くなります。ここから、テストしたいグループと、キャンペーンを実行する期間を決定します。
3. 有意水準(α)の決定
有意性、またはα（アルファ）は、タイプLエラーのリスクを測定するのに役立ちます。タイプLエラーは偽陽性とも呼ばれ、キャンペーンがテストグループ内の行動変化を引き起こしたという証拠があると信じているが、実際にはそうでなかった場合に発生する。マーケティング担当者がキャンペーンを「勝者」でないと判断した場合、収益やコンバージョンが低下する可能性があるため、タイプLエラーを回避することは非常に重要です。
最も一般的に受け入れられているリスクレベルは0.05で、これはタイプLエラーが起こる確率が5%であることを意味します。有意水準がゼロに近いほど、タイプLエラーエラーの確率が低くなり、結果が正確である可能性が高くなります。
4.インクリメンタリティテストの開始
サンプルサイズとスケジュールが決まったら、いよいよインクリメンタルテストを開始します。リターゲティングキャンペーンの増分性は、ユーザーの再エンゲージメントに投資した費用が全体目標に貢献した追加的なリフトを測定します。
インクリメンタルテストは、広告を見せるグループと広告を見せないグループをランダムに選択することから始まります。通常、実験者やYouAppiでは、10%のユーザーをコントロールグループとして残し、残りの90%をテストグループとして残します。テストグループには広告が配信され、コントロールグループには配信されません。
テスト終了後（通常30日目）、結果を分析し、実験の各グループのリフトを計算することができます。この段階では、両方のグループの肯定的な結果を見ることができます。
5. p値
統計的有意性を見つけるためには、p値を計算する必要があります。p値は、帰無仮説が真であると仮定して、データで観察された結果よりも大きい水準で、テストが観察された結果を生み出す確率である。言い換えれば、p値が小さいほど、対立仮説を支持する証拠が強いことを意味します。
↓ p値 → ↑有意な発見
p値は有意性(α)と密接な関係がある。p値がαより小さい（p≦α）とき、帰無仮説が誤りであることを証明したことになる。有意水準は通常0.05に設定されているので、マーケティングではp値が0.05より小さい場合、テストが統計的に有意であると判断することになる。
より科学的な用語では、テストは有意水準（α）に基づいて統計的に有意になり、帰無仮説を棄却でき、タイプLエラーがないという95％の信頼水準で≦0.05のp値として表現されます。
p値を求めることで、この実験が終了し、統計的有意性が得られたのか、それともキャンペーンの結果が正確でないのかを確認するために必要な情報を得ることができるのです。キャンペーンが統計的に有意であることが分かれば、この結果を得るために使用したプロセスを自信を持って進めることができ、クライアントに強力なROIを提供できることが分かります。
マーケティングにおける統計的有意性の算出のポイント
成功するマーケティング担当者になるためには、チームや特にクライアントに提示する情報の妥当性を示すことが重要である。リターゲティングキャンペーンの価値を理解するための指標として増分値がありますが、統計的有意性はその結果が継続的に発生するかどうかを示しています。統計的有意性は、最も基本的なレベルでは、テストしている変数間の関係がランダムではないこと、つまり、互いに影響し合っていることを証明するものです。
キャンペーンの価値を証明するために、このテストを行うために必要なステップの概要を以下に示します。
- 仮説を定義する。
仮説とは、間違っていることを証明することができる経験則に基づいた推測である。仮説には、帰無仮説と対立仮説の2種類がある。帰無仮説が間違いであることを証明することは、統計的に有意な結果を見出すことを意味します。
- データを収集する
価値のあるテストを作成するためには、実験に参加するユーザーのサンプルは十分な大きさが必要である。実験に含まれるデータポイントが多ければ多いほど、分析の信頼性は高くなる。
- 有意水準(α)の決定
有意性、またはα（アルファ）は、偽陽性として知られるType Iエラーのリスクを測定するのに役立つ。マーケティング担当者がキャンペーンを「勝者」でないと判断した場合、収益やコンバージョンが低下する可能性があるため、Type Iエラーを回避することは非常に重要である。最も一般的に受け入れられているリスクレベルは0.05で、有意性がゼロに近ければ近いほど、結果が正確である可能性が高くなります。
- インクリメンタリティテストを開始する
リターゲティングキャンペーンの増分性は、ユーザーの再エンゲージメントに投資した費用が全体目標に貢献した追加的なリフトを測定します。このテストが完了したら、結果を分析し、実験の各グループのリフトを計算することができます。
- p値
マーケティングにおける統計的有意性を見つける最後のステップは、p値を見つけることである。p-値は、帰無仮説が真であると仮定して、テストがデータで観察された結果と同じレベルかそれ以上の観察結果を生み出す確率である。言い換えれば、p値が小さければ小さいほど、対立仮説を支持する証拠が強いことを意味する。
