「あの施策は売上にいくら貢献したのか?」傾向スコア分析による統計的因果推論の適用事例紹介
・モバイルゲームの運営/施策立案/分析に関わったことがある方
・データ分析に関わる基礎知識および基礎的用語への理解がある方
運営ゲームタイトルの定量的な施策効果検証のための基本的思想およびその方法
モバイルゲーム運営における施策は、プレイの公平性のために各機能を全ユーザーに解放することが基本であるため、A/Bテストの適用が多くの場合困難で、実験による定量的な売上効果の検証ができません(例:新規コンテンツ、課金施策)。ここで得られた観察データを集計すると、一般に「ARPUと施策反応有無に正の相関がある」ことは分かるものの、「施策でARPUが向上した」のか「元々ARPUが高いユーザーが施策に反応した」のか因果関係が判別できず、施策評価が困難となります。この課題は、データドリブンにPDCAを回すことでKPI改善を実施していく上での大きな障害となり得ます。
疫学や社会学などで幅広く用いられている傾向スコア分析は、施策等の効果を受ける確率を特徴量から予測し、その値による補正を加えた推定量を用いることで、このような実験が行えない状況において、観察データから因果効果を推論する代表的な統計的手法です。
本セッションでは、弊社WFS開発プロダクトの実際の課金施策を題材として、傾向スコア分析の適用事例をご紹介します。具体的には、利用した共変量についてまとめ、相関分析・回帰分析・傾向スコア分析の結果を示し、結果の比較検討を行います。さらに傾向スコア予測に他学習器を用いた場合の精度の変化を示し、問題設定により適した予測モデルについての示唆をお伝えします。以上により、同じ課題意識を持たれている全ての事業責任者やアナリストが、より正しい定量的な施策の振り返りを実現していくための技術的知見を共有します。