あなたの見ている数値は“オイシイ数値”ですか? TechTargetジャパン プレミアムコンテンツDL率改善事例 | Optimizely 正規代理店イー・エージェンシー

Optimizely X ブログ

  • 2017年06月27日

あなたの見ている数値は“オイシイ数値”ですか? TechTargetジャパン プレミアムコンテンツDL率改善事例

お客さまが実施されたテストをレビューさせていただく際に、ビジネスゴールに紐づく指標=“オイシイ数値”をKPI設定しないケースに接触することがあります。

この”オイシイ数値”を確認できない場合、その“施策の価値“が曖昧になってしまうため、テストに掛けたコストが無駄になるばかりか、その後のフォローアップ施策(≒テスト)にも悪影響を与える可能性が出てきます。

本記事では、アイティメディア様が運営する「TechTargetジャパン」の事例から、テスト設計時に必ず押さえるべき”オイシイ数値”の重要性をご紹介します。

■TechTargetジャパン(テックターゲットジャパン)
IT製品/サービスの導入・購買に役立つ情報を提供する無料の会員制メディアサイト。
http://techtarget.itmedia.co.jp/

 

テスト概要

本テストでは、 「TechTargetジャパン」記事詳細ページでの「プレミアムコンテンツDL率」アップを目的として、下記2つのバリエーションを作成しました。

※「プレミアムコンテンツ」とは、米国TechTargetのComputer Weekly、製品導入ガイドの日本語版や、TechTargetジャパン編集部が制作する読者調査結果レポート、製品比較表などのPDFコンテンツです。TechTargetジャパン会員であれば無償でダウンロードできます。

テストバリエーション

※本実験の配信日数:21日
※本実験の対象ユーザ数:167,507 user
※本実験のターゲットユーザ:すべてのユーザ

【テスト結果】指標によって成否の見え方が変わる

指標「プレミアムコンテンツDL “導線” のクリック率」で見た場合

本テストの変更箇所である「プレミアムコンテンツDL導線のクリック率」で見た場合、いずれの実験バリエーションもOriginalに対してアップリフトしたことから、以下のファインディングスが得られた。

・プレミアムコンテンツDL導線を「関連記事の上部」に配置したことで施策効果が得られる

※「勝ち」とは、baselineに対してアップリフト+統計的有意差があったという意味
※ その他の中間CV指標は割愛

指標「プレミアムコンテンツDL率」で見た場合

収益に直接影響を与える「プレミアムコンテンツDL率」で見た場合、Variation【B】のみアップリフトしたことから、以下のファインディングスが得られた。

・プレミアムコンテンツDL導線を「関連記事の上部」に配置、さらに当該枠を「編集部おすすめコンテンツ」に変更することで施策効果が得られる

※「有意差なし」は、統計的有意差が90%未満という意味

 

【考察】得られたファインディングスからのフォローアップ施策の違い

上記のように、見る指標で得られるファインディングスは大きく異なり、次回テストに向けた仮説立案へも影響を及ぼします。

指標「プレミアムコンテンツDL導線のクリック率」で見た場合

  • 対象CV導線を「ページ送り」上部に移動したことでリーチ率が増え、クリック率が増加する
  • 対象CV導線のクリック率が増加することで、プレミアムコンテンツDL率が上がる“可能性”がある!?

<フォローアップ施策>
プレミアムコンテンツDL導線をよりビュー率が高まる ”ファーストビュー” に掲載した場合、さらに利用率は高まる!?

“オイシクナイ考察”

指標「プレミアムコンテンツDL率」で見た場合

  • 対象枠を「ページ送り」上部へ移動=ビュー率を上げるだけでは「プレミアムコンテンツDL率」に影響はない
  • 対象枠を「編集部オススメコンテンツ」へ変更したことで、「読み物系リスト枠」と捉えられた可能性があり、遷移先からスムーズなCVアクションを促すことに成功

<フォローアップ施策>
プレミアムコンテンツDL導線の掲載位置×当該枠の見出しにバリエーションを付けた場合、さらにプレミアムコンテンツDL率が上がる!?

“オイシイ考察”

テストの際は、何が“オイシイ数値”なのか必ず明確に!

テストで追う指標によって、施策の評価が異なるケースも出てくるため、テスト設計時に”オイシイ数値”はなにかを慎重に検討いただくことをおすすめします。

【ポイントまとめ】
①テスト設計は、ビジネスゴールに紐づく指標を必ず設定する
②テストの振り返り、またはフォローアップ施策を検討する際は、
 ビジネスゴールに紐づく指標を起点として考察、判断すること

Optimizelyのサポートに関するお問い合わせはこちらまで

前へ
次へ

ブログの関連記事

Optimizely & e-Agency Meetup in Tokyo ~世界10万件の実験結果から紐解く、成功企業のデータ文化づくりと、進化する実験トレンドとは?~
サーバーサイドで実験する理由
Optimizely Xを活用した分野別A/Bテスト活用シーン
議論白熱! Speee社がA/Bテストの社内勉強会(レビュー会)「ABtestNight」を開催

ブログのよく読まれている記事

コメントは受け付けていません。