実験開始後に注意すること | Optimizely 正規代理店イー・エージェンシー

Optimizely X ヘルプ

  • 最終更新日:2017年02月23日

実験開始後に注意すること

実験開始後に注意しておかなければいけない事項についてご案内いたします。

実験開始後の注意事項

実験開始後に注意していただきたい主な3つの項目について取り上げました。

1.配信比率の変更・バリエーションの削除は基本的には行わない

hiritu_01
実験開始後に配信比率を変更すると、全ての新規ユーザーは新しい比率に応じて振り分けられるのに対し、変更前に振り分けられたユーザーは、以前のバリエーションに入り続けてしまうので、目標に設定した勝敗の統計がずれてしまう可能性があります。
また、バリエーションの削除・変更を行いたい場合は、実験を停止し、その実験を複製して新たな実験として開始することをおすすめいたします。

2.最低1週間はテストを継続する

hiritu_02
あらかじめ定めたテスト期間を超えるまでは、勝ち傾向の結果であったとしても、テストを継続させることをおすすめいたします。
土日と平日で集客の状況やユーザーの行動パターンが変わるケースも多くありますので、決着フラグがたったとしても、最低1週間はテストを継続し、結果に変動がないかをご確認ください。

3.テスト開始後の確認事項

テストを開始した後に、テストが正常に配信されているのか、本番環境でも、確認することをおすすめいたします。

■テスト発動後の挙動を確認する

テストを開始した後に、指定したページでテストが発動しているのか、表示は崩れていないかを本番環境にてご確認ください。

■結果画面に数字が反映されているかを確認する

テストが正しく動作していることを確認した後に、結果画面にある各目標・バリエーション毎に、正しく数字が反映されているのか、ご確認ください。

■連携ツールで数字が取得できているかを確認する

GA・GTM・Ptengineなどの3rdパーティーツールとOptimizelyを連携させている場合、Optimizelyで取得した情報が、連携ツールに飛んでいるのか、ご確認ください。

正確なテスト結果を得るために、テスト開始直後に上記3点を確認していただくことをおすすめいたします。

Optimizelyのサポートに関するお問い合わせはこちらまで

コメントは受け付けていません。

ヘルプの関連記事

実験開始前に、実装したバリエーションをテスト配信して最終確認を行う方法
投稿日: 2015年02月27日
実験開始前に確認するべき重要なチェック項目
投稿日: 2015年03月04日

ヘルプのよく読まれている記事