Optimizelyの統計エンジンのアップデートについて | Optimizely 正規代理店イー・エージェンシー

Optimizely X ブログ

  • 2017年05月02日

Optimizelyの統計エンジンのアップデートについて

Optimizely Xでアップデートされた統計エンジン「Stats Engine」の改良点についてご紹介します。

統計エンジン「Stats Engine」の改良点

Optimizelyの統計エンジンは、Optimizely社とスタンフォード大学で共同開発された新しい統計手法を使っており、常にビッグデータが飛び交うダイナミックなオンラインの世界で、リアルタイムに結果を教えてくれる点が評価されています。

しかし、より複雑に進化するABテストの手法やビジネス上の意思決定に求められるスピードに対して、いかにして「統計的有意性」の判断を対応させていくのかは、これまでStats Engineの課題となっていました。

今回のXのアップデートでは、この統計的有意性の判断スピードの課題が、正確により早くわかるように改良されています。

統計的有意性とは?

統計的有意性とは、簡単にいうとABテストの実験結果が信頼できるか?をわかりやすく数値化したものです。

例えば、一見するとバリエーション(実験パターン)により大きな違いがあるように見える実験結果でも、訪問者の母数が少ないことにより一時的な差異が出ている場合や、実験データのノイズが影響している場合もありますので、本当に効果のあるバリエーションを見つけ出すために、統計的有意性はとても役立つわけです。

多数の目標とバリエーション(実験パターン)を一度にテストするリスク

実験の目標とその結果を見誤らず正確に判断する上で、大きなリスクになるのが偽陽性です。実際には2つのバリエーションの行動に根本的な違いがない場合でも、何らかの理由で一方のバリエーションに有効な違いがあるように見える「偽陽性」が発生する場合があります。

また、多数の目標と多数の変更を一度にテストするタイプの実験を行った場合、従来の統計手法では、すべての目標とバリエーションの間で偽陽性率を考慮するため、この問題は発生します。

「Stats Engine」が素早く正確に結果を判断できる理由は?

統計的有意性の判断スピードの課題に対して、正確に、より早くわかるように「Stats Engine」はどのようにして改良されたのでしょうか?

例えば、次の7つの目標を持つ実験を考えてみましょう。

  1. 主要目標(Primary Metric)
  2. 1個目の補助目標(secondary metrics)
  3. 2個目の補助目標(secondary metrics)
  4. 3個目の補助目標(secondary metrics)
  5. 4個目の補助目標(secondary metrics)
  6. 1個目の診断目標(diagnostic metrics )
  7. 2個目の診断目標(diagnostic metrics )

実験の成否に影響する一番重要な目標は、主要目標(Primary Metric)です。
2番目以降の4点の補助目標(secondary metrics)は、補足情報を追跡するため、6番目以降の2点の診断目標(diagnostic metrics )は、実験プログラムを検証するための目標です。

偽陽性の検出時に、これら7つの目標はすべて同じように重要ではありません。

しかし、以前のOptimizely Classicのロジックでは、7つの目標は等しく重要な目標として判断されていました。診断目標(diagnostic metrics )は他の目標と同様に、有意性判断に達するまでの時間に影響します。

そこで、Optimizely Xでは、この課題を解決するために指標をランク付けする手法を用いています。偽陽性の計算時に目標のランク付けが考慮され、補助目標は有意性判断に達するまでに多くの時間がかかりますが、主要目標(Primary Metric)の有意性判断には影響しません。また、診断目標(diagnostic metrics )は有意性判断に達するまでに多くの時間がかかりますが、補助目標(secondary metrics)への影響は最小限で、主要目標(Primary Metric)の有意性判断へ影響することはありません。

つまり、このランク付けの結果、正確性を維持しつつ、より早く実験の結果を得ることができるようになったわけです。

その他にも、Optimizely Xにはテストを成功させるために役立つさまざまな改善が加えられていますので、興味があればご一読ください。

Optimizely ClassicとOptimizely X Web Experimentationの比較


Optimizelyのサポートに関するお問い合わせはこちらまで

前へ
次へ

ブログの関連記事

ロード速度がPVに与える影響を実験により定量化 – イギリスメディア大手The Telegraph社
Disney社 エンゲージメントを600%向上。- abcテレビジョンサイトで実験
「Optimizely Certified Developer」の公式認定資格を取得しました
Optimizely & e-Agency Meetup in Tokyo大盛況でした!
Optimizely、米Forbes誌が選ぶ「2017年世界トップクラウド企業100」にランクイン

ブログのよく読まれている記事

コメントは受け付けていません。