Optimizelyの統計エンジンがリニューアル!今までより正確なA/Bテストが可能に! | Optimizely 正規代理店イー・エージェンシー
  • 2015年04月14日

Optimizelyの統計エンジンがリニューアル!今までより正確なA/Bテストが可能に!

OptimizelyのA/Bテストを解析する統計手法が新しく生まれ変わったこと、皆さんご存知でしょうか?

先日Optimizelyの方からご説明いただく機会があったのですが、内容を簡単にまとめると、まさに画期的!です。

今日は、Stats Engineと命名されたこの統計手法について、何がそんなに凄いのか、そしてその凄さで一体何ができるのかを、ぜひとも紹介したいと思います。

 

※ Stats Engineとは、Optimizely社がスタンフォード大学と共同開発し、2015年1月20日オンラインA/BテストツールOptimizelyに搭載された新しい統計手法です。
近代統計学の限界を超えオンライン時代のビジネスに対応したStats Engineはメディアでも画期的と取り上げられました。

 

統計手法の変化 – 世界初!オンライン時代に対応

Stats Engine の最大の功績は、統計をオンライン時代に対応させたことです。
「ちょっと待って、じゃあそれ以前はオンラインに対応していなかったの?」という皆様の声が聞こえてきそうですが、対応していなかったというより、工夫をこらして何とか対応させていたというのが正直なところなのです。

 

インターネットの誕生で、データの動き方は大きく変わりました。

t-検定に代表されるこれまでの統計手法は、インターネットのない時代に生まれた手法だったため、現在のような、リアルタイムにビッグデータが飛び交いレポートされるというダイナミックなデータの動きは設計された当時には考えられていませんでした。そのためオンラインに対して利用するには注意や工夫をこらす必要がありました。

 

ではどのようにオンラインに対応したのか?

ではどのようにしてオンライン時代に対応したのでしょう?
この質問への答えとして、下記の2点が挙がります。

  1. Stats Engineはサンプルサイズを動的にとらえる
  2. 計測対象がトリガーされる度に逐一、分析・評価し結果へ反映する → 統計的有意性の安定

少し難しい言葉が混ざりましたが、極力かみ砕いて説明していきます。

 

1. Stats Engineはサンプルサイズを動的にとらえる

オンラインA/Bテストにとって、サンプルサイズ(統計標本の量)とは、テストページに訪れるオンラインビジターを意味します。
では、テスト前の時点で、これからテストページに何人ぐらいのビジターが訪れるか、正確に把握することって簡単なことでしょうか?難しいですよね。けれど、これまでの統計手法では、どうにか工夫して訪問するだろうビジターの数を予測しておく必要がありました。サンプルサイズは固定値とするというように、統計手法が設計されていたからです。

 

Stats Engineはその設計を変えました。最初からサンプル=オンラインビジターという前提で、サンプルサイズは固定値ではなく、動的な値であるとしたのです。

 

2.計測対象がトリガーされる度に逐一、分析・評価し結果へ反映する → 統計的有意性の安定

 

StatsEngine

 

さらに、Stats Engineはビジターがイベント(計測対象)をトリガーするたびに逐次、データを分析・評価・エラー補正して結果に反映します。ビジターが何か行動を起こすたびに、データをどんどん正確にしていくのです。データをリアルタイム解析できる現代だからこそ可能な技術です。

 

この継続的な逐次処理により、Stats Engineが描く有意性のラインは直線的になり、偽陽性※1)の発生を防ぎます。

 

koremade

 

小難しい表現になりましたので、頑張って簡単にかみ砕いてみます。つまり、Stats Engineは物凄くこまめに計算と補正をしているので、偶然により発生する変な値、イレギュラーな値をぶちぶち潰して馴らして、データを安定したものにするのです。

8fd3893917b94c6ccd8e2103b02a7046


テスト開始と同時にテストの結果を確認できる業界唯一の統計手法

よって、Stats Engineではテストが開始次第、安定したデータを提供することが可能であり、テスト担当者はすぐに結果を確認することができます。(現在、テスト開始と同時に結果確認が可能なのは業界では唯一Stats Engineだけです。)

 

もちろん、これは全く待たずにテストの勝ち負けが区別できるというような都合のよいものではありません。もしテストを始めて早すぎるタイミングで結果を見たとしたら、結果画面からは「今の結果はこう出ているけれど、でもまだ統計的有意性(結果が統計的に信頼できるか否かの指標)は低いですよ。あとこれぐらいサンプルが来るのを待てば、より信頼できる結果が出ますよ」という情報を読み取ることができます。

 

タイムイズマネー。ビジネスチャンスを逃さず迅速な意思決定を

テスト担当者としては、実験途中であっても「信頼度はまだ低いけれど、現時点ではこういう傾向か」と読み取ることができます。取得した統計分析データから、スピーディーな意思決定をして頂くことが可能になります。エラー率の低い正確な分析結果が得られることで、全体的なプロジェクトスピードも向上するはずです。


両側検定を採用

Stats Engineは、両側検定を採用しており、データのネガティブ・ポジティブ両方向の可能性をテストします。Stats Engine以前のOptimizelyでは2方向片側検定を行い、同じくネガティブ・ポジティブ両方の可能性をテストしていましたが、Stats Engineでさらに統計手法としての強化を行いました。

 

まとめ

今まで、A/Bテストの結果は予め固定したサンプルサイズにビジター数が到達するまで、結果の蓋をあけることのできないものでした。サンプルサイズに到達するまでは、偶発的なエラー・偽陽性が発生する可能性があり、統計的に信頼できるデータを得られませんでした。

 

スピードは利益を生みます。素早く正しい決断ができることで得られるメリットは様々です。
Stats Engineは業界唯一の、テスト開始からすぐに結果を確認し、傾向を読むことが可能な統計手法であり、ユーザーにスピードある決断のチャンスを提供します。
A/Bテストの後ろで走る統計手法は、UIのように目に見えるのようなものではありませんが、A/Bテストをご検討ならば、ぜひStats Engineにより得られるメリットを体験していただきたいと思います。

 

すぐに詳しい話を聞いてみたいという方がいらっしゃいましたら別途お問い合わせを頂ければ幸いです。また次の機会に、このStats Engineにより実現した、Optimizelyの新結果画面についてポストする予定です。

追記
Optimizelyを使ってクビになりかけたワケ ~統計学が苦手なマーケターへの薦め~ | プロダクト・サービス | POSTD
この記事に

(訳者注: 検定手法について、この記事には一部内容が古い部分があります。Optimizelyは現在、両側検定を採用し、独自開発したより精度の高い統計手法(Stats Engine)でテスト結果を表示しています。Stats Engineに関する記事として紹介されました。


Optimizelyのサポートに関するお問い合わせはこちらまで

前へ
次へ

ブログの関連記事

Optimizely X リリース
Optimizely社が5800万ドル(約69億円)調達
OptimizelyがオンラインA/Bテスト業界で名実ともにリーダーに
Optimizely Personalization提供開始

ブログのよく読まれている記事