Optimizely X ブログ

  • 2017年06月16日

サーバーサイドで実験する理由

この記事はOptimizely社のブログ記事を翻訳したものです。
Why Experiment Server-Side?

Optimizely社のプロダクトマネジメント部長、John Provineの経験に基づいたサーバーサイドで実験を行うことのメリットをご紹介します。

John Provineは、Optimizely社に入社する前に、GoogleのSearch Quality Teamに在籍していました。実験は、開発プロセスの中心となる作業で、公開前のGoogle検索結果の全ての変更を、ごく少ない数のユーザーに必ずA/Bテストしていました。当時Johnの所属しているチームは、Googleの検索結果に対して数千の改善を行っていました。それぞれが科学的にテストされ、主要な重要指標に影響を与えていました。

Googleの上位2つの検索結果のランキングの入れ替わりには何が影響しているのでしょうか?クリックスルーそれとも広告収入?

実験は、上記のような質問へ素早く簡単に回答する方法を提供します。全ての実験がランキングのアルゴリズムに関与しているわけではなく、検索結果の間の余白といった単純な変化が重要な影響を与えているようでした。

Johnの最初のプロジェクト

最初のプロジェクトは、検索結果ページで実際に実験を行うための内部プラットフォームの構築を手伝うことでした。一元管理されたプラットフォームは、大きなチームで同時に行う何百もの実験をサポートするために必要不可欠なものでした。加えて、プラットフォームは、すべてのリリースを決定するための主要な重要指標の共通設定を備えていました。Johnのチームは、毎週ライブトラフィックの実験結果を見てからユーザーに何を公開するかを決めていました。

サーバーサイドでの実験

サーバ上で実行されるアルゴリズムの実験を行ったため、サーバサイドの実験を実行することが不可欠でした。よって、エンドユーザーのブラウザや端末内のコンテンツを変更するのではなく、Googleのサーバーサイドでコードを変更して実験を行いました。サーバーサイドで実験を行うことは、製品開発プロセスに深く根差しているため、より重要でした。

実験はクライアントサイド、もしくはサーバーサイドで行うべきか?

クライアントサイドとサーバーサイド間の実験構造の基本的な違い

クライアントサイドの実験はエンドユーザーのウェブブラウザ、モバイルアプリやその他クライアントの端末で直接試すことで行われます。一方で、サーバーサイドの実験は企業のサーバー上のコードで行います。

Optimizelyは2010年に可能な限り簡単にウェブサイト上で実験を行うことを前提に設立されました。しかし、クライアントサイドのアプローチは急速に普及し続けていますが、それが実験に対する普遍的な解決策ではないことも、明らかになっています。

クライアントサイドとサーバーサイドの実験はどちらも、組織の要望に応じて明確な利点があります。下記がOptimizelyが顧客と話し合って学んだ重要な違いの要約です。

クライアント側での実験 サーバー側での実験
導入 1行のJavaScriptを実装するのみ サーバー環境によって導入作業量が変動
実験の種類 UIの改善がメイン 多様な実験が可能(アルゴリズムなど)
ページの読み込み 読み込み速度が遅くなる可能性がある ページへの影響はない
チャネル 1つのチャネルのでの実験のみ可能 複数のチャネルにわたる実験が可能

多くの企業がクライアントサイド/サーバーサイドの両方のニーズを持っています。これは初期の仮説からリリースまでの実験のライフサイクルです。

クライアントサイド

サーバ上に実験を構築する必要がないという明確な利点があります。もし実験で負けたとしてもサーバーコードのリリースは必要ありません。開発チームを必要としない他に比を見ない実験を行うことができます。

サーバーサイド

サーバーサイドのアプローチは異なる組織的なモデルを必要とします。それぞれの実験がコードのリリースが必要な場合があります。したがって各段階でプロダクト開発チームが関与する必要があります。

プロダクト開発チームはロードマップ上のすべての機能をA/Bテストとして展開することを検討するべきですが、より経験豊かな組織では、開発チームのすべてのメンバーが、実験を独立して実行するのではなく、展開プロセスに組み込んでいます。もしあなたがプロダクト開発チームにいて、「何を実験すべきか?」と尋ねるならば、答えは簡単です。プロダクトロードマップは実験のロードマップです。

Optimizely X Full Stack

昨年Optimizelyは、お客様がサーバーサイド、もしくはテクノロジースタックのどの部分でも実験を行えるようにOptimizely X Full Stackをリリースしました。また、接続されたTVアプリケーションの実験用に、バージョンアップしたMobile SDKsと新しいOTT SDKsをリリースしました。

プロダクト開発チームが統合された1つの実験プラットフォームを使って、構築したものすべてを実験できるようになることがOptimizelyが目指しているものです。今後もOptimizelyはすべての場所で実験ができるように開発を行って行きます。


Optimizelyのサポートに関するお問い合わせはこちらまで

前へ
次へ

ブログの関連記事

Optimizely & e-Agency Meetup in Tokyo大盛況でした!
Optimizely、米Forbes誌が選ぶ「2017年世界トップクラウド企業100」にランクイン
Optimizely & e-Agency Meetup in Tokyo ~世界10万件の実験結果から紐解く、成功企業のデータ文化づくりと、進化する実験トレンドとは?~
あなたの見ている数値は“オイシイ数値”ですか? TechTargetジャパン プレミアムコンテンツDL率改善事例

ブログのよく読まれている記事

コメントは受け付けていません。