データ分析部の @ij_spitz です。 普段の業務では主にABテストを用いたプロダクト改善、ユーザーの行動分析などを行っています。
今日はタイトルにもある通り、プロダクト改善をするためにABテストを始めてみたいけど何をすればいいのかわからない、実際にABテストをやってみたけど本当にこれで定量的な評価ができているのか心配、新しくABテストを自動で集計・評価できる基盤を作りたい、という時に参考にしたいブログを紹介します。
海外にはTwitterやLinkedInなどを始めとして、自社のABテストの基盤やノウハウをブログで公開している企業が数多くあります。 もちろんブログの中身は英語ですが、頑張って読んでみると日本ではあまり知られていないことが書いてあったりするので、ぜひ一度読んでみることをおすすめします。
Twitterのエンジニアリングブログです。 ABテストの統計的な側面や基盤、実例などの多様な記事がバランスよく書かれています。 時間が無い人はこれだけでも読んでおくと、ざっくり各企業がABテストでどんなことをしているのかがわかると思います。 下のタグからリンクに飛ぶと目的の記事を探しやすいです。
- experiments | Twitter Blogs
- ABテストの統計的な取り扱いやABテスト基盤に関する記事
- Twitter data | Twitter Blogs
- ABテストの実例やユーザー行動分析に関する記事
LinkedInのエンジニアリングブログです。 ABテスト関連の記事は下のリンクにまとめられています。 LinkedInのブログの特徴としては、XLNTというABテストの自動集計・分析基盤を自社で構築しているので、その基盤関係の記事が多いです。 また、ABテストを運用していく上で気を付けておきたい教訓的な記事も書かれています。
Pinterestのエンジニアリングブログです。 下のリンクがABテストの記事がいくつかあるタグになっています。 Pinterestの特徴としては、基盤やインフラの話がメインとなっています。
またPinterestはブログ以外にもSlideShareにABテストについてのスライドをいくつかアップしています。 以下の2つのスライドはPinterestがなぜABテストを重要視しているか、どうやってABテストの分化を根付かせていくかなどの話がまとまっています。 なぜ海外企業はそんなにもABテストを重要視しているかだったり、ABテストやってみたいけど、どういった風に会社に根付かせていけばいいかわからないといった人にぜひ見ていただきたいスライドです。
www.slideshare.net
www.slideshare.net
Airbnb
Airbnbのエンジニアリングブログです。 ABテストについての記事は以下の2つしかありませんが、Airbnbの基盤の話やABテストをいつまで続けるかといった話題も扱っていて非常に参考になります。
P.S. 日本におけるABテスト関連ブログ
日本では、ABテストはバナーやLPO改善といった目的で使用されることが多いです。 実際にGoogleで「ABテスト ブログ」と検索するとそういったブログが数多く出てきます。
しかしながら、今回はプロダクト改善のためのABテストということを主眼に置いて、役立ちそうなブログを紹介して終わりたいと思います。
VASILY GROWTH HACK BLOG
ABテストの記事はあまりありませんが、海外の事例研究などの記事が多く、プロダクト改善をしていく上で非常に有用です。 実際にVASILYで行われている施策についても公開されています。
news HACK by Yahoo!ニュース
Yahoo!ニューススタッフのブログです、上記の記事が非常におすすめです。 その他にもABテストの記事は少ないですが、実際のニュースを数字を用いてわかりやすく解説しています。
Gunosyデータ分析ブログ
僭越ながら、本ブログです。 まだ始まって日も浅いですが、これからもABテストについての記事は書いていく予定なので、今後ともご覧いただけると幸いです。
