オススメ度 ★★★☆☆ ３／５
ABテストの手法、ツールについて語っている。
序盤は簡単なABテストの説明をしており、中盤からはABテストで起こりがちな落とし穴、またABテストのためのツールなどを紹介している。大部分はABテストの15の落とし穴にページを割いており、いくつか興味深いものがあった。いつでも言及できるように覚えておきたい。
Running an A/B test without thinking about statistical confidence is worse than not running a test at all — it gives you false confidence that you know what works for your site when the truth is that you don’t know any better than if you hadn’t run the test
平均値のみを気にする
例えば新しいUIをリリースして、次の一週間のアクセス数が大きく伸びたとしても、日別に伸びているかを確認すべき。一日だけ極端に伸びた結果全体の数値を上げているのだとしたらそれは別の要因によるものだからだ。
「なぜ」を知ろうとしない
例えばABテストが失敗した場合、機能が良いものであるにも関わらず、デザインがよくなかったり説明が悪かったりする。単純に失敗した、だけでなく、「なぜ」失敗したかを知ることは、さらなる成功へ近づくのである。
正直、あまり順序立てた書き方をしておらず、よくあるABテストの落とし穴を思いつくまま羅列しているような内容なので退屈で頭に入りにくいが、もう一度じっくり読み直してみたいと感じた