A/B-тестирование

Что это значит

A/B-тест делит трафик на две ветви: одна видит исходную версию, другая изменённую. Всё остальное остаётся тем же, поэтому разницу в конверсии можно отнести именно к этому одному изменению.

Смысл он имеет лишь тогда, когда трафика хватает, чтобы разница не была случайностью. При десяти заказах в месяц тест ничего не докажет, и решать нужно по разговорам с клиентами, а не по цифрам.

A/B-тест - это не сравнение этого месяца с прошлым. При сравнении до и после в результат вмешиваются сезон, другая реклама или провал конкурента. В A/B-тесте обе версии работают одновременно на одной аудитории, поэтому внешние факторы действуют на обе ветви одинаково, и в веб-аналитике видна чистая разница.

Как это работает на практике

Тестируют одну вещь за раз: заголовок, цену, длину формы, место призыва к действию. Если менять пять вещей сразу, результат придёт, но никто не скажет, какая из них его дала.

На лендинге под платную рекламу тест окупается лучше всего: каждый процент конверсии прямо снижает цену заказа. Результат меряют по заказам, а не по кликам.

У интернет-магазинов мы следим, чтобы результат теста можно было проверить и цифрами из учёта. Ветвь, давшая больше заказов, но с большей долей возвратов или с более крупной скидкой, не обязательно приносит компании больше денег. Поэтому сравнивают и маржу на заказ, и долю возвратов, а не только число заказов в инструменте.

На что обратить внимание

Самая дорогая ошибка - остановить тест в момент, когда одна ветвь кажется лучше. Первые дни колеблются всегда; решать нужно после заранее заданного числа конверсий, а не после первого красивого графика.

Вторая проблема - кто вообще попадает в тест. Если инструмент считает только посетителей, принявших cookies, он работает с выборкой, а не со всем трафиком. А если он запускается раньше, чем посетитель дал согласие на cookies, это может нарушать правила защиты частной жизни, то есть это уже проблема при проверке, а не просто неточная цифра.