A/B-тестування

Що це означає

A/B-тест ділить трафік на дві гілки: одна бачить вихідну версію, інша змінену. Усе інше залишається тим самим, тому різницю в конверсії можна віднести саме до цієї однієї зміни.

Сенс він має лише тоді, коли трафіку достатньо, щоб різниця не була випадковістю. За десяти замовлень на місяць тест нічого не доведе, і вирішувати треба за розмовами з клієнтами, а не за цифрами.

A/B-тест - це не порівняння цього місяця з минулим. При порівнянні до і після в результат втручаються сезон, інша реклама чи провал конкурента. В A/B-тесті обидві версії працюють одночасно на одній аудиторії, тому зовнішні чинники діють на обидві гілки однаково, і у веб-аналітиці видно чисту різницю.

Як це працює на практиці

Тестують одну річ за раз: заголовок, ціну, довжину форми, місце заклику до дії. Якщо міняти п’ять речей одразу, результат прийде, але ніхто не скаже, яка з них його дала.

На лендингу під платну рекламу тест окупається найкраще: кожен відсоток конверсії прямо знижує ціну замовлення. Результат міряють за замовленнями, а не за кліками.

В інтернет-магазинах ми стежимо, щоб результат тесту можна було перевірити й цифрами з обліку. Гілка, що дала більше замовлень, але з більшою часткою повернень або з більшою знижкою, не обов’язково приносить компанії більше грошей. Тому порівнюють і маржу на замовлення, і частку повернень, а не лише кількість замовлень в інструменті.

На що звернути увагу

Найдорожча помилка - зупинити тест у момент, коли одна гілка здається кращою. Перші дні коливаються завжди; вирішувати треба після заздалегідь заданої кількості конверсій, а не після першого гарного графіка.

Друга проблема - хто взагалі потрапляє в тест. Якщо інструмент рахує лише відвідувачів, які прийняли cookies, він працює з вибіркою, а не з усім трафіком. А якщо він запускається раніше, ніж відвідувач дав згоду на cookies, це може порушувати правила захисту приватності, тобто це вже проблема під час перевірки, а не просто неточна цифра.