10. A/B-тесты: конверсия и значимость

В A/B-тесте посетителей сайта случайно делят на две группы: A видит текущую страницу, B — новую (другая кнопка, цена, текст). Метрика — обычно конверсия: доля посетителей, которые купили. Если у B конверсия выше, это ещё не победа — нужно проверить, не случайность ли это.

Для двух долей используют z-тест:

1. конверсии pA = покупкиA / посетителиA и pB;
2. общая конверсия p̂ = (покупкиA + покупкиB) / (посетителиA + посетителиB) — так выглядела бы конверсия, если разницы нет;
3. стандартная ошибка SE = √(p̂·(1−p̂)·(1/nA + 1/nB));
4. z = (pB − pA) / SE;
5. двустороннее p-значение = 2*(1-НОРМ.СТ.РАСП(ABS(z);ИСТИНА)). Сравниваем с α.

Uplift = pB / pA − 1 — относительный прирост. «Конверсия выросла с 4,0% до 4,5%» — это +0,5 процентного пункта, но uplift +12,5%.

Правила честного теста:

• заранее выбрать главную метрику, α и размер выборки; не останавливать тест, как только p «стало зелёным» — частые подглядывания раздувают ложные победы;
• гонять тест полными неделями, чтобы будни и выходные попали в обе группы;
• проверять, что группы разделились примерно поровну: сильный перекос в числе посетителей говорит об ошибке в разбиении.