Гайды

Что такое A/B-тест — и почему на сотне посетителей он врёт

Иллюстрация: две одинаковые двери, над каждой считает свой счётчик

Ты поменял цвет кнопки, посмотрел статистику: было 4 покупки из 100 визитов, стало 6 из 100. Плюс 50%! Кнопка-победитель, катим.

А теперь неприятное. Чтобы честно поймать рост конверсии с 5% до 6%, нужно примерно 8 000 посетителей на каждый вариант. Не 100. Твои «6 против 4» — это не результат, это шум. Разберёмся, как считать по-настоящему.

Что такое A/B-тест

A/B-тест — это способ проверить изменение не спором, а измерением.

Ты делаешь два варианта страницы: A (как было) и B (с изменением). Посетителей случайно делишь пополам: половина видит A, половина — B. Обе группы приходят в одно время, из одних источников. Считаешь, в какой группе больше нужного действия — покупок, регистраций, кликов.

Ключевое слово — одновременно. Сравнивать «прошлую неделю со старой кнопкой» и «эту неделю с новой» бессмысленно: между ними праздник, рассылка, чей-то пост в соцсетях. A/B-тест убирает эти помехи тем, что обе версии живут в одинаковых условиях.

Само переключение вариантов обычно делают через фиче-флаг — выключатель, который решает, кому что показать.

Почему маленький тест врёт

Представь монетку. Бросаешь 10 раз, выпало 7 орлов. Значит, монетка кривая? Нет — на десяти бросках такое случается сплошь и рядом. Бросишь 10 000 раз — вот тогда перекос в 70% скажет о многом.

С посетителями то же самое. Конверсия скачет сама по себе, без всяких твоих кнопок. На маленьких числах эти естественные скачки больше, чем эффект, который ты ищешь.

Отсюда правило: чем меньше изменение, которое ты хочешь заметить, тем больше нужно людей. И зависимость злая — не линейная, а квадратичная. Хочешь ловить эффект вдвое меньше — готовь вчетверо больше трафика.

Сколько посетителей нужно на самом деле

Вот честные цифры при базовой конверсии 5% (стандартные 95% значимости и 80% мощности), на каждый вариант:

  • рост на пятую часть (5% → 6%) — нужно ~8 200 посетителей на вариант;
  • рост в полтора раза (5% → 7,5%) — ~1 500 на вариант;
  • рост вдвое (5% → 10%) — ~440 на вариант.

И отдельно про низкую базу: если конверсия у тебя 2%, а не 5%, то на такой же относительный рост (2% → 2,4%) нужно уже ~21 000 на вариант.

Перечитай эти три строки — в них вся суть. При 100 посетителях в день тест на «плюс пятую часть» займёт больше пяти месяцев. А тест «стало вдвое лучше» — примерно девять дней.

Мелкие правки честно проверить почти невозможно. Крупные — вполне. Поэтому тестируй крупное.

Что делать, если трафика мало

Это ситуация почти любого нового проекта — и она не приговор.

  • Тестируй большие изменения, а не оттенки. Другой заголовок, другая цена, другая структура лендинга дают эффект, который видно на малых числах. Цвет кнопки — нет.
  • Меряй событие, которое случается чаще. Покупок мало, а кликов по кнопке — в разы больше. Тест на клике наберёт статистику быстрее. Только помни: рост кликов не всегда означает рост денег.
  • Не подглядывай каждый день. Если проверять результат ежедневно и остановиться в момент «ого, вырвался вперёд», ты почти гарантированно поймаешь случайный всплеск. Считай нужный объём заранее — и жди его.
  • Бери и качественные методы. Пять записей экрана или пять коротких разговоров с пользователями объяснят «почему», чего цифры не расскажут вовсе.
  • Считай минимум неделю. Понедельник и суббота ведут себя по-разному. Тест длиной в три дня меряет день недели, а не твою кнопку.

Настроить сам замер несложно: события в аналитике плюс разделение пользователей на две группы — это уже рабочий A/B-тест, без специальных сервисов.

Как делить людей честно

Тут есть ловушка, которая тихо портит результат. Если решать «A или B» случайным броском при каждой загрузке страницы, один и тот же человек увидит то одну версию, то другую. Он запутается, а твои цифры перемешаются: непонятно, чей это заказ.

Делай сплит стабильным. Вариант выбирается один раз и запоминается — по идентификатору пользователя или по случайному числу, которое ты кладёшь в cookie при первом визите. Дальше человек всегда попадает в свою группу.

И заранее назначь одну главную метрику. Не «посмотрим, что вырастет» — так всегда что-нибудь да вырастет случайно, и ты назовёшь это победой. Пиши до старта: «считаю оплаченные заказы, тест до 8 000 визитов на вариант». Это единственная защита от самообмана.

Ещё частая ошибка — запустить тест и одновременно включить рекламу или рассылку. Новый трафик обычно ведёт себя иначе, чем обычный. Тест не сломается, но результат будет про новых людей, а не про твоих.

Что значит «статистически значимо»?

Что результат вряд ли объясняется случайностью. Обычный порог — 95%: примерно один тест из двадцати всё равно покажет ложную победу. Поэтому одинокий «значимый» результат на важном решении полезно перепроверить повторным тестом.

Можно ли тестировать больше двух вариантов сразу?

Можно, но каждый новый вариант делит трафик и увеличивает шанс случайной победы. При маленьком трафике честнее сравнивать два.

Сколько держать тест?

До заранее посчитанного числа посетителей — и не меньше недели. Остановка «когда стало красиво» — самый популярный способ обмануть самого себя.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →