А/Б тестирование
Допустим, тест показал рост конверсии на 18%. Вы внедрили изменение, а через месяц продажи вернулись к исходным значениям. Знакомая история? Чаще всего причина в том, что результаты сравнили раньше, чем данные стали надёжными. Разберёмся, как проводить А/Б-тестирование и b-тесты, чтобы выводам можно было доверять, а решение о версии было обоснованным.

А/Б-тестирование: суть метода и зачем он нужен
Допустим, тест показал рост конверсии на 18%. Вы внедрили изменение, а через месяц продажи снова стали прежними. Такое случается чаще, чем хотелось бы, и обычно причина в самом методе проверки, а не в изменении.
Что такое A/B-тестирование
A/B-тестирование сравнивает два варианта страницы или отдельного элемента и показывает, какой из них работает лучше. Например, можно проверить кнопку «Купить». Текущая версия становится вариантом A, новая вариантом B. Пользователи сайта делятся на две группы: одни видят старую версию, другие новую.
Важно, что обе группы получают трафик одновременно. Если неделю показывать старую кнопку, а следующую новую, сравнение окажется нечестным. В разные недели приходят разные люди, идёт другая реклама, и разница в результатах может объясняться чем угодно, только не кнопкой.
Распределение идёт случайным образом. Пользователь не выбирает группу сам, и команда не решает, кому показать новый вариант. Иначе в тест попадут, например, только самые преданные клиенты, и выводы будут перекошены.
Что считаем результатом
Перед запуском нужно определить список целевых действий: покупка, заявка, добавление в корзину или подписка на рассылку. Конверсию считают как долю тех, кто совершил нужное действие, от всех, кто пришёл на страницу.
Для примера: из 1000 посетителей старой страницы купили 20 человек, конверсия — 2%. У новой из 1000 купили 24, конверсия — 2,4%. Разница есть, но её ещё нужно проверить.
Теперь другой случай. Новая кнопка собрала на 5% больше кликов, а заказов не прибавилось. В отчёте тест выглядит успешным, а бизнесу он ничего не дал. Поэтому выбор метрики важнее красивой картинки.
Зачем нужна статистика
Многие видят в статистике помеху, ведь она не даёт быстрого ответа. На деле она страхует от ошибки. Разница в 0,4 процентных пункта может оказаться случайным колебанием: сегодня повезло одной группе, завтра другой.
Исходное предположение, что разницы между вариантами нет, называется нулевой гипотезой. Статистическая значимость показывает, насколько редко получается такой разброс, если нулевая гипотеза верна. Обычно порог ставят на уровне 95%. Считать вручную не нужно, сервисы делают это сами, но смысл цифры понимать полезно.
Размер выборки тоже определяют заранее. Допустим, базовая конверсия — 2%, а цель — рост до 2,2%. Для такого различия обычно нужно порядка 75–80 тысяч посетителей на каждую группу. Это расчёт для примера, в реальном проекте цифры зависят от трафика и выбранных параметров.
Подглядывание, или peeking, ломает выводы. Если каждый день смотреть результаты и остановить тест, как только появилась «победа», этому результату нельзя доверять. При частых проверках случайный шум легко принимаешь за рост, поэтому дождитесь нужного объёма данных.
Кому этот материал нужен
Специалисту по росту, которого коллеги спрашивают, можно ли доверять результату, нужна методология. Тогда решение о внедрении получится защитить. Владельцу магазина, который платит за трафик, важен быстрый и недорогой тест без программирования. Новичку, которому поручили первый эксперимент, нужна понятная логика шагов.
Тест работает потому, что наблюдает поведение пользователей, а не то, что люди говорят в опросах. Человек может сказать, что ему нравится цвет кнопки, а потом покинуть страницу. A/B-тестирование фиксирует действия, а мнения о дизайне отдельно.
Ниже разберём шаги: как сформулировать гипотезу, выбрать метрику, рассчитать выборку и правильно прочитать итоги. Проводить A/B-тесты и принимать решения на основе данных можно и без команды аналитиков, было бы только понимание логики.
Проведение А/Б-теста: от гипотезы до запуска
Проводить А/Б-тесты удобнее по понятной последовательности, где каждый шаг решает одну задачу. Ниже пять шагов: от идеи до момента, когда можно принимать решение.
Шаг 1. Сформулируйте гипотезу
Чтобы сформулировать гипотезу, опишите, что вы меняете, какой результат ждёте и почему. Удобная форма такая: «если изменим X, то Y вырастет, потому что Z».
Пример: «Если сделаем кнопку «Купить» оранжевой вместо серой, то доля оформленных заказов вырастет, потому что оранжевая кнопка заметнее на странице товара». Здесь одно изменение и понятная причина.
Неудачный вариант: «Сделаем сайт красивее». Неясно, что именно меняем, и нечем проверить результат.
Шаг 2. Выберите метрику и уровень значимости
Метрика — это число, по которому вы решаете, выиграл вариант или нет. Выбрать метрику нужно до запуска, иначе можно найти ту цифру, которая выросла, и объявить её победой. Главная метрика должна быть одна, например конверсия в заказ. Остальные показатели смотрите как дополнительные:
- конверсия в заказ — главная метрика;
- клики по кнопке «Купить» — дополнительная;
- время на странице — дополнительная, помогает понять поведение пользователей.
Уровень значимости обозначают буквой альфа. Он показывает, с какой вероятностью вы готовы ошибиться. Обычно берут 5%. Это значит, что примерно в одном из 20 тестов, где разницы на самом деле нет, вы увидите «победу» по чистой случайности. Порог 5% стал стандартом, потому что риск невысокий, а тест не тянется на месяцы.
Нулевая гипотеза — это предположение, что разницы между вариантами нет. Тест проверяет, можно ли его опровергнуть.
Шаг 3. Рассчитайте размер выборки
Размер выборки — это количество посетителей в каждом варианте, после которого итогам можно доверять. Посчитать его помогает онлайн-калькулятор, который работает по готовой формуле.
Пример с условными цифрами. Базовая конверсия — 2%: из ста посетителей покупают двое. Цель — рост на 10%, то есть до 2,2%. При уровне значимости 5% и мощности 80% (вероятности заметить реальный эффект, если он есть) калькулятор выдаёт около 78 000 человек на каждую группу. Ваши цифры будут другими, но логика та же: чем меньше эффект, тем больше нужно трафика.
Неудачный вариант: тест остановили на 300 посетителях. В варианте B купили три человека, в исходном варианте два. Это случайный шум, а не результат.
Шаг 4. Запустите тест и настройте вариант
Трафик делите пополам: 50 на 50. Половина пользователей видит исходную страницу, половина видит изменённую. Распределение должно быть случайным. Если в одну группу попадут в основном пользователи из рекламы, а в другую из поиска, сравнивать их будет нельзя.
Обе группы должны работать одновременно. Если сначала запустить вариант B на неделю, а потом исходную версию, на разницу повлияют время года, покупательская активность и реклама.
Вариант можно настроить через визуальный редактор, без программирования. Вы открываете страницу, кликаете по нужному элементу, меняете текст или цвет, сохраняете. Для новичка это самый простой путь.
Бесплатный инструмент для старта: Яндекс Метрика. Это сервис, где счётчик посещений, цели и эксперименты собраны в одном кабинете. В Яндекс Метрике создайте эксперимент, укажите нужную страницу, добавьте цель (например, отправку формы), задайте две группы и соотношение трафика 50 на 50. Проверьте актуальный интерфейс на 2026 год: разделы и названия кнопок со временем меняются, и в вашем кабинете они могут выглядеть иначе.
Шаг 5. Определите длительность и момент остановки
Длительность зависит от размера выборки и трафика. Допустим, сайт получает 10 000 посетителей в день. Тогда на каждую группу приходит по 5 000. При 78 000 человек на группу тест займёт около 16 дней. Лучше брать полные недели: поведение в будни и выходные заметно различается.
Главное правило: не останавливайте тест, как только цифры порадовали. Это называется подглядыванием (peeking). Если заглядывать в результаты каждый день и останавливаться при первом росте, ложных побед становится заметно больше.
Завершайте тест, когда набрана выборка и прошли полные недели. Если эффекта не нашлось, это тоже результат. Вариант не выиграл, значит, оставляйте исходную версию и переходите к следующей гипотезе.
Ошибки интерпретации результатов А/Б-тестирования
Подглядывание и остановка по красивому графику
Подглядывание (peeking) — это ежедневная проверка результатов с желанием остановить тест при первом выгодном значении. Именно так появляются ложные победы. Чем чаще вы смотрите на цифры, тем выше шанс принять случайный всплеск за настоящий эффект.
Неудачный пример, цифры условные: на третий день вариант B показывает +18%, изменение внедряют, а через месяц конверсия возвращается к исходным значениям. Правильнее дождаться набранной выборки и полных недель и только потом посмотреть на результаты один раз.
Недостаточная выборка
Выборка — это количество пользователей, которые участвовали в тесте. Мало участников, мало надёжности: разница между группами может появиться просто из-за удачи.
Пример: конверсия страницы — 2%, цель — рост на 10%, то есть до 2,2%. Чтобы уверенно заметить такую разницу, нужно около 78 000 посетителей на каждую группу. Если в группе только 3 000 человек, даже заметная на вид разница будет ненадёжной.
Интерпретация результатов: p-value и доверительный интервал
Начнём с p-value. В упрощённом виде его читают как вероятность того, что наблюдаемая разница случайна. Строго говоря, число показывает, как часто такая разница возникла бы при отсутствии эффекта. Для этого сравнения используют нулевую гипотезу: предположение, что изменение ничего не меняет.
Уровень значимости — граница риска, которую выбирают до запуска теста, обычно это 5%. Если p-value ниже этой границы, результат считают статистически значимым. Это мера надёжности, а не гарантия успеха. Значимый результат говорит, что разница вряд ли случайна, но не отвечает на вопрос, стоит ли внедрять изменение.
Доверительный интервал показывает диапазон, в котором, скорее всего, лежит реальный эффект. Пример: рост конверсии +3% с интервалом от −0,5% до +6,5%. Эффект может быть почти нулевым, а может оказаться заметным. Широкий интервал означает, что данных пока мало.
Кейс: клики выросли, заказы нет
Пример. Интернет-магазин сменил цвет кнопки «Купить» с серого на оранжевый. Клики выросли на 5%, и команда сочла эксперимент удачным. Через две недели число заказов не изменилось.
Причина в выборе метрики. Клик — это промежуточное действие, а деньги приносит оформленный заказ. Посетитель мог чаще жать на кнопку и так же часто бросать заказ на этапе доставки или оплаты. Основной метрикой нужно было назначить заказы и средний чек, а клики считать дополнительным показателем. Если клики растут, а заказы стоят на месте, такой рост не даёт повода для внедрения, даже если он статистически значим.
Решение на глаз и решение на данных
Таблица сравнивает два подхода. Интуиция полезна для формулировки гипотез, но финальный вывод на ней строить опасно.
| Критерий | Решение на глаз | Решение на данных |
|---|---|---|
| Основание | Ощущение, красивая картинка, мнение коллеги | Заранее заданные метрика, выборка и уровень значимости |
| Риск ложного вывода | Высокий: случайный всплеск выглядит как тренд | Ниже, но не нулевой, если следовать правилам теста |
| Время принятия | Быстро, часто в тот же день | Дольше: нужны набранная выборка и полные недели |
| Повторяемость | Низкая: результат зависит от человека | Высокая: другой аналитик придёт к тому же выводу |
Когда данные противоречат друг другу
Показатели часто расходятся: кликов больше, заказов меньше, выручка растёт, а средний чек падает. Если проверить десять сегментов, один-два могут оказаться статистически значимыми по чистой случайности. В таких случаях простого ответа не будет, и это нормально.
Значимость не равна важности. При огромном трафике рост конверсии на 0,1% станет статистически значимым, но может не оправдать затраты на внедрение. Реальный эффект для бизнеса определяют выручка, прибыль и затраты, а не один p-value.
Как избежать ошибок
Чтобы избежать ошибок, заранее зафиксируйте метрику, уровень значимости и размер выборки. Не заглядывайте в результаты каждый день и не останавливайте тест по первому росту. Читайте доверительный интервал вместе с p-value. В отчёте пишите точно: изменение дало статистически значимый рост конверсии, а диапазон эффекта такой-то. Такой вывод выдержит вопросы коллег.
Выводы: как принимать решения и внедрять изменения
Помните пример с ростом на 18%: изменение внедрили, а через месяц продажи вернулись к исходным цифрам. Чтобы так не случилось, придерживайтесь трёх правил: один тест на одну гипотезу, одна главная метрика и никаких остановок по первым цифрам. Решения принимайте на данных и внедряйте изменения постепенно, проверяя, повторяются ли результаты A/B-тестов на новом периоде.
Частые вопросы об А/Б-тестировании и выводы
Сколько длится тест и сколько пользователей нужно?
Обычно тест идёт от двух до четырёх недель, чтобы захватить несколько полных недельных циклов активности. Точный срок зависит от трафика и от того, насколько сильный эффект вы ждёте. Размер выборки лучше рассчитать заранее. Для наглядности: при базовой конверсии 2% и цели вырасти на 10% нужно около 80 тысяч пользователей в каждой группе. Такую цифру помогает получить калькулятор размера выборки. Пример условный, для ваших данных расчёт делается отдельно.
Можно ли остановить тест, если график уже растёт?
Досрочное завершение теста почти всегда приводит к ложному выводу. Ранний рост в отчёте часто оказывается случайностью. Если заглядывать в результаты каждый день и останавливать тест при первом росте, шанс принять случайный всплеск за победу заметно возрастает. Такое поведение называют подглядыванием, или peeking. Завершайте тест, когда набрана выборка, рассчитанная заранее, а не когда цифры пошли вверх.
Чем мультивариантный тест отличается и можно ли обойтись без программиста?
А/Б-тест сравнивает два варианта, например старую и новую версию страницы. Мультивариантный тест проверяет сразу несколько элементов, например цвет кнопки и текст заголовка, и каждая комбинация получает свою группу. Для него нужно заметно больше трафика. Без помощи разработчиков тоже можно: многие сервисы умеют делить посетителей на группы случайным образом и показывать вариант дизайна без правок в коде сайта.
Что делать, если результат незначимый?
Незначимый результат тоже полезен. Статистическая значимость показывает, насколько вероятно, что разница между вариантами появилась случайно. Если её нет, значит, эффект меньше того, который вы могли заметить при таком трафике. Растягивать тест до «победы» не стоит, это снова подглядывание. Сформулируйте новую гипотезу, например поменяйте текст предложения, а не цвет, и проведите следующий тест.