Как правильно проводить A/B-тест сайта

Как правильно делать эффективный A/B тест сайта — иллюстрация 1

Что такое A/B-тест

A/B-тест сравнивает два варианта страницы на случайно распределённых сопоставимых группах аудитории в один период. A — текущий вариант, B — изменение. Эксперимент помогает оценить причинный эффект изменения, если распределение и измерение работают правильно.

Разделение трафика «сначала неделя A, затем неделя B» не является равноценной заменой: меняются сезонность, реклама и состав аудитории. Тест нескольких отличий сразу измеряет эффект всего пакета, но не позволяет приписать результат одной кнопке.

Почему старую инструкцию заменили

В исходной версии описаны эксперименты старого Google Analytics. Universal Analytics перестал быть актуальным инструментом, а Google Optimize и Optimize 360 закрыты с 30 сентября 2023 года. GA4 используется для измерения событий, но не заменяет систему назначения вариантов эксперимента.

Выберите поддерживаемую платформу экспериментов или реализацию на стороне сайта. Проверьте совместимость с вашим стеком, согласиями, аналитикой и требованиями к размещению данных. Старые скриншоты интерфейса и инструкции по его настройке удалены из действующей версии; исходник сохранён в архиве проекта.

1. Найдите проблему и сформулируйте гипотезу

Начинайте с данных: воронка, обращения в поддержку, записи сессий, карты кликов и скроллинга, интервью. Карта показывает поведение, а не автоматически правильное решение. Малая глубина просмотра не всегда означает проблему: посетитель мог найти ответ в начале страницы.

Хорошая гипотеза связывает затруднение, изменение и ожидаемый эффект: «Покупатели не понимают срок доставки; если показать его рядом с кнопкой заказа, вырастет доля оплаченных заказов без роста отмен». Запишите, какая аудитория участвует и какие страницы меняются.

2. Выберите метрики

Одна основная метрика должна отражать задачу: доля квалифицированных заявок, оплаченных заказов или доход на посетителя. Дополнительные метрики объясняют результат, но не подменяют заранее выбранную цель.

Защитные метрики ограничивают вред: ошибки, скорость страницы, возвраты, отмены, качество заявок и нагрузка на поддержку. Рост кликов по CTA при падении продаж не является победой. Для заявок проверьте передачу результата из CRM.

3. Рассчитайте выборку и срок

До запуска задайте базовый уровень метрики, минимально полезное изменение, уровень значимости и статистическую мощность. Для классического теста часто выбирают α = 0,05 и мощность 80%, но это параметры плана, а не гарантия результата. Укажите, оцениваете ли абсолютное изменение в процентных пунктах или относительный рост.

Пример: рост CR с 5% до 6% — это +1 процентный пункт и +20% относительно базы. Для двустороннего сравнения долей при α = 0,05 и мощности 80% нормальная аппроксимация даёт примерно 8150 посетителей на вариант. Фактический расчёт зависит от метода, независимости наблюдений и выбранных метрик.

Две недели — возможный календарный минимум для покрытия недельного цикла, но не универсальное условие достаточности. При малом трафике нужная выборка может собираться месяцами. Учитывайте задержку продаж и заранее определите максимальную продолжительность.

4. Настройте распределение

Для обычного A/B-теста с двумя вариантами используйте заранее заданное случайное распределение, обычно 50/50. Один участник должен получать устойчиво тот же вариант; выберите единицу рандомизации — пользователь, аккаунт или другой объект — и используйте её последовательно.

В прежнем тексте рекомендовалось автоматически отдавать больше трафика лидирующему варианту. Это отдельный подход с адаптивным распределением, который требует соответствующей статистики. Для стандартного теста нельзя менять доли «по текущему победителю» и анализировать результат как фиксированное 50/50.

Тестируйте на согласованной доле подходящей аудитории с учётом риска. Не обязательно сразу включать 100% посетителей: крупные изменения разумно проверять постепенно. Исключения для сотрудников, ботов и уже участвующих экспериментов определите заранее.

5. Проверьте техническую реализацию

Назначение варианта стабильно, нет перескоков между A и B.
Событие фактического показа варианта записывается одинаково для обеих групп.
Цели фиксируют подтверждённый результат и не дублируются.
Страницы и формы работают на телефоне, телефонные ссылки и клавиатурная навигация исправны.
Нет заметного мерцания старого варианта перед подменой; различия скорости учитываются.
Фактические размеры групп проверены на несоответствие плановому распределению — SRM. При проблеме сначала найдите причину, затем оценивайте эффект.

6. Проводите эксперимент по плану

Не завершайте классический тест при первом p < 0,05 и не меняйте гипотезу по ходу. Ежедневное наблюдение полезно для технических сбоев и серьёзного вреда, но произвольная ранняя остановка повышает риск ложной победы. Для последовательного анализа нужны предназначенные для него методы.

Во время теста сохраняйте сопоставимые условия рекламы, цен и доступности товара. Если произошёл большой внешний сбой, зафиксируйте его и решение о данных, не удаляя неудобные дни задним числом.

7. Интерпретируйте результат

Смотрите на размер эффекта и доверительный интервал, затем на значимость и защитные метрики. p-value не означает вероятность того, что B лучше, а 95% уровень доверия не гарантирует успех внедрения.

«Значимой разницы нет» означает, что при этих данных не получено достаточно доказательств. Это может быть маленький эффект, недостаточная выборка или отсутствие различия. Не называйте тест доказательством равенства без соответствующего плана.

Проверка множества метрик и сегментов создаёт дополнительные шансы найти случайный эффект. Используйте заранее выбранную основную метрику, корректировки для множественных сравнений при необходимости и отдельное подтверждение неожиданных находок.

Какие элементы проверять

Оффер, заголовок, условия доставки, CTA, форму, структуру страницы, изображения и цену можно тестировать, если есть конкретная проблема. Ни длина заголовка в 60 символов, ни цвет кнопки, ни сокращение формы не дают универсальной гарантии роста.

Уменьшение числа полей может улучшить заполнение, но ухудшить качество обращения. Крупные фотографии могут помочь выбрать товар, но ухудшить скорость. Сначала выбирайте изменения с понятным механизмом пользы и достаточным потенциальным эффектом.

Что делать после теста

При положительном практическом результате без нарушения защитных метрик внедрите вариант и следите за реальными итогами. При отрицательном верните исходный вариант и уточните объяснение. При неопределённом результате сохраните вывод и решите, стоит ли новая выборка затрат.

Запишите гипотезу, даты, варианты, план выборки, метрики, качество данных, эффект и решение. Изменение одной страницы не автоматически переносится на другие: контекст и аудитория могут отличаться.

Обновлено 30 сентября 2026 года. Рекомендации и примеры пересмотрены; дата первой публикации сохранена в конце статьи.

Материал опубликован: 21 сент. 2016 г.