Бюджет на рекламу у нас распределён между двумя посадочными страницами, а отчёт по ним сводится к одной фразе на планёрке: «кажется, вторая работает лучше». Опоры под этим «кажется» нет никакой — сравниваются разные недели, разный объём трафика и разные источники, а вывод делается по проценту, посчитанному на выборке, которой не хватает даже на устойчивую оценку. Мне нужно перевести это сравнение из разговора в процедуру, которую можно повторить и проверить.
Задача — выстроить тест целиком, от постановки до итогового документа. Начать предлагаю с гипотез: собрать их в один перечень и расставить по приоритету, исходя из ожидаемого эффекта и стоимости проверки, иначе мы потратим первый месяц на мелочи. Дальше разметка: определить единственную целевую метрику, по которой будет приниматься решение, отделить от неё наблюдаемые показатели и убедиться, что события фиксируются корректно и не задваиваются на повторных отправках. Затем деление трафика, предварительный расчёт необходимого объёма выборки по текущей конверсии и минимально значимой для нас разнице, и фиксированная длительность, которую мы не двигаем по ходу работы.
Отдельно проговариваю рамки, чтобы потом не было разночтений. Останавливать тест мы будем по заранее рассчитанному объёму выборки, а не в тот момент, когда цифра стала красивой. Если разница уложилась в погрешность, это объявляется отсутствием разницы, а не победой одного из вариантов. И я не рассчитываю, что мне пообещают цену конверсии или конкретный рост: тест отвечает на поставленный вопрос, а гарантий результата не даёт.
Состав работ, как я его вижу:
— приоритизированный перечень гипотез с обоснованием очерёдности;
— схема целей и событий, проверенная на живых заявках;
— настройка деления трафика и контроль сопоставимости групп;
— расчёт объёма выборки и длительности до старта, с явными допущениями;
— регламент ведения теста, исключающий промежуточные решения по неполным данным;
— итоговый разбор с доверительным интервалом и понятной интерпретацией;
— документ с выводами и очередью гипотез на следующий цикл.
Задача — выстроить тест целиком, от постановки до итогового документа. Начать предлагаю с гипотез: собрать их в один перечень и расставить по приоритету, исходя из ожидаемого эффекта и стоимости проверки, иначе мы потратим первый месяц на мелочи. Дальше разметка: определить единственную целевую метрику, по которой будет приниматься решение, отделить от неё наблюдаемые показатели и убедиться, что события фиксируются корректно и не задваиваются на повторных отправках. Затем деление трафика, предварительный расчёт необходимого объёма выборки по текущей конверсии и минимально значимой для нас разнице, и фиксированная длительность, которую мы не двигаем по ходу работы.
Отдельно проговариваю рамки, чтобы потом не было разночтений. Останавливать тест мы будем по заранее рассчитанному объёму выборки, а не в тот момент, когда цифра стала красивой. Если разница уложилась в погрешность, это объявляется отсутствием разницы, а не победой одного из вариантов. И я не рассчитываю, что мне пообещают цену конверсии или конкретный рост: тест отвечает на поставленный вопрос, а гарантий результата не даёт.
Состав работ, как я его вижу:
— приоритизированный перечень гипотез с обоснованием очерёдности;
— схема целей и событий, проверенная на живых заявках;
— настройка деления трафика и контроль сопоставимости групп;
— расчёт объёма выборки и длительности до старта, с явными допущениями;
— регламент ведения теста, исключающий промежуточные решения по неполным данным;
— итоговый разбор с доверительным интервалом и понятной интерпретацией;
— документ с выводами и очередью гипотез на следующий цикл.
