Эксперименты в аутриче: системно повышайте процент побед
Хватит гадать, что работает. Это руководство показывает, как проводить простые A/B-тесты в аутриче, не усложняя и не требуя диплома по статистике.
Мышление экспериментатора
Каждое сообщение в аутриче - это гипотеза. «Я думаю, что [этот подход] получит больше ответов». Тестирование превращает догадки в знание.
Что тестировать
Сосредоточьтесь на переменных, которые реально влияют на результаты:
Таргетинг
Кому вы пишете: отрасль, размер компании, должность, бюджетный диапазон
Пример: «Технологические стартапы с 10-50 сотрудниками» против «Любой стартап»
Угол оффера
С чего вы начинаете: скорость, качество, цена, экспертиза, гарантия
Пример: «Быстрая доставка» против «Премиальное качество»
Структура предложения
Как вы подаете свой питч: длина, формат, наличие примеров
Пример: Короткое (3 абзаца) против Детального (1 страница с кейсом)
Тайминг фоллоу-апов
Когда и как часто вы делаете фоллоу-ап
Пример: Фоллоу-ап на 3-й день против 5-го дня
Тема письма / Начало
Первое, что они видят
Пример: Начало с вопроса против Прямого утверждения
Как задать базовую линию
Прежде чем экспериментировать, знайте свои текущие показатели:
Чек-лист базовой линии
Запишите это. Именно это вы и пытаетесь превзойти.
Минимальный размер выборки
Не объявляйте победителя слишком рано. Вот практические минимумы:
Эмпирические правила размера выборки
Для тестов процента ответов
Минимум 50 отправок на вариацию (100+ лучше)
При 20% проценте ответов нужно ~50 отправок, чтобы увидеть значимые различия
Для тестов процента побед
Минимум 20 квалифицированных лидов на вариацию
Тесты процента побед занимают больше времени, потому что нужны итоговые результаты
Для быстрых направленных тестов
30 отправок могут показать большие различия (2x и больше)
Хорошо для тестирования кардинально разных подходов
Проведение эксперимента
Следуйте этому простому процессу:
Выберите ОДНУ вещь для теста
Не меняйте несколько переменных сразу. Вы не поймете, что сработало.
Создайте две версии (A и B)
A = ваш текущий подход. B = новая идея, которую вы тестируете.
Чередуйте или рандомизируйте
Отправляйте A каждому второму лиду, B - остальным. Или подбросьте монетку.
Помечайте отправки тегами
Добавьте тег вроде «exp-short-proposal», чтобы потом фильтровать.
Дождитесь достаточного объема данных
Достигните минимального размера выборки, прежде чем делать выводы.
Решите: оставить, откатить или итерировать
Если B побеждает, сделайте его новым дефолтом. Если побеждает A, попробуйте другой B.
Шаблон журнала эксперимента
Эксперимент: [Название]
Дата начала
[Дата]
Дата окончания
[Дата]
Гипотеза
«Я считаю, что [изменение] улучшит [метрику], потому что [причина]»
Версия A (Контроль)
[Описание текущего подхода]
Версия B (Тест)
[Описание нового подхода]
Результаты A
Отправлено: [X] | Ответов: [Y] | Процент: [Z%]
Результаты B
Отправлено: [X] | Ответов: [Y] | Процент: [Z%]
Решение
[Оставить B / Откатить к A / Нужно больше данных]
Выводы
[Что вы узнали? Что попробовать дальше?]
Примеры экспериментов для фриланс-платформ
Эксперимент 1: Длина предложения
Короткое (3 абзаца) против Детального (с кейсом)
Гипотеза: Занятые клиенты предпочитают короткие предложения, которые можно быстро просмотреть.
Результат: Короткие предложения получили 24% ответов против 18% у детальных. Оставили короткое дефолтом.
Эксперимент 2: Начальная строка
Начало с вопроса против Начала с комплимента
Гипотеза: Вопросы вовлекают читателей и ощущаются более личными.
Результат: Вопросы получили 21% ответов против 15% у комплиментов. Перешли на начало с вопроса.
Эксперимент 3: Тайминг фоллоу-апа
Фоллоу-ап на 3-й день против 5-го дня
Гипотеза: Более ранние фоллоу-апы застают клиентов до того, как они наймут кого-то другого.
Результат: 3-й день дал 8% дополнительных ответов против 5% у 5-го дня. Перешли на 3-й день по умолчанию.
Похожие руководства
Статусы и результаты
Чистые данные позволяют проводить точные эксперименты
Дашборд отчетности
Отслеживайте результаты экспериментов во времени
Начните экспериментировать
Превращайте догадки в решения на основе данных
Банковская карта не требуется