11 мифов А/В тестирования (Аналитика)

Когда каждый день маркетологам приходится принимать десятки решений, зачастую у них нет времени думать об экспериментах. Они заняты написанием текста для email-рассылки, проектируют новую посадочную страницу или придумывают новый статус для социальных сетей. Немногие задумываются о проведении тестов и опровержении нулевых гипотез.

Автор статьи Джинни Соскей (Ginny Soskey), Hubspot, считает такой подход необоснованным и предлагает поговорить об экспериментах, которые откроют новые возможности для привлечения потенциальных клиентов.

Для проведения A/B тестирования маркетологи берут два отличающихся друг от друга варианта тестируемого контента и проверяют их, показывая двум разным аудиториям при одинаковых показателях охвата. Обычно это целевые страницы, email-рассылки и призывы к действию. Для того чтобы определить «победителя», специалисты измеряют насколько лидирующий вариант является статистически значимым (уровень отклика на него 95% и более). Сплит-тестирование – один из важнейших факторов маркетинговой кампании, который позволяет оптимизировать баланс растущего количества потенциальных клиентов и пользователей уже ставших покупателями.

Но, к сожалению, это не то, что люди обычно слышат про А/В тестирование. Существуют сотни мифов, которые мешают маркетологам принимать тщательно обдуманные, обоснованные решения. Предлагаем развеять самые часто встречающиеся из них прямо сейчас.

Миф #1: Интуиция специалистов точнее A/B тестирования

Многие из наших читателей могут похвастаться богатым опытом работы в сфере интернет-маркетинга и наличием четкого понимания того, как превратить посетителей сайта в потенциальных клиентов, а последних – в покупателей. Но не стоит всегда полагаться только на интуицию и полученный опыт.

Сплит-тестирование позволяет использовать полученные в ходе исследования данные, чтобы привлечь больше трафика на ваш сайт и увеличить коэффициент конверсии. По оценке автора, компании с помощью А/В тестирования привлекают до 30-40% больше потенциальных клиентов для B2B-сайтов и до 20-25% больше потенциальных клиентов для сайтов e-commerce.

Мораль истории такова: вы можете упустить возможность заработать, если будете руководствоваться чьим-то мнением (даже если этот кто-то высококвалифицированный специалист). Человеческий фактор в данной ситуации не решающий.

Миф #2: Следует проводить А/В тестирование каждый раз перед тем, как принять решение

Сплит-тестирование может помочь вам в принятии многих важных маркетинговых решений, но вам не обязательно проводить его каждый раз. Некоторые изменения не стоят того. Например, для того, чтобы рассчитать коэффициент эффективности баннера, вам не нужно тестировать эти два практически одинаковых заголовка: “The Marketer’s Guide to Pinterest” and “A Marketer’s Guide to Pinterest.”. Сплит-тестирование успешно работает, если вы хотите протестировать два заголовка с разным порядком слов или обновить цвет CTA, но оно не принесет заметных результатов в случае с заменой артикля.

Миф #3: А/В тестирование не так эффективно, как мультивариантное тестирование

А/В тестирование и мультивариантное тестирование – два отличных способа использовать данные для достижения успеха, когда необходимо принять важные маркетинговые решения. Но используют их обычно для разных целей. Первое применяется для тестирования одной переменной в двух или более интерпретациях. В то время как мультивариантное тестирование используется для проверки эффективности различных сочетаний элементов в их множественных интерпретациях.

Используйте A/B тестирование, если вам необходимо проанализировать влияние цвета CTA на конверсию, но с условием, что остальные элементы на странице останутся неизменными: источники траффика, категории посетителей сайта, расположение регистрационной формы, прилагающийся текст и изображение. Вы же не пытаетесь исследовать, как сочетание этих элементов влияет на конверсию. Ваша цель достаточно четко обозначена: узнать, как цвет CTA влияет на конверсию.

Поэтому не надо гадать, какой из этих двух тестов эффективнее – они просто…разные.

Миф #4: Даже если получилось у «того маркетолога», это не значит, что получится у вас

Существуют сотни тематических исследований об А/В тестировании, демонстрирующих удачные варианты использования верстки, дизайна, текстового контента. Но не стоит слепо следовать за чужим успехом, не проверив это на собственном примере. Показатели сайтов значительно отличаются друг от друга: поток траффика, аудитория, предлагаемый продукт, воронки продаж и многое другое. Каждую ситуацию надо рассматривать отдельно, т.к. тактика, сработавшая для одного сайта, может оказаться проигрышной для другого.

Но, иногда, отправной точкой для вашей деятельности может стать чужой маркетинговый план. Например, вы хотите улучшить CTR вашей электронной почты и хотите персонализировать имя отправителя. В 2011 году мы провели тест для того, чтобы выяснить возрастут ли показатели CTR, если в письме от компании Hubspot в поле «От» добавить имя любого сотрудника. Контрольным элемент выглядел, как «от “Hubspot”» и CTR составил 0,73%. В то время, как мы получили показатель 0,96% для тестовой составляющей «от “Мария Георгиева, Hubspot”». Так вот, второй вариант оказался наиболее удачным, и выгодным.

Тестирование в этом случае сработало, может так будет и в вашем случае…а может и нет. Пробуйте проводить А/В тестирование и изучайте вашу аудиторию.

Миф #5: Для того, чтобы провести А/В тестирование вы должны быть технически подкованным маркетологом, располагающим огромными средствами

А/В тестирование не обязательно должно дорого стоить. Если в вашем распоряжении практически нулевой бюджет, то лучше воспользоваться такими бесплатными инструментами, как Google Analytics’ Content Experiments. Правда, для того, чтобы правильно его использовать, вы все-таки должны иметь минимальные знания в данной сфере.

Для выполнения сплит-тестирования важны не только вопросы бюджета и навигации. Вы должны разбираться в математике. Все выигрышные тесты должны быть статистически значимыми. Вы конечно можете определить, является ли что-то статистически значимым с помощью ручки и бумаги или воспользоваться бесплатным калькулятором HubSpot.

В конечном итоге, недостаток бюджета - не препятствие для проведения сплит-тестирования, если вас, конечно, не пугает погружение в мир цифр и технологий.

Миф #6: A/B тестирование нужно только сайтам, привлекающим огромное количество траффика

Так как вашей целью является изучение двух элементов, количество посетителей не обязательно должно быть очень большим. Оно должно быть всего лишь достаточным для достижения величины статистической значимости. Естественно, чем больше количество посетителей на сайте, тем точнее будет ваше представление о том, какой из сравниваемых элементов подходит. Но определенного универсального минимума не существует.

А для того, чтобы определить, сколько человек должно зайти на ваш сайт, не обладая ученой степенью в области статистики, вы можете воспользоваться некоторыми бесплатными инструментами HubSpot.

Миф #7: A/B тестирование негативно влияет на SEO

Одним из наиболее распространенных вопросов является: может ли А/В тестирование негативно повлиять на SEO? Люди часто ошибаются, думая, что если тестировать несколько версий одного и того же контента, алгоритм Google может квалифицировать это как дублированный контент и в результате наказать ваш веб-сайт в страницах поиска.

Однако, Google поддерживает подобные начинания и помогает в этом, предлагая некоторые руководящие принципы того, как проверить наполнение страницы, привлечь больше посетителей, увеличить число переходов на сайт и не получить за это наказание.

Миф #8: Если один из вариантов сразу получает преимущество, нет необходимости продолжать тест

Один из самых важных моментов, которые нужно помнить при работе с А/В тестированием – всегда нужно ждать до тех пор, пока ваши результаты станут статистически значимы. Даже если один из элементов сразу же выигрывает, нельзя прерывать тест, если размер выборки и сроки не являются таковыми.

Если вы останавливаете тест до того, как будут получены точные данные - вы можете выбрать неправильный вариант и реализовать его в маркетинге. Эти ошибки очень дорого стоят. Выяснить, как долго ваш тест должен работать, прежде чем он достигает статистической значимости, можно, например, воспользовавшись калькулятором Wingify.

Миф #9: Выигрышный вариант всегда выглядит красиво

Для того, чтобы руководствоваться не чьим-то субъективным мнением, а реальными данными, вы обязательно должны провести А/В тестирование. Сплит-тестирование неоднократно доказывало, что посадочные страницы, сообщения электронной почты или CTA не обязательно должны красиво выглядеть…они должны просто сработать лучше альтернативного варианта. Даже если тестируемый элемент «не очень», он все же может привлечь большую конверсию, чем более красивый образец. Не полагайтесь на ваши представления о красоте и суждения о дизайне – проведите А/В тестирование.

Миф #10: Надо измерять только один коэффициент, влияющий на конверсию

Нельзя останавливаться на исследовании одной метрики – вы должны изучить, как тестируемый элемент будет проверен несколькими показателями. Иначе, есть возможность упустить важные значимые выводы.

Например, вы используете А/В тестирование, чтобы узнать, как цвет CTA влияет на количество переходов на страницы блога вашей компании. В этом случае ваш интерес не ограничивается количеством подписчиков на блог, вы также захотите узнать, сколько посетителей превращаются в потенциальных клиентов, а сколько из них – в покупателей. Также может оказаться, что цвет, который привлек наибольшее количество подписчиков, в результате привел к уменьшению числа потенциальных покупателей. А сменив цвет, вы придете в ужас, когда увидите, что это того не стоило.

В общем, это подтверждает важность использования нескольких метрик при анализе результатов тестирования.

Myth #11: Вы закончили А/В тестирование и все будет в порядке

Вы провели А/В тестирование, выбрали нужный образец, посчитали доверительный интервал, и получили результат…но это не все. Какими бы не были результаты, необходимо продолжать тестирование и оптимизацию контента для того, чтобы получить конверсию и привлечь пользователей. Другими словами, А/В тестирование – это не разовый эксперимент, используйте его постоянно, корректируйте и совершенствуйте ваш маркетинговый бизнес.

Давайте, например, предположим, что вы использовали А/В тестирование, чтобы доказать, что красная кнопка CTA увеличивает конверсию по сравнению с зеленой. Теперь вы знаете, какой CTA лучше использовать, но не останавливайтесь на достигнутом: попробуйте изучить, какой текст написать на кнопке, чтобы увеличить уровень конверсии.

Если вы продолжите пользоваться методом сплит-тестирования, вы можете успешно использовать данные для принятия маркетинговых решений. Это умный и эффективный способ развития вашего бизнеса!