Компания, в которой я работаю (сайт обзора сделок), изменила внешний вид плиток с информацией о сделках. (Изменение макета изображения, цены и другой информации об элементе.) Мы собираемся провести A/B-тестирование, чтобы увидеть, будет ли новый дизайн более привлекательным для наших пользователей... однако есть некоторые споры относительно того, должны ли мы сообщать нашим пользователям об этом изменении до того, как они его увидят. Люди, выступающие против обмена сообщениями, опасаются, что предварительная подготовка аудитории перед такими изменениями приведет к испорченным тестовым данным. Все остальное, что я читал в Интернете до сих пор, говорит о том, что опасно не подготовить аудиторию до изменения пользовательского интерфейса.

Итак, мой вопрос заключается в следующем: Помняет ли обмен сообщениями пользовательский интерфейс до того, как он будет реализован, результаты A/B-тестирования каким-либо образом? Есть ли плюсы в том, чтобы неожиданно изменить пользовательский интерфейс для пользователей?

Заранее спасибо за любую помощь или совет. Я новоиспеченный UX-исследователь, и я рад, что нашел ваше сообщество, так как мне понадобится вся возможная помощь!

3
Jeff Somogyi 2 Авг 2016 в 21:47

1 ответ

Я думаю, вы путаете методологию. A/B-тестирование выполняется одновременно, поэтому, если вы просто замените сайт совершенно новой версией сайта, не имеет значения, сообщите ли вы об этом людям или нет, образцы будут обеспечить другие виды результатов.

Во время исследования вам всегда нужен "максимально чистый, не загрязненный образец", так что уже одно это может задать ваш вопрос, главное, чтобы вы не делали A/B-тест, поэтому не следует учитывать правила A/B.

Просто для справки, и поскольку это поможет вам, если вы новичок в A/B, прочитайте Руководство по A/B-тестированию для начинающих: введение и, в частности, эта часть:

Тесты должны выполняться одновременно, чтобы учитывать любые различия во времени. Вы не можете протестировать один вариант сегодня, а другой завтра, потому что вы не можете учесть какие-либо переменные, которые могли измениться между сегодняшним и завтрашним днем. Вместо этого вам нужно разделить трафик, просматривая ваши варианты одновременно.

Кроме того, вы, возможно, замечали то здесь, то там, как большие сайты случайным образом показывают небольшие вариации: если вы видите это, они проводят A/B-тесты. И упоминание об этом из-за очень важного момента, который вам необходимо учитывать: A/B предназначен для небольших изменений, а не для полного редизайна.

1
Devin 2 Авг 2016 в 22:58
Ах, да, я вижу, где я мог использовать неправильную терминологию. Изменение пользовательского интерфейса не реализуется, а только тестируется. Это должен быть настоящий A/B, когда часть нашей аудитории увидит плитки со скидками на нашей домашней странице в новом дизайне, а другая — нет. Таким образом, если это настоящий A/B-тест, мы НЕ будем сообщать об этом. Однако, если бы мы просто собирались пойти ва-банк и развернуть эту новую плитку для всех пользователей, обмен сообщениями был бы очень важен.
 – 
Jeff Somogyi
3 Авг 2016 в 00:48
1
Ах хорошо. В таком случае будет зависеть. Большинство сайтов этого не делают, но если ваша пользовательская база привыкла к какому-то потоку, и это изменение может повлиять на этот поток, то да, рекомендуется сообщить им об этих изменениях и реализовать какой-то тур с помощью пошаговые руководства или метки тренера
 – 
Devin
3 Авг 2016 в 02:05
Спасибо за ваш вклад. Поскольку это A/B-тестирование, но большая/важная часть потока нашего сайта, я думаю, что порекомендую, чтобы мы сообщили об этом нашей тестовой группе (поскольку в прошлом они довольно громко выступали против изменений сайта). Еще раз спасибо!
 – 
Jeff Somogyi
3 Авг 2016 в 18:10
Я бы не сказал, что A/B-тесты предназначены только для небольших изменений. Это нужно для того, чтобы получить цифры для изменений, в которых вы не уверены (и вы никогда не можете быть уверены, как пользователи отреагируют на определенные изменения, если только это не включает в себя базовые вещи, такие как переход от раскрывающегося списка с двумя вариантами выбора к переключателям или тому подобное). Если вы хотите увидеть, какое влияние новая функция оказывает на платформу, вы можете использовать A/B-тестирование для сравнения ключевых показателей.
 – 
Daniel Slowacek
4 Авг 2016 в 10:36
@DanielSlowacek, хотя то, что вы говорите, технически верно, в реальной жизни сплит-тестирование полного редизайна включает в себя так много разных переменных, что ваши результаты всегда будут ненадежными. Буквально вы будете сравнивать яблоки и апельсины. В этих случаях вы используете инструменты анализа KPI, а не A/B.
 – 
Devin
4 Авг 2016 в 19:46