Тестирование продукта

UX-бенчмаркинг — это процесс оценки пользовательского интерфейса товара или услуги согласно метрикам, которые позволяют измерить их функциональные характеристики и сравнить со значимым стандартом. Как правило, такие метрики определяются путём количественного юзабилити-тестирования, анализа и/или опросов.

Бенчмаркинг следует проводить, если нужно:

• Отследить общий прогресс товара или услуги
• Сравнить пользовательский интерфейс продукта с его более ранней версией, интерфейсом конкурентного продукта, отраслевым стандартом или конечной целью, заданной стейкхолдером
• Продемонстрировать результаты работы над пользовательским интерфейсом

В другой схожей статье мы обсуждаем, когда проводить бенчмаркинг. По большому счёту, бенчмаркинг — это способ оценить продукт и его работу в целом (в данном случае бенчмаркинг также является одним из видов суммативной оценки). Следовательно, бенчмаркинг чаще проводится ближе к концу одного цикла проектирования, до того, как начнётся следующий.

Бенчмаркинг зачастую является комплексом мероприятий, а не разовым действием: компании непрерывно собирают метрические данные, реализуя разные версии продукта. Благодаря бенчмаркингу работа разработчиков становится прозрачной и подотчётной, а прогресс документируется в измеряемом виде.

В данной статье вы найдёте описание высокоуровневой программы бенчмаркинга из семи этапов. Начав работать согласно по этой программе, необходимо сначала определить, что измерять и как. Тем не менее, когда структура исследования будет установлена, останется только повторять одни и те же действия, и работы будет намного меньше.

Сосредоточьтесь на ключевых метриках, которые наилучшим образом отображают качество пользовательского интерфейса, требующего оценки. Займитесь поиском метрик, которые можно применить к UX и целям компании.

Чтобы решить, какие метрические данные собирать, сначала следует определить контекст вашего исследования. Иными словами, подумайте:

• Какой товар вы собираетесь оценить? (Сайт, приложение и т. д.)
• Какая группа пользователей будет целевой для исследования?
• Какие функции или свойства нужно измерить?

Определите, какие основные задачи пользователи выполняют, пользуясь вашим продуктом. Если у вас ещё нет списка основных задач, можно сначала задокументировать большую часть задач продукта. Затем следует определить приоритетность задач и выбрать 5−10 из них, которые представляют наибольшую важность для ваших пользователей.

В табличке ниже перечислено несколько возможных продуктов и сценариев задач. В то время как в табличке каждому продукту соответствует лишь одна задача, в реальной жизни, скорее всего, вы будете работать с несколькими.

Итак, вы подготовили список задач. Как их измерить? Фреймворк HEART от Google предоставляет краткий обзор разных метрик, которые можно начать собирать и отслеживать. Таблица ниже — это адаптация фреймворка HEART:

Примите во внимание, что при измерении вовлечённости показатель времени выполнения задачи должен быть высоким (например, долгое время прочтения статьи на новостном сайте), а при измерении эффективности — низким (например, быстрое оформление заказа в интернет-магазине). Иными словами, одно и то же изменение (например, увеличение времени выполнения задачи) может быть как позитивным, так и негативным, в зависимости от того, какая функциональность оценивается.

Отбирайте метрики, которые будут иметь значение в долгосрочной перспективе, так как, в идеале, вам придётся собирать систематически одни и те же метрические данные на протяжении нескольких лет. Постарайтесь найти 2−4 метрики, которые отвечают за разные аспекты вашего пользовательского интерфейса (например, удовлетворённость и вовлечённость).

Вот несколько примеров метрик, которые можно отслеживать для задач, перечисленных в предыдущей таблице.

Бенчмаркинг пользовательского интерфейса заключается не только в отслеживании метрик, но и в демонстрации ценности продукта. Сделать это намного проще, если выбрать метрики, которые соответствуют ключевым показателям эффективности (KPI) вашей компании. Например, если речь идёт о банке, одним из показателей эффективности работы которого являются расходы на поддержку пользователей, можно продемонстрировать, как переработанная форма для связи позволила сократить расходы на поддержку, отследив количество звонков в поддержку до и после переработки.

Чтобы определиться с методикой сбора метрических данных, важно учесть время, которое будет потрачено на проведение исследования определённым методом, стоимость его проведения, необходимые навыки исследователей и доступные вам инструменты исследования. Не стоит хвататься за метод, который требует отсутствующих у вас навыков, поскольку отсутствие результата – лучше, чем неверный результат. Также не стоит начинать работать согласно плану, который потребует чрезмерных финансовых вложений в долгосрочной перспективе (потому что суть бенчмаркинга заключается в повторном проведении замеров).

Прежде чем начать планировать новое исследование, обратите внимание на данные, которые у вас уже есть и соответствуют измеряемому опыту взаимодействия. Весьма ценным может оказаться полноценное понимание пользовательского опыта и привязка UX-метрик к более крупным целям компании. Запрашивая данные из разных источников, важно объяснять, почему вам нужные эти данные и как вы собираетесь их использовать.

Существуют три метода исследования, которые эффективны для UX-бенчмаркинга: количественное юзабилити-тестирование, аналитического исследование и опросы.

Количественное юзабилити-тестирование. Участники исследования выполняют основные задачи в системе, а исследователи собирают метрические данные (такие как время выполнения задачи, коэффициенты успешности и удовлетворённости), которые отображают производительность пользователей при выполнении этих задач.

• Аналитическое исследование. Автоматизированный сбор данных об использовании системы (таких как количество незавершённых задач и принятие функции).
• Опросы. Пользователи отвечают на вопросы о своём поведении, бэкграунде и/или мнении. Простота выполнения задач, коэффициенты удовлетворённости, показатели лояльности клиентов – это метрические данные, которые собираются на основе опросов.

В идеале следует совместить опрос (чтобы получить субъективные метрики) с поведенческим, наблюдательным методом (количественное юзабилити-тестирование или аналитическое исследование), чтобы получить полноценное представление о пользовательском опыте.

В таблице ниже перечислены возможные методики для предыдущих сценариев.

Итак, вы решили, какие метрики будете собирать и как – теперь настало время определиться с базовыми показателями. (Вот только сначала лучше провести экспериментальное исследование: нужно собрать начальный массив данных и провести их предварительный анализ, чтобы убедиться, что ваш метод надёжен, а собираемые данные отвечают на заданные вопросы. Скорее всего, вы решите пересмотреть свой метод по результатам экспериментального исследования – а значит, следует избавиться от собранного изначально массива данных. Тем не менее, это будет стоить затраченных средств и усилий, поскольку в будущем вы будете получать проверенные результаты, собирая бóльшие массивы данных.)

Собирая метрические данные впервые, примите во внимание внешние факторы, которые могут повлиять на эти данные, и постарайтесь их минимизировать, если возможно. Например, если у вас интернет-магазин, и вы решили провести аналитическое исследование для сбора метрических данных о продажах для бенчмаркинга, примите во внимание такие факторы, как крупная маркетинговая кампания или экономические потрясения, которые могут отразиться на метриках и затруднить сопоставление изменений в дизайне продукта с результатами.

Один единственный показатель сайта вряд ли позволит сделать значимые выводы. Даже если вы только начали проводить бенчмаркинг впервые, и полученные данные не с чем сравнить, можно сопоставить их с данными ваших конкурентов, отраслевым стандартом или целями, заданными стейкхолдерами. Ниже приведены несколько примеров.

• Конкуренты. Например, если вы работаете над приложением для умной колонки, можно сравнить опыт установки вашего продукта с установкой продукта конкурентов. (Для этого, скорее всего, придётся собирать данные по вашему продукту и по продукту конкурентов, что нужно будет учитывать на предыдущих этапах. При этом не получится использовать в качестве метода аналитическое исследование, так как у вас не будет доступа к аналитическим данным конкурентов.)
• Отраслевой стандарт. У вас может быть доступ к внешним статистическим данным по вашей отрасли. Например, если вы работаете с сайтом отеля, можно сравнить ваш показатель лояльности клиентов со средним показателем лояльности клиентов по отрасли, который составляет 13%.
• Цель, заданная стейкхолдером. Например, ваши стейкхолдеры хотят, чтобы среднее время отправки формы с лидом составляло меньше трёх минут – в этом случае вам придётся сопоставлять текущие показатели с заданной планкой.

Интерпретируя результаты таких сравнений, примите во внимание рекомендации, указанные для шестого этапа.

Мы не включили информацию о переработке продукта в данную статью, но этот этап крайне важен: без переработки не удастся сравнить несколько версий продукта.

Занимаясь переработкой продукта, помните о 10 эвристических заповедях юзабилити для проектирования взаимодействия с пользователем.

Запустив переработанную версию продукта, снова измерьте показатели. Нет чёткого правила относительно того, как скоро следует заново собирать метрические данные после перезапуска продукта. При отслеживании аналитических данных преимуществом становится непрерывный процесс сбора метрик. Однако в случае сбора данных по задачам посредством количественного юзабилити-тестирования или опросов, нужно будет найти подходящее время для очередного сбора метрик. Пользователи зачастую ненавидят перемены, так что дайте им время привыкнуть к новой версии продукта перед проведением очередных замеров. Это время зависит от того, как часто пользователи прибегают к вашему продукту. Если вашим продуктом пользуются ежедневно, хватит 2−3 недель. Если им пользуются раз или два в неделю, следует подождать 4−5 недель, прежде чем снова собирать метрические данные.

Определяясь с временем для повторного измерения показателей по новой версии интерфейса, снова примите во внимание потенциальные внешние факторы, которые могут повлиять на результаты вашего исследования.

Итак, вы собрали как минимум два массива данных, и настало время интерпретировать полученные результаты. Не стоит воспринимать собранные показатели буквально, так как, скорее всего, выборка исследования явно меньше общего количества ваших пользователей. Вследствие этого придётся воспользоваться статистическими методами, чтобы понять, реальны ли видимые различия в полученных данных, или они скорее являются шумом.

В целом, интерпретация метрики сильно зависит от контекста вашего продукта и, собственно, данных, которые вы решили собирать. Например, время выполнения задачи как метрика будет разниться для приложения с отслеживанием расходов и для мобильной игры. Ниже мы интерпретируем результаты исследования для одного из сценариев, которые мы использовали в качестве примеров ранее.

Предположим, мы воспользовались методом количественного юзабилити-тестирования в сочетании с опросом, чтобы выяснить время выполнения задачи, коэффициент успешности и показатель уровня сложности выполнения задачи (SEQ). В таблице ниже представлены гипотетические метрики для изначальной и переработанной версий продукта.

Если кратко, время выполнения задачи осталось практически одинаковым, а коэффициент успешности возрос, как и средний показатель уровня сложности выполнения задачи. Предположим, что нам удалось обнаружить статистически значимое расхождение между этими парами метрических данных. Следовательно, в случае переработанной версии продукта пользователям чаще удавалось справиться с задачей, и они были более удовлетворены процессом установки. Иными словами, переработанная версия получилась лучше!

Бенчмаркинг позволяет отслеживать прогресс и демонстрировать значимость и результаты работы. Например, продемонстрировать ценность пользовательского интерфейса можно, привязав UX-метрики к целям компании и рассчитав окупаемость (ROI). Для таких расчётов UX-показатели сопоставляются с ключевыми показателями эффективности (KPI), такими как прибыль, стоимость, продуктивность сотрудников и удовлетворённость клиентов.

Рассчитывать окупаемость весьма целесообразно, хотя специалисты в области пользовательского взаимодействия делают это нечасто (возможно ввиду того, что привязка UX-метрик к окупаемости убедительна сама по себе). В любом случае, если вы затрудняетесь доказать влияние UX, пригодиться может расчёт окупаемости.

Когда вы завершите анализ данных и будете готовы поделиться результатами исследования со стейкхолдерами, постарайтесь рассказать историю на основе данных. Даже если некоторые руководители вашей компании предпочитают видеть лишь цифры, это ещё не значит, что не стоит включать в ваш отчёт качественные находки или цитаты из прошлых исследований, которые соответствуют только что полученным результатам, ведь это позволит вам пробудить эмпатию к пользователям у аудитории, которая привыкла ориентироваться исключительно на данные.

Кроме того, презентуя результаты работы стейкхолдерам, обязательно задокументируйте все свои предположения и возможные искажающие факторы данного исследования. Даже если у вас не будет возможности прокомментировать их напрямую, наличие такой информации в приложении к презентации послужит доказательством того, что вы обладаете полноценным пониманием среды вашего продукта, а также вы сможете без труда обращаться к этой информации, если у слушателей возникнут вопросы относительно достоверности представленных показателей.

Бенчмаркинг — это превосходный инструмент, который позволит подстроить работу над пользовательским интерфейсом продукта под цели компании и проанализировать её результат. Чтобы провести бенчмаркинг, сначала нужно сосредоточиться на важных задачах или функциях вашего продукта и определить, как их можно измерить. Затем следует выбрать метод исследования, который позволит собрать соответствующие метрические данные, принимая во внимание ваши ресурсы, такие как время, бюджет и навыки. Далее необходимо собрать первый массив метрических данных, переработать продукт и снова собрать метрические данные, воспользовавшись той же методикой. Наконец, нужно интерпретировать результаты исследования, сравнив собранные массивы данных и применив знание продукта и компании.

Повторить всё это через год! (Или после следующего релиза). Если вдруг показатели станут хуже, будет понятно, на что обратить внимание при последующей переработке продукта.

Если только создаёте свой продукт, то важно сразу создать отличный UX, который будет решать задачи ваших пользователей, вызывать радость от использования, и тем самым приводить к росту аудитории. Ведь плохой UX может привести к провалу даже в том случае, если идея востребована рынком. Так вы можете похоронить преимущественно перспективный продукт.

На нашем курсе специалисты Сбербанка, Mail.ru, Ozon, Авито помогут вам разобраться «Как сконструировать продукт, которым будут пользоваться и рекомендовать другим».

Уже есть продукт? Приходите, чтоб его улучшить. Начинаем 5 ноября.