7 причин, по которым пользователи врут, и что с этим можно сделать.

Появился вопрос, «а что делать, если респонденты  на самом деле врут на интервью?».

Придется вернуться к «касдеву».

В чем проблема Фицпатрика? В том, что он опрашивал друзей и знакомых. И свою маму тоже. Как вы думаете, была у этих людей мотивация давать Фицпатрику социально-желательные ответы? Конечно, да! Проблема неискренности была создана в этой ситуации искусственно силами самого Фицпатрика, потому что он выбрал для интервью людей, которые не могли быть с ним откровенны.

Но правда в том, что неискренними могут быть не только друзья и знакомые исследователя, но и совершенно посторонние люди.

У респондента должна быть мотивация вам врать. Его неискренность должна выполнять для него какую-то важную работу (как в JTBD, да). И ваша задача – эту мотивацию убрать.

У респондента может быть не менее семи причин вам соврать:

1. Вы не установили с ним контакт. Если контакта нет, то мотивация рассказывать о себе откровенно у респондента снижена.

Что делать: тренируйтесь устанавливать контакт с незнакомыми людьми.

2. Если вы с ними знакомы и включены в какие-либо отношения. В этом случае все вопросы будут преломляться через призму ваших отношений (привет Фицпатрику). 

Что делать: не говорить с ними. Если очень надо – попросите коллегу, который не состоит с ними в отношениях.

3. Если тема сензитивная. Например, вы изучаете средства для лечения эректильной дисфункции, геммороя,  или облысения.

Что делать: не использовать групповые методы исследований для сензитивных тем, и выбрать модератора, который близок к целевой аудитории, и который может сказать, что сталкивался с этой проблемой лично или на опыте близких (самораскрытие).

4. У респондента есть культурные барьеры к тому, чтобы откровенно рассказывать о том, о чем вы его спрашиваете. Например, как в том случае с китайцами. И не только с китайцами. Работал ли Фитцпатрик в другой культуре, в которой люди прямо не говорят об оценке, как китайцы? Да, американцы дают более социально желательные ответы при оценке концепций, чем россияне и «классические исследователи» об этом знают. Я и сам это наблюдал, когда координировал исследование в NY.

Что делать: использовать проективные вопросы и очередность (в случае групповых методов).

5. Когда респондент хочет произвести на вас впечатление. Это может быть как гендерное взаимодействие, так и торговля статусом. Может проявляться при рассказах о стиле жизни, монетарном поведении, потреблении алкогольных напитков  – везде, где человек рассчитывает получить высокую оценку своих достижений. «Мой доход 700 000 рублей в месяц, и я собираюсь купить себе Tesla Model III»

Что делать: Попробуйте установить более доверительные отношение в процессе разговора.  Тогда желание произвести на вас впечатление снизится. Если это сделать не получится, то, к сожалению, часть информации придется вычеркнуть на этапе анализа, а часть – проверить методами, где сложно наврать. Можно перейти на директивный стиль модерирования, но чаще всего это разрушит контакт.

6. Вы задаете вопросы, которые представляют угрозу для того, как он себя воспринимает. У всех людей есть некий образ себя. И в некоторых случаях он отличается от «реального». «Я ем только здоровую пищу».

Что делать: проверяйте то, что вам говорят через этнографические методы: наблюдение, сопровождение, дневники, мобильную этнографию. Это даст вам больше информации о реальном поведении.

Самораскрытие, как в случае сензитивных тем, тоже подойдет, но помните, что вы не должны влиять на респондента. У него может не быть такой проблемы.

7. Вы задаете ему вопросы про то, что он не помнит, не знает или не представляет. И в этом случае он будет исходить из своих представлений о прекрасном, и достраивать эту реальность в силу своих особенностей. «Я смотрю видео только в познавательных и развлекательных целях» (цель потупить при этом не осознается)

 Что делать: задавайте вопросы про его опыт, это позволит отделить представления от поступков. Этнографические методы тут тоже будут полезны, так как дадут информацию о реальном поведении.

#Интервью, #Everybodylies

Исследователь или респондент: кто честнее?

— Все критяне — лжецы, говорит нам критянин.

— Не надо спрашивать, будут ли люди пользоваться вашим продуктом, говорит Фитцпатрик.

—  Не надо спрашивать, будут ли люди пользоваться вашим продуктом, лучше предложите прямо во время интервью купить его, говорит Иван Замесин (и это не шутка).

Почему не надо спрашивать? А потому что люди врут, отвечают нам эти гуру.

А поскольку гуру врать нам не могут (Хаус, молчать!), то в отрасли продуктовых исследований мы имеем то что имеем: полно продактов считает, что НЕЛЬЗЯ спрашивать людей про гипотетические ситуации.

Дорогие читатели. Если бы людей было бесполезно спрашивать про гипотетические ситуации, то многомиллионная индустрия маркетинговых исследований просто-напросто бы не возникла. Ведь если все врут, то мы не можем узнать, пойдет ли новая упаковка чипсов, или презервативы с банановым вкусом.

Но если у вас очень много денег и вам надо очень быстро выпустить продукт на рынок, вы можете вообще не отвлекаться на исследования. Так делает известная высокотехнологичная компания, и вполне разумно делает. Потому что у нее капитализация больше 600 миллиардов рублей.

Когда риски, связанные с затратами на разработку и производство, для вас не важны, потому что это капля в море ваших расходов, и ими можно пренебречь, — вы можете не задавать потенциальным пользователям вообще никаких вопросов.

Во всех остальных случаях лучше иметь приблизительный прогноз, чем не иметь никакого. Особенно если исследование показывает, что продукт «не пойдет».

Ниже будет страшное откровение.

На основе интервью (не важно, кто и как его проводит) — вообще никогда нельзя точно сказать, что продукт «взлетит». Ну разве что если респонденты испытывают дикий восторг, кричат ура и в воздух чепчики бросают. Тогда, вероятно, да.

Насчёт «не взлетит» прогноз более точный. Если на качественном этапе  респонденты страшно кривятся, то, вероятно, продукт не пойдет. Это очень важно, поскольку позволяет не рисковать затратами на разработку.

Поэтому качественный этап используется, чтобы отсечь совсем никуда не годные концепции. Водка с говном, например. А также для того, чтобы выявить драйверы, барьеры и куда расти. И никогда не для того, чтобы понять, сколько человек его купят, если купят.

Ответ на вопрос «будете ли вы пользоваться этим продуктом/сервисом» — не показатель того, что продукт взлетит. Приблизительно прикинуть, пойдет или не пойдет, можно, только зная жизненный контекст человека, в который этот продукт впишется или не впишется. Этот контекст нельзя узнать с помощью одного единственно верного вопроса. Даже если этот вопрос содержит предложение купить.

А некоторые продуктовые исследователи почему-то думают, что все вопросы, которые они задают, должны работать стопудово и хотят получать ответы предсказывающие будущее с вероятностью 146%. Хотя человек может, например, просто не знать, будет он пользоваться продуктом или нет. Но если вы его не спросите, он вам и не скажет. И у вас не будет даже намека на информацию.

Более того. Иногда точности опросных методов для оценки будущего спроса недостаточно. По той очевидной причине, что обещать — не значит жениться.

Идея, что для точной оценки будущего спроса  нужно смоделировать ситуацию покупки, не новая. Если риски, связанные с производством, высоки,  используется пробный маркетинг. Товар выпускается в ограниченном количестве и продается на реальном рынке.

Внимание — на реальном рынке! Не в пробирке, в которой респондент и покупатель — одно лицо, которое соглашается купить товар под влиянием сложившегося с исследователем контакта. Идея продавать товар на интервью и на основе этого предсказывать спрос   — это переизобретение велосипеда в XXI веке, но особенного, с квадратными колесами.

Возвращаясь к началу. Если вы слышите или читаете слова «нельзя задавать вопросы о гипотетических ситуациях, потому что все врут», то возможны два варианта:

1. Некто добросовестно заблуждается по рецепту из Интернета. 

2. Он пытается ввести в это заблуждение вас с целью дальнейшей его монетизации.

#EverybodyLies, #касдев, #молотокчумовойинструмент

Обещанная история про китайцев

Однажды мы тестировали на китайцах, знающих русский язык, новый сервис.
Как обычно устроены такие исследования? Ты расспрашиваешь человека, какой у него опыт в этой категории, что он про нее думает, какие проблемы в ней есть, и как их можно решить. Потом показываешь концепцию сервиса и просишь рассказать, что человек о ней думает.

Небольшое отступление. Есть популярное направление кастдев, адепты которого верят в то, что вопросы о гипотетических ситуациях, в том числе сервисах, которых нет, задавать нельзя, потому что пользователи врут. Но у нас вопрос не религиозный, а практический. Поэтому про кастдев мы напишем потом, а сейчас сосредоточимся на способах проверки искренности.

Обычно человек легко говорит о том, что он думает про новый сервис, нужен он ему или нет. И у россиян нет проблемы сказать «ваш сервис не очень, и мне он не нужен». Или: «да, интересный, полезный сервис, я бы таким пользовался».
Но китайцы не таковы. Все они увлеченно рассказывают о том, как и чем они пользуются, внимательно читают концепцию, и говорят: да, хороший сервис. При этом они часто не могут объяснить, чем он хорош, использование сервиса не соотносится с их практиками в категории, и не выражают заинтересованность в продукте невербально. И мало того, они никогда не говорят прямо о том, что намерены использовать сервис.
Это вызывает логичные подозрения в неискренности. Вспоминаются рассказы гениального переводчика Саши Фалькона о китайских девушках, которые на всё говорят «Yessss», но это ̶н̶е̶ ̶т̶о̶ч̶н̶о̶ ничего не значит.
Но тестировать концепцию как-то надо!

И тогда я решил спрашивать респондента не про себя, а «про того парня». Гайд был переработан, и вопросы были заменены на проективные:

  1. Какие люди стали бы пользоваться этим сервисом? Почему именно они?
  2. Зачем им нужен этот сервис?
  3. В каких ситуациях и для чего они бы стали его использовать?

Почему нельзя было просто спросить: очень хорошо, что сервис вам нравится, а как вы собираетесь его использовать? Те, кому сервис честно нравится, ответили бы развернуто, а те, кто просто так его похвалил, промолчали бы. И нам бы сразу стало ясно абсолютно всё.

Потому что в Китае нельзя ничего говорить прямо. И ругать продукт, и давать обещания на будущее. Ответом на вопрос «как вы собираетесь его использовать?» во всех случаях было бы вежливое молчание. Мы столкнулись с культурой, в которой любой прямой ответ на предложение собеседника — и отказ, и обещание — считается недопустимой грубостью. Черный с белым не берите, “да” и “нет” не говорите. С подобной уклончивостью могут справиться только проективные методы.

Отвечая «за того парня», те, кому сервис действительно нравился, приводили реальные примеры его использования и подробно описывали людей, которые стали бы им пользоваться. Те, кому сервис не нравился, не могли ответить ни на один из заданных вопросов.

Вместо «да» на все случаи жизни мы получили богатый нарратив, касающийся использования сервиса. Если декларация хорошего отношения подкреплялась подробным описанием ситуаций, в которых респонденты были готовы его использовать, это означало, что респондент не врет.

Итак, признаки того, что продукт или сервис искренне нравится респондентам (не обязательно китайцам):

  1. Насыщенное описание мотивов и ситуаций потребления, за себя лично или «за того парня».
  2. Активный интерес: респонденты сами начинают задавать вопросы по поводу продукта.
  3. Согласованность использования продукта с теми практиками в категории, которые у клиента есть в данный момент.

Это была история о том, как неискренность как глобальную норму коммуникации диктует культура. Россия, к счастью, не Китай, и респонденты в целом намного менее осторожны в высказываниях. Но нельзя жить в обществе и быть свободным от него. Есть сензитивные области, в которых респонденты будут стремиться произвести хорошее впечатление. Об этом — в следующем выпуске.

#выйдуночьювполесконем, #EverybodyLies, #Китай

Пять вопросов «Почему» как карго-культ.

̶М̶̶н̶̶о̶̶г̶̶о̶̶ ̶̶п̶̶е̶̶с̶̶е̶̶н̶̶ ̶̶о̶̶ ̶̶л̶̶ю̶̶б̶̶в̶̶и̶̶ ̶̶с̶̶л̶̶о̶̶ж̶̶е̶̶н̶̶о̶̶ ̶̶
Много статей написано о том, как правильно проводить интервью. Одна из последних, про юзабилити-тестирование, нас впечатлила.

Цитируем близко к тексту.
Чтобы провести интервью, нужно:

  • зарезервировать на интервью как можно больше времени, час или даже полтора;
  • сообщить респонденту, что вы нуждаетесь в максимально подробных ответах;
  • задавать открытые вопросы;
  • стараться максимально точно выяснить, почему респондент совершает те или иные действия.

Очень часто (в последней статье этого не было, но реально часто) в интервью предлагается использовать технику «пять почему». Это когда респонденту, что бы он ни отвечал, повторно задаётся вопрос «почему», и так пять раз. Утверждается, что эта техника может помочь понять причины поведения.

Дорогие читатели.
Если бы кому-то из вас сказали: у нас полтора часа, ваши ответы должны быть максимально подробными, а потом спрашивали, почему вы действуете так, а не иначе, и, получив ответ, снова и снова спрашивали бы «почему?» — вы бы хотели отвечать на вопросы искренне и развернуто?
Вот именно.
А почему? (одного раза хватит)
А потому, что эти рекомендации — блистательный пример карго-культа. Реализация арифметического подхода «возьмите одного человека, зафиксируйте его на полтора часа и по поводу каждого его действия задайте ему пять вопросов «Почему?» Все это внешне похоже на действия исследователя, который проводит глубинное интервью. Похоже по форме, но не по сути.

Задача исследователя — не зарезервировать побольше времени, задать побольше вопросов и добиться как можно более детальных ответов. Задача исследователя — установить и поддерживать контакт. Стать респонденту на какое-то время близким. И тогда человек все сам вам расскажет, и да, это займет не меньше часа, а скорее полтора, и его ответы будут подробными.

Идея задавать пять вопросов «Почему?» — это тоже карго-культ. Потому что она реализует тот же арифметический подход, согласно которому, количество раз имеет значение. Хочется спросить, по какой причине должно быть пять «почему», а не шесть и не восемь.

И дело не в том, что этот вопрос надо задавать какое-то другое количество раз. Дело в том, что если опыт человека, с которым вы говорите, будет вам интересен хотя бы на время интервью, и вам будет важно хорошо его понять — вы вряд ли ошибётесь с количеством уточняющих вопросов.
«Пять почему» технически совпадает с давно известной в качественных исследованиях методикой «лэддеринг». В лэддеринге тоже повторно задается один и тот же уточняющий вопрос, но нет обязательного требования именно пяти итераций. Эту методику профессиональные модераторы не любят, потому что она разрушает контакт. Респондент понимает, что в нем перестают видеть личность и начинают видеть автомат для получения ответов на вопросы. У обычного живого человека это полностью убивает желание сотрудничать.

Когда к человеку пытаются применить рецепт пирога из Интернета – это дегуманизация. Механистический подход к человеку как к источнику полезного результата глубоко безнадёжен. Он может хорошо выглядеть в описании, но живые люди обычно сопротивляются дегуманизации. И это драматически ухудшает тот самый результат.

Кстати, идея, что пользователи врут, и поэтому не надо спрашивать их, будут ли они пользоваться продуктом, — это тоже проявление дегуманизации. В качестве альтернативы можно попробовать говорить с людьми так, чтобы они не врали. Это получится, если они будут вам доверять. Доверие создаётся не благодаря определенному количеству открытых вопросов. Оно появляется тогда, когда вы проявляете искреннюю заинтересованность в том, что говорит респондент, показывая, что все, что он говорит – ценно для вас. Вы не играете роль автоматического психоаналитика из Маппет-шоу. Вы на время интервью действительно становитесь близким человеком для респондента. И тогда он будет с вами откровенен.

Но бывает так, что человек принадлежит культуре, в которой не принято говорить «нет». Тогда он будет соглашаться со всеми вашими предложениями. У нас именно так было с китайцами, и для таких случаев тоже есть способы проверки искренности, но это уже совсем другая история. О ней — в следующем выпуске.

#интервью, #EverybodyLies