Один из способов собрать материал для собственного исследования — это провести опрос или исследовательское интервью. Но не всегда получается сделать это с первого раза, так как могут быть сложности с составлением вопросов: непонятно, какие именно вопросы задать, чтобы извлечь из респондентов именно ту информацию, которая необходима для исследования.
Есть смежная область, где также задают вопросы респондентам — опросы населения. Перед Вами выжимка из трёх книг, посвящённых тому, как проводить массовые опросы:
Материал будет полезен тем, кто собирает примеры для собственных исследований с помощью опросов и интервью.
Ошибка № 1. Помещать в вопрос оценочные суждения.
Отличительная черта оценочных суждений — в них выражается эмоция или личное мнение. Они построены на субъективной точке зрения. Что же будет, если вопрос будет содержать оценочное суждение? Такая формулировка вопроса негативно влияет на беспристрастность ответа. Отвечая на Ваш вопрос, респонденты могут невольно склоняться к точке зрения автора вопроса. Рассмотрим пример явно предвзятого опросника, где авторы были заинтересованы получить одобрение их позиции.
«Считаете ли Вы, что в руках профсоюзных лидеров сконцентрировано слишком много власти?
Выступаете ли Вы за то, чтобы для сохранения мест профсоюзных лидеров в правительстве принуждать государственных, окружных и муниципальных служащих платить профсоюзные взносы?
Выступаете ли Вы за то, чтобы разрешить профсоюзным боссам своей властью прекращать все работы на строительной площадке из-за спора с одним из подрядчиков, тем самым принуждая большее число рабочих подчиниться требованиям профсоюзов?
Хотите ли Вы, чтобы руководство профсоюзов действительно решало, сколько муниципальных служащих Вы, налогоплательщик, должны финансировать?
Следует ли принуждать всех строительных рабочих к вступлению в профсоюзы путем открытого пикетирования, взвинчивая тем самым цены на строительство Ваших школ, больниц и домов?
Будете ли Вы голосовать за того, кто принудил государственных служащих вступить в профсоюз под угрозой увольнения?
Даже неискушенный читатель видит, что опросный лист перегружен оценочными выражениями: „принуждать“, „профсоюзные боссы“, „подчиняться“ и т.д. Очевидно, что группа лоббирования заинтересована не в беспристрастном анкетировании, а в одобрении тех, кто поддерживает её позицию. Кроме того, вопросник сопровождается просьбой о внесении взноса на возмещение расходов по проведению опроса и публикации его результатов. Опросы такого типа проводятся скорее для сбора денежных средств, чем для получения объективной информации. Американская ассоциация по исследованию общественного мнения квалифицировала их как не заслуживающие доверия и неэтичные. Тем не менее подобные опросы не запрещены».
Источник: Сеймур Садмен, Норман Брэдбери. Как правильно задавать вопросы: введение в проектирование массовых обследований. — М.: Институт Фонда «Общественное мнение», 2002. — с. 16-17
Также ошибкой будет задать оценку с помощью интонации — как-то эмоционально выделить слово или сформулировать вопрос с определённой эмоцией. Зачастую такие ошибки допускаются специально, т.е. являются манипуляцией, например, когда интервьюер ставит перед собой задачу спровоцировать гостя или получить желаемый ответ.
Но даже если у Вас нет такой цели, стоит проверить, нет ли в Ваших вопросах предвзятости и оценочных суждений.
Ошибка № 2. Задавать широкие вопросы, которые респонденты могут истолковать двусмысленно.
Часто бывает так, что только во время интервью приходит понимание, что респондент понял вопрос не совсем так, как планировалось. Так может происходить, если вопрос содержит размытое понятие, которое до конца не определено. Например, временной промежуток «обычно». Какие последствия это вызывает? Респондент будут искажать смысл вопросов в соответствии со своим опытом, знаниями, положением или с тем, как они поняли вопрос.
«В книге Белсона приводятся данные о распространенном недопонимании респондентами вопросов и отдельных слов, например, „обычно“, „иметь“, „рабочий день“, „дети“, „молодежь“, „в общем“, „регулярно“ и „пропорция“. Автор выдвигает гипотезу, что респонденты интерпретируют широкие понятия и концепции уже, чем планировал исследователь. Он также полагает, что респонденты искажают смысл вопросов в соответствии с собственным положением или опытом. Никто не может быть уверен, что все респонденты поймут все вопросы так, как они были составлены. Однако использование конкретных вопросов поможет снизить различия в интерпретации. Белсон подчеркивает, что при использовании общих вопросов необходимо проверить, как респонденты понимают их значение».
Источник: Сеймур Садмен, Норман Брэдбери. Как правильно задавать вопросы: введение в проектирование массовых обследований. — М.: Институт Фонда «Общественное мнение», 2002. — с. 54
Другой пример: представим, что Вы проводите опрос на тему мифов у школьников. Вас интересует именно мифы, которые транслировались от учителей и одноклассников, но чётко в вопросе Вы это не указали, а, например, написали просто «мифы в школьные годы». Некоторые респонденты попытаются вспомнить мифы не только из школы, а в принципе любые мифы, с которыми они сталкивались, когда были школьниками.
Конечно, всегда можно уточнить вопрос во время интервью, но это отнимет время у Вас и у респондента, который готовился и вспоминал примеры именно к тому вопросу, который Вы составили изначально.
Ещё одна проблема, с которой можно столкнуться, задавая широкие вопросы — контекстуальные эффекты. Это значит, что респондент будет искать контекст для вопроса, чтобы его конкретизировать. Например, использовать в ответе на следующие вопросы ту информацию, которую он вспомнил, отвечая на предыдущие вопросы. Или если в вопросе не задан контекст, отвечающий может его додумать, опираясь на предыдущие вопросы.
«Из этого следует, что респонденты сознательно ищут контекст неясного для них вопроса. Чтобы понять его, они могут снова вернуться к вопросу, ответ на который вначале казался вполне обдуманным. Как часто во время заполнения анкеты происходит такой возврат, неизвестно. Мы предполагаем, что это происходит чаще тогда, когда респонденту попадается непонятный вопрос, а следующие за ним могут прояснить его значение.
Контекст может оказывать влияние на интерпретацию вопроса, даже если последний лексически однозначен. Приведем два примера. Н. Шварц, Ф. Стрэк и Г. Маи спрашивали респондентов об их удовлетворенности жизнью, что не вызывало каких-либо проблем в восприятии вопроса [Schwarz, Strack, Mai, 1991]. В одном случае перед этим был поставлен вопрос об удовлетворенности браком, и оба предварялись введением: „Нам хотелось бы спросить вас о двух аспектах вашей жизни, которые обычно связывают с благополучием“. В этом случае респонденты интерпретировали вопрос об удовлетворенности жизнью, как если бы он был сформулирован следующим образом: „Оставляя в стороне все, что вы уже рассказали нам, насколько вы удовлетворены другими аспектами вашей жизни?“. Такое смещение в понимании вопроса свидетельствует о влиянии „соглашения об известном и новом“ [Haviland, Clark, 1974], которое „предписывает“ сообщать новую для интервьюера информацию, а не повторять уже сказанное» [с. 78-79].
«... информация, которая остается в памяти после ответа на предшествующие вопросы, может быть использована при формировании последующих суждений. В результате контекстуальные эффекты возникают на стадии вынесения суждений. Зачастую вспомнившаяся информация задает направление ответов на последующие вопросы» [с. 92].
Источник: Садмен С., Брэдбери Н., Шварц Н. Как люди отвечают на вопросы: применение когнитивного анализа в массовых обследованиях. — М.: Институт Фонда «Общественное мнение», 2003. — с. 304
Чтобы снять контекстуальные эффекты, можно использовать следующие решения:
Сделать вопрос более конкретным, далее будут описаны приёмы, как именно это можно сделать;
Отсечь контекст предыдущих вопросов, отделив темы вопросов друг от друга:
«До этого мы поговорили про тему X... Теперь хотелось бы перейти к следующей теме Y».
Ещё один простой пример из повседневной жизни. Представьте, компания хочет узнать, насколько Клиенты удовлетворены обслуживанием. Если будет сформулирован широкий вопрос «Вам понравилось работать с нами?», скорее всего, никаких ценных данных не удастся извлечь.
Ошибка № 3. Поместить в вопрос сложный термин и не проверить, как его понял респондент.
Может сложиться такая ситуация, что отвечающий имеет туманное представление о каком-либо термине / понятии в вопросе или вообще не знает, что он значит. Соответственно, если респондент отвечает на вопрос, который он не понимает, ответы будут бесполезными — скорее всего, он не сможет привести необходимые примеры, и будет непонятно, что именно он имел в виду.
Рассмотрим пример, в котором говорится о политических терминах, но и на другие исследования этот принцип также переносим.
«Анализируя значения распространенных политических понятий, Д. Фи обнаружил по крайней мере девять разных значений выражения „энергетический кризис“. Аналогичным образом выражение „влиятельное правительство“ (big government) приводит, как минимум, к четырем разным толкованиям. Одно имеет отношение к благосостоянию и растратам, другое — к большому бизнесу и правительству для богатых, следующее — к федеральному контролю и ущемлению прав отдельных штатов и последнее — к бюрократии и отсутствию демократических процессов. Стоит ли говорить, что практически невозможно проинтерпретировать ответы на вопрос о „влиятельном правительстве“, не зная, что имел в виду респондент!»
Источник: Садмен С., Брэдбери Н., Шварц Н. Как люди отвечают на вопросы: применение когнитивного анализа в массовых обследованиях. — М.: Институт Фонда «Общественное мнение», 2003. — с. 73
Поэтому перед тем, как выслушать ответ респондента, рекомендуется проверить, как он понял вопрос. Для этого можно попросить его пересказать вопрос своими словами. И, конечно, сам интервьюер должен понимать, что именно он хочет узнать, чтобы он смог объяснить вопрос отвечающему. Если же интервьюер сам не понимает, что хочет узнать, то бесполезно спрашивать респондента о его понимании вопроса.
«Поэтому серьезное предварительное тестирование полезно и для тех вопросов, которые использовались ранее, особенно когда они адаптированы к новой выборке. Так, при предварительном тестировании группы подростков интервьюер из НЦИОМ попросил интерпретировать высказывание: „Лучше не пытаться планировать появление детей, а принимать их, когда они появляются“. Один респондент объяснил смысл высказывания следующим образом: „Конечно, детей принимают, когда они появляются, нельзя же оставить их в больнице“.
Нечеткое понимание смысла вопроса нередко связано с объектами установок, которые часто обсуждаются средствами массовой информации: „социальное обеспечение“, „большой бизнес“, „гражданские права“, „прибыль“. Например, в одном из исследований Пейн [65] установил, что больше трети населения не знала, что означает слово „прибыль“. Большинство понимали под прибылью нечто, совершенно отличное от того, о чем говорится в финансовых отчетах компаний. [...]
Короче говоря, фиксируется неоднозначность интерпретаций. Предварительное тестирование и эксперименты с формулировками могут снизить неопределенность в понимании респондентами вопроса. Но добиться этого можно лишь в том случае, если вы четко представляете, что пытаетесь выяснить. И если вы этого не знаете, никакой респондент не сможет вам помочь».
Источник: Сеймур Садмен, Норман Брэдбери. Как правильно задавать вопросы: введение в проектирование массовых обследований. — М.: Институт Фонда «Общественное мнение», 2002. — с. 129
Чтобы избежать ошибок или недопониманий, сложные термины можно либо пояснить в самом вопросе, либо заменить на более простые слова, понятные каждому респонденту.
Ошибка № 4. Задавать вопросы с иллюзией выбора или двусмысленные вопросы, которые не приведут к честному ответу от респондента.
Иллюзия выбора — это одна из техник манипуляции, соответственно, такие вопросы будут ловушками для респондента.
Ошибкой, во-первых, будет включать в вопрос альтернативы, одна из которых очевидно предпочтительнее. Представим, что мы хотим проверить, какой процент Зрителей интервью может реально оценить уровень вопросов на популярных интервью. Задавать вопрос «Вы обычно смотрите развивающий контент или слабые интервью, где задают попсовые вопросы?» будет ошибкой, так как, скорее всего, небольшое количество людей честно признаются, что потребляют информацию, которая не способствует их развитию.
Во-вторых, не стоит задавать вопросы, которые содержат два разнородных предмета обсуждения / альтернативы. Пример: «Вы выбрали научиться задавать развивающие вопросы или продолжать смотреть интервью Дудя и деградировать?» Тоже ошибочный вопрос, так как может быть, человек понимает, что такое неразвивающий вопрос, но он не хочет учиться задавать вопросы. Либо же он смотрит интервью не Дудя, а другого попсового интервьюера. В общем, две части вопроса явно нельзя сравнивать, так как они не равнозначны.
«При разработке анкеты исследователь должен избегать „двуствольных“ вопросов, т. е. вопросов, содержащих два разнородных предмета обсуждения. В таких случаях респондент вынужден отвечать сразу на два вопроса, даже если его мнения по ним расходятся. Любой будет обескуражен вопросом типа: „На предстоящих президентских выборах Вы поддержите сенатора Пейса и мир или губернатора Гуэрра и войну?“. Не столь вызывающим примером может служить следующий вопрос: „Вы одобряете строительство большего числа ядерных электростанций, чтобы обеспечить рост потребностей страны, или Вы против строительства новых ядерных электростанций, хотя это снизит прирост производства электроэнергии?“. В этом вопросе объединены два разных объекта установок — ядерные электростанции и производство электроэнергии, причем он поставлен так, будто нет иного способа увеличить производство электроэнергии, кроме строительства ядерных электростанций.
Этот вопрос построен так, что одна альтернатива заведомо вызывает одобрение большей части респондентов, чем другая. Мнения по поводу строительства новых ядерных электростанций разделятся поровну, и в то же время увеличение производства электроэнергии могут поддержать 90% опрошенных. Поэтому очевидно, что преимущественную поддержку получит строительство ядерных электростанций. Та часть вопроса, по которой у респондентов сложились более устойчивые представления, будет привлекать их особое внимание, что может привести к полному игнорированию другой части. Запомните: чтобы правильно оценить мнение респондентов по интересующей вас проблеме, не включайте два разнородных объекта установок в один вопрос».
Источник: Сеймур Садмен, Норман Брэдбери. Как правильно задавать вопросы: введение в проектирование массовых обследований. — М.: Институт Фонда «Общественное мнение», 2002. — с. 139-140
«Наконец, лучше избегать включения в списки ответов суждений или персон, которые получают максимальные позитивные или негативные оценки, что влияет на следующие за ними суждения. Так, если включить в список политических персонажей Адольфа Гитлера или мать Терезу, их позиция в списке будет сильно влиять на оценку действующего президента или премьер-министра».
Источник: Садмен С., Брэдбери Н., Шварц Н. Как люди отвечают на вопросы: применение когнитивного анализа в массовых обследованиях. — М.: Институт Фонда «Общественное мнение», 2003. — с. 169
Ошибка № 5. Задавать вопросы о стереотипах в лоб.
Например, будет ошибкой напрямую спрашивать, есть ли у респондентов какие-то установки, подвержены ли они каким-то стереотипам или мифам и т.п. Потому что человек может не осознавать, что он следует стереотипу. Если напрямую спросить: «Вы подвержены стереотипу X?», скорее всего, человек ответит отрицательно.
«Наш вывод из этих предположений заключается не в том, что публикации, посвященные вопросам силы или доступности установок, содержат принципиальные ошибки. В данный момент у нас нет надежных данных, подтверждающих выдвинутые гипотезы. Мы лишь отмечаем, что если в модель конструирования установок ввести несколько дополнительных ограничений, то существующие данные не будут ей противоречить. Это означает, что, если речь заходит об измерении установок в массовых опросах, бессмысленно спрашивать людей о том, есть ли они у них».
Источник: Садмен С., Брэдбери Н., Шварц Н. Как люди отвечают на вопросы: применение когнитивного анализа в массовых обследованиях. — М.: Институт Фонда «Общественное мнение», 2003. — с. 137
Другой пример из исследования А. А. Каримова: «Было ошибкой спрашивать:
Это очень абстрактно и, насколько помню, люди сходу не отвечали, всегда нужно было конкретизировать, детализировать вопросы и приводить примеры».
Чтобы выявить какой-то стереотип или установку, задающую поведение человека, зачастую необходима цепочка вопросов. Пример цепочки вопросов в исследовании А. Н. Мещеряковой, посвящённому стереотипам родителей об успехе:
Что такое для Вас успех? По каким критериям Вы бы его определили?
Приведите пример успешной личности.
Хотите ли Вы, чтобы Ваш ребёнок стал успешным?
Как Вы считаете, что для этого нужно делать?
Что Вы делаете для этого, какие шаги совершаете?
Источник: Стереотипы родителей об успехе или сбитые творческие ориентиры для детей // YouTube. POZNYAKOVA FORUM. 4 августа 2022. URL: https://youtu.be/1qDU8gDVo3A (Дата обращения: 23.03.2023)
Здесь ключевое не только формулировки вопросов, но и их последовательность: сначала родитель определяет, по каким критериям он выделяет успешность личности и что нужно делать, чтобы ребёнок стал успешным, а потом уже говорит, следует ли он сам этим шагам. Также не спрашивается напрямую: «Считаете ли Вы главным критерием оценки эталона популярность?» Иначе большинство бы ответили, что нет. Однако как раз такой вывод следовал после опроса родителей.
Продолжение — Как составить вопросы для исследовательского интервью? Часть 1/3 — выйдет 27 апреля 2023 года.
Подпишитесь, чтобы не пропустить.
Дополнительные материалы для увеличения возможностей читателей
Полезные материалы по задаванию вопросов и проведению интервью:
Доклад Т. В. Кыркаловой «15 приёмов: как задать сильный вопрос»: https://youtu.be/9cJRQ3U1tUc
Доклад Т. В. Кыркаловой «Этический Кодекс при интервью Эксперта»: https://youtu.be/GwphH3pZv30
Доклад Д. А. Матвеева «Как правильно задать вопрос Эксперту»: https://youtu.be/NRk1dRTMAK0
Доклад С. А. Резникова «Извлечение профессиональных знаний из Экспертов» https://youtu.be/x1J8gAXWGuc
Доклад Ю. В. Максимкиной «Развитие мышления: как задавать сильные вопросы» https://youtu.be/QQCNUtVi2ss
Доклад И. М. Лебедева «Опыт проведения «табличных интервью» с Экспертами для выявления их знаний https://youtu.be/l8qKH4WrCcw
Новые исследовательские темы
Как проиллюстрировать вопрос? Приёмы введения визуальной информации
Как выбирать респондентов для опроса: по каким признакам выбрать качественного интервьюируемого ДО интервью?
Варианты подсказок в исследовательских интервью
Цепочки / последовательности вопросов на исследовательских интервью под разные задачи
