Искренность респондентов в массовых опросах

Вид материала

Диссертация

Содержание Исследования роли анонимности Таблица 2 Сравнительные характеристики анонимных и неанонимных опросов в исследовании Ф. Кинга Проблема методов Роль напоминаний в обеспечении анонимности Вопросные методы стимулирования искренности

Подобный материал:

• Из опрошенного количества респондентов 64% составляют мужчины, 36% – женщины. Среди, 110.21kb.
• Инструкция № предупреждение травматизма при проведении массовых спортивных мерприятий, 8.55kb.
• -, 324.31kb.
• Рекомендации по заполнению заявлений на перевод в иностранной валюте для клиентов ОАО, 217.08kb.
• Организация и проведение массовых мероприятий в библиотеке, 118.1kb.
• Фортепианное творчество иоганнеса брамса, 20.37kb.
• Г. В. Плеханова Наименование факультета Дисциплина : «Психология массовых коммуникаций», 83.38kb.
• -, 1443.3kb.
• Программа дисциплины «История массовых коммуникаций» для направления Деловая и политическая, 281.31kb.
• Имя России: сталин, 3185.25kb.

§ 3. Методические эксперименты по стимулированию искренности респондентов: опыт и уроки


Исследования роли анонимности

На протяжении ряда десятилетий (в 1950-70-е годы) в западной социологии воп­рос о роли анонимности был предметом весьма оживленных научных дискуссий. Ис­следователей, в частности, интересовал вопрос о том, какой тип вопросника (иденти­фицируемый или неидентифицируемый) имеет преимущество с точки зрения качества собираемых данных. Считалось, что анкета, предполагающая прямую идентификацию респондентов, неизбежно обрекает социологов на минимальный возврат, резкое сниже­ние репрезентативности результатов и получение смещенных оценок изучаемых харак­теристик. При использовании полностью анонимных вопросников исследователю при­ходится жертвовать возможностью проведения лонгитюдных замеров. Применение идентификационных номеров, равно как и псевдонимов, выбираемых самими респон­дентами, устраняет данный недостаток, но порождает несколько новых. Во-первых, как показали исследования Д. Кандела с соавторами, а также У. Гроувза, потеря информа­ции в связи с отсевом испытуемых в этом случае достигает одной трети. Во-вторых, самоотчеты не могут быть сопоставлены с внешними валидаторами. И, наконец, в-тре­тьих, респонденты, как свидетельствуют М. Льютгарт и А. Армстронг, все равно сомне­ваются в невозможности их идентификации по индивидуальным номерам и псевдони­мам, что резко снижает субъективную анонимность и качество опросных данных (см.: [317, р. 558]).

С другой стороны, методика «двухсекционного» опроса, при которой респонден­там после основного интервью предлагалось заполнить анонимную форму, содержа­щую сведения о личности опрашиваемого, обладает, как оказалось, крайне ограничен­ными возможностями для коррекции недостатков, присущих идентифицируемым опро­сам [305, р. 982].

Социологам долгое время не удавалось получить убедительных эксперименталь­ных доказательств, однозначно свидетельствующих о влиянии анонимности на ответы респондентов. Данные экспериментов были весьма противоречивыми. Одни исследова­ния фиксировали позитивную (хотя и незначительную) роль данного фактора, другие устойчиво демонстрировали противоположные результаты. В целом ряде специальных исследований, проведенных в этот период Г. Блумбергом, П. Эрдосом и Дж. Ригером, Дж. Баккером и Д. Бакалом и др., не было замечено существенного влияния анонимнос­ти и конфиденциальности на повышение достоверности ответов испытуемых и на уро­вень отвечаемости (см.: [344, р. 498] ). Ф.Кинг в своем эксперименте с разными типами вопросников обнаружил, что при использовании анонимных образцов респонденты де­монстрировали более высокий процент возврата анкет и положительных ответов на вопросы об употреблении наркотиков. Однако все обследованные им различия оказа­лись статистически незначимыми на уровне 0,05 (табл. 2).

Таблица 2

Сравнительные характеристики анонимных и неанонимных опросов в исследовании Ф. Кинга, %

Сравниваемые показатели	Опрос	Опрос	Значимость
	анонимный	неанонимный	различий, р
Возврат вопросников	63,0	67,0	0,13
Употребление марихуаны	26,0	29,0	0,21
Употребление ЛСД	3,0	4,0	0,74

Источник: [305, р. 984].

С другой стороны, в последующих исследованиях, посвященных этой теме, были получены данные, доказывающие существование эффекта обеспеченной анонимности. «Респонденты, могущие быть идентифицированными, - приходит к заключению Р. Уайлдман, - чаще дают «социально-желательные» ответы, чем те, которые остаются анонимными» [389, р. 75]. Г. Тайсон и С. Капловиц также обнаружили ряд неоспори­мых доказательств, свидетельствующих о том, что при проведении опроса в конфиден­циальной обстановке снижается доля конформных ответов [383].

Д. Филипс, анализируя проблему достоверности опросных данных, выделил 18 потенциальных источников информационных смещений. При этом отсутствие аноним­ности опроса он квалифицировал как наиболее серьезный фактор, порождающий иска-
жения в ответах респондентов. По его мнению, любой, даже самый безобидный вопрос,
обращенный к испытуемым, может стать источником неконтролируемых смещений.
4 Поэтому «ошибки сообщения», связанные с необеспеченной анонимностью, считает ав-

тор, наиболее опасны [341, р. 12-49].

В исследованиях Дж. Фокса и П. Трэйси было показано, что отсутствие аноним­ности неизбежно приводит к «смещению цели» и фактической (хотя и неочевидной) подмене первоначального объекта измерения. Если случайные погрешности, отмечают авторы, ведут к снижению надежности измерений, то систематические ошибки, обус­ловленные неискренностью респондентов в связи с их опасениями за судьбу своих от­ветов, угрожают валидности опросных данных и «безнадежно разрушают наблюдаемые эмпирические отношения» [381, р. 187, 197; 268, р. 8-9].


Проблема методов

В отечественной литературе по методологии и методике социологических иссле-
дований вопрос о методах стимулирования субъекгивной анонимности опрашиваемых

в последние полтора-два десятилетия серьезно практически не обсуждался. Не случай-
но поэтому, что набор приемов и средств ее обеспечения, заимствованный когда-то из
зарубежной социологии и по-прежнему сохраняющийся на вооружении российских ис-
следователей, крайне ограничен, а по своему методическому потенциалу и технической
оснащенности он остается на уровне 1960-х годов. Те немногочисленные советы и реко-
мендации, которые имеются в нашей специальной литературе для практикующих
социологов, в большинстве случаев малоубедительны и вызывают вполне обоснован-
ные сомнения в силу своей гипотетичности и отсутствия экспериментальных, эмпири-
ческих обоснований. Они, как правило, сводятся к необходимости устных или письмен-
ных деклараций, якобы гарантирующих респондентам конфиденциальность их ответов,
к требованиям удаления «третьих» лиц, к пожеланиям использовать «анкетосборник»
ф при проведении опросов и ряда других мер организационного и «психотерапевтичес-

кого» характера. В лучшем случве социологи-методисты предлагают использовать спе­циальные идентификационные номера [302, р. 172] или псевдонимы [198, с. 267]. Однако многим исследователям, интервьюерам, анкетерам эти приемы кажутся весьма сомнительными и неэффективными, а респондентам - не внушающими доверия. В це­лом ряде ситуаций они явно не срабатывают. Поэтому вопросы типа: «А чем Вы мне гарантируете...», не столь уж и редкие в нашей исследовательской практике, вполне могут обескуражить не только начинающего, но и опытного интервьюера.

Справедливости ради нужно сказать, что и в зарубежной социологии на сегод­няшний день выработано не так уж много надежных рекомендаций и эффективных ме­тодов обеспечения субъективной анонимности. Однако в научном плане эта проблема изучена там гораздо более глубоко и обстоятельно. Причем подходы к ее возможному решению эволюционировали по мере появления нового экспериментального материала и накопления методологического знания.

В 1930-50-е годы специалисты по изучению общественного мнения ориентирова­лись преимущественно на использование вопросных методов стимулирования субъек­тивной анонимности (замену открытых вопросов закрытыми, прямых - косвенными, личных - безличными, ситуативных - проективными и т.п.). При этом считалось, что достаточно намекнуть опрашиваемым на «нормальность» или «типичность» тех или иных поступков, и саморазоблачительные признания в социально неодобряемых фор­мах поведения будут получены от них чуть ли не автоматически.

Тогда же окончательно вошло в практику и выработанное ранее правило, требо­вавшее от социологов обязательного включения в инструктивную часть вопросника на­поминаний респондентам об анонимности проводимого исследования. Социологи пола­гали, что предварительное информирование испытуемых о том, что их ответы будут сохранены в тайне, «снизит тревожные опасения и соответственно элиминирует потреб­ность в пропуске вопросов и сообщении искаженных сведений» [344, р. 498].

Однако впоследствии стало ясно, что манипулирование вопросной формулиров­кой отнюдь не обеспечивает «самораскрытия» респондентов, так как не гарантирует им уверенности в конфиденциальности будущих ответов. Не оправдались надежды социо­логов и на организационно-технические средства обеспечения анонимности (в форме устных или письменных заверений в неразглашении ответов), казавшиеся ранее вполне надежными и эффективными. Декларации об анонимности, как выяснилось в ходе спе­циальных исследований, не способствуют установлению более доверительных отноше­ний респондентов с интервьюерами.

Роль напоминаний в обеспечении анонимности

Вопрос о влиянии устных или письменных гарантий анонимности на характер от­ветов респондентов в отечественной социологии и психологии на экспериментальном уровне до сих пор не изучался. А между тем в США, начиная с 1960-х годов, подобные исследования проводились неоднократно. С одной стороны, они были стимулированы поиском эффективных средств минимизации психологического ущерба респондентам в опросных исследованиях, а с другой, - необходимостью получения валидных данных [344, р. 498].

Так, в 1968 г. роль напоминаний о конфиденциальности в повышении достовер­ности ответов на «чувствительные» вопросы анализировал Ф. Кинг. В своем двухсек­ционном исследовании среди студентов и выпускников Дартмутского колледжа (N=775) он не обнаружил статистически значимых различий в сообщениях респонден­тов об употреблении наркотиков в зависимости от обещаний анонимности [305].

В 1974 г. эту же проблему применительно к другой группе сенситивных вопросов изучала К. Фуллер. Полученные ею данные оказались весьма противоречивыми. С од­ной стороны, письменные гарантии конфиденциальности способствовали увеличению на 11 % уровня возврата почтовых анкет, а с другой, - росту числа социально желатель­ных ответов. В результате исследования автор пришла к выводу, что риск получения смещенных данных в связи с отсутствием деклараций об анонимности, весьма незначи­телен [274].

Неоднозначные результаты были получены и в полевом эксперименте, проведен­ном примерно в это же время Д. Дилманом, Дж. Галлегосом и Дж. Фреем. Включение обещания анонимности в инструктивную часть вопросника, как сообщают авторы, за­метно стимулировало кооперативные установки респондентов и повысило тем самым общий уровень отвечаемости в почтовом опросе. Однако в телефонном интервью по­добного эффекта уже не наблюдалось [252, р. 68-69, 77-78].

Р. Уайлдман в ходе своих исследований 1977 г. тестировал влияние декларируе­мой анонимности, а также места проведения опроса на возврат почтовых анкет, запол-няемость вопросников и характер ответов респондентов. В качестве испытуемых высту­пали учителя средних школ одного из штатов Среднего Запада (N=320). Полученные результаты позволили заключить, что ни один из тестируемых факторов ни порознь, ни в комбинации значимо не влияет на ответы опрашиваемых и их желание сотрудничать с социологами. Вместе с тем, отмечает автор, возможность генерализации этих выводов ограничена спецификой аудитории, особенностями условий, в которых проводится оп­рос и его проблемно-тематической природой [389].

В 1978 г. в рамках изучения эффективности процедур «информированного согла­сия» Э. Сингер была предпринята новая попытка эмпирической верификации гипотезы о существовании «эффекта устных гарантий». В своем эксперименте она исследовала воздействие предупреждений об анонимности, содержащихся во вводной части ин­тервью, на формирование кооперативных установок и улучшение качества ответов на сенситивные вопросы. Однако обнаруженные ею смещения оказались слишком незна­чительными для однозначного заключения о стимулирующей роли напоминаний [363; 364].

К концу 1970-х годов относятся и эксперименты Н. Брэдберна и С. Садмана, ре­зультаты которых в конечном счете также не дали убедительных доказательств пози­тивного влияния обещаний анонимности на повышение доверия к интервьюерам. Ис­пытуемые не очень-то верили в то, что сообщаемые ими сведения будут действительно сохранены в тайне. Заверения в абсолютной конфиденциальности, отмечали в этой свя­зи авторы проекта, в некоторой мере стимулируют готовность респондентов отвечать на индивидуально острые вопросы, но не влияют на их желание участвовать в исследо­вании и не улучшают качество самоотчетов о поведении [222, р. 170]. Аналогичные данные, касающиеся роли напоминаний, приводятся Ж. Малвин и Дж. Московицем [317].

В отличие от большинства предыдущих исследований, осуществлявшихся на вы­борках, репрезентирующих социально благополучные слои населения, в эксперименте Ф. Римера, проведенном в 1979 г. в штате Иллинойс, в качестве испытуемых выступали малолетние преступники (N=505), арестованные за различные правонарушения и со­державшиеся в специальных учреждениях для несовершеннолетних [344]. Подросткам задавали сенситивные вопросы, касающиеся их прошлой жизни, поведения после арес­та, оценок совершенных ими преступлений и т.д. В общей сложности вопросник вклю­чал в себя 121 вопрос. Качество данных оценивалось на основе двух показателей: числа пропущенных вопросов и доли респондентов, давших социально желательные ответы.

В экспериментальной группе интервью начинались с оглашения стандартного вве­дения, рассчитанного на ослабление у испытуемых тревожных предчувствий. В нем го­ворилось, что все ответы респондентов будут сохранены в строжайшей тайне и никто, включая интервьюера, не узнает их содержания. При этом опрашиваемым вручались копии вопросника, интервьюер зачитывал вопросы, а респондент отмечал нужные отве­ты в своем экземпляре анкеты. Кроме того, каждый испытуемый получал письменное заверение, подписанное руководителем исследования, гарантирующее конфиденциаль­ность предстоящей беседы. В контрольной группе об анонимности вообще не упомина­лось. Интервью начинались с представления интервьюера и зачитывания инструкций по заполнению вопросника.

В результате анализа полученных данных оказалось, что только по двум предъяв­ленным вопросам имели место существенные различия в количестве неответов. Гаран­тии анонимности, таким образом, не повлияли на отвечаемость по отдельным пунктам интервью. С другой стороны, несмотря на то, что в исследовании участвовали люди, по­тенциально склонные к обману и заинтересованные в искажении сообщаемых сведе­ний, тем не менее его результаты позволяют говорить о примерно одинаковом уровне искренности респондентов, принадлежащих к контрольной и экспериментальной груп­пам: лишь по 9 парам ответов из 121 сравниваемой были обнаружены отклонения, ста­тистически значимые для р<0,05 [344, р. 503-504].

Вместе с тем в отдельных публикациях были представлены и иные данные, свиде­тельствовавшие о том, что заверения в анонимности опроса во вводной части интервью все же оказывают некоторое (хотя и слабое) позитивное воздействие на респондентов. По утверждению некоторых авторов [366], они, в частности, способствуют снижению числа неответов на вопросы о доходах и сексуальном поведении, а с другой стороны, -приводят к увеличению объема и детализации сообщаемой респондентами информа­ции.

Учитывая противоречивость полученных ранее результатов, Дж. Фрей в конце 1984 г. вновь возвращается к этой проблеме, рассматривая ее применительно к усло­виям телефонного интервью [273]. Суть поставленного им эксперимента заключалась в следующем. Из случайной стратифицированной выборки (N=385), представляющей домохозяйства штата Невада и разделенной пополам, были сформированы две группы ­экспериментальная и контрольная. Интервьюируемым предлагалось ответить на 22 со­держательных (о политических предпочтениях, об отношении к референдуму о налогах, к политике в области образования и др.) и 7 социально-демографических вопросов (о возрасте, уровне образования, расовой принадлежности, доходе, размере жилища, вероисповедании и брачном статусе). Общий уровень ответов в исследовании составил 82%.

В обеих группах интервью начинались со стандартного введения, которое вклю­чало имя интервьюера, название исследовательской организации, проводившей опрос, тему исследования, а также универсальные фразы, касающиеся его анонимности. Кроме того, непосредственно перед блоком демографических вопросов экспериментальной группе респондентов зачитывалось «буферное» утверждение, содержавшее в себе до­полнительное предупреждение об анонимности: «А сейчас мне хотелось бы получить некоторые сведения лично о Вас исключительно в статистических целях. Помните, Ваши ответы анонимны». Контрольной группе эта фраза зачитывалась без напомина­ния о конфиденциальности опроса.

Сравнение результатов, полученных в экспериментальной и контрольной группах, не выявило существенных различий в ответах на личные вопросы, касающиеся образо­вания, размеров жилища, расы, религии, дохода и брачного статуса респондентов. Ме­ры ассоциации («гамма»-коэффициенты) варьировали от -0,161 (для дохода) до -0,065 (для расовой принадлежности). И ни одна из них, по свидетельствам Дж. Фрея, не была статистически значимой.

Однако повторное напоминание о конфиденциальности, сделанное респондентам экспериментальной группы, стимулировало более высокий уровень неответов по срав­нению с контрольной (табл. 3).

За исключением вопроса о доходе, как видно из таблицы, выявленные различия оказались несущественными, хотя общая тенденция, фиксируемая в распределениях, по мнению автора исследования, очевидна. Напоминание о конфиденциальности, предва­ряющее блок личных вопросов, считает Дж. Фрей, элиминирует влияние вводной инструкции и «ломает» начавшие было устанавливаться (хотя пока еще и очень хруп­кие) отношения доверия между респондентами и интервьюером. Напоминание, по-ви­димому, производит эффект, повышающий чувствительность респондентов, и предуп­реждает их о необходимости быть осторожными в своих ответах на последующие воп­росы. «Вследствие этого качество данных подвергается определенному (хотя и не очень сильному) риску» [273, р. 269].

Таблица 3

Соотношение неответивших* на различные типы социально-демографических вопросов в экспериментальной и контрольной группах респондентов в зависимости от наличия или отсутствия напоминания об анонимности в телефонном интервью (в абс. числах)

Вопросы	Экспериментальная	Контрольная группа
	группа (JV= 192)	(N=193)
Образование	1	0
Размеры жилища	1	1
Раса	3	0
Религия	2	4
Доход	15	7
Брачный статус	2	1

Источник: [273, р. 268].

*Суммировалось число отказавшихся от ответа и ответивших «не знаю».

В результате проведенного эксперимента Дж. Фрей приходит к выводу, подтверж­дающему обнаруженную ранее тенденцию: заверения в анонимности практически не влияют на уровень отвечаемости и достоверность ответов респондентов. Но, непос­редственно предшествуя «сенситивным» вопросам, они могут оказывать и негативное воздействие на качество итоговых данных.


Вопросные методы стимулирования искренности

С тех пор, как в середине 1930-х годов А. Кроссли изобрел технику контрольных вопросов, практикующие социологи широко применяют ее не только для диагностики неискренности, но и в профилактических целях. Специалисты в области методологии социологических исследований, в свою очередь, настоятельно рекомендуют при предъ­явлении респондентам острых и деликатных тем использовать закрытые, косвенные, безличные и проективные вопросы вместо открытых, прямых, личных и ситуативных.

Так, В.Э. Шляпентох, например, считает косвенные безличные вопросы проек­тивного типа более надежными и эффективными для получения искренних ответов по сравнению с прямыми личными. Намного целесообразнее, отмечает он, попросить рес­пондентов оценить мнения их соседей по поводу той или иной проблемы, чем требо­вать от опрашиваемых собственных оценок. Поскольку в России, пишет В.Э. Шляпен-тох, готовность населения отвечать правдиво на вопросы социологов «существенно ни­же, чем в США», то у нас этот метод, даже больше, чем на Западе, помогает уменьшить вероятность ответов, приспособленных к восприятию социальной желательности [361, р. 217-219].

На необходимость использования вопросных техник при обсуждении с респонден­тами «сенситивной» проблематики указывает и В.А. Ядов. «Косвенный вопрос, - пишет он, - ставится в случае, если затронуты проблемы, по которым опрашиваемые не склон­ны высказываться откровенно...». При этом «ожидается, что респондент выберет те суждения, которых он сам придерживается» [198, с. 258]. И далее продолжает: «Безлич­ная и полубезличная форма вопроса употребляется для выявления мнений, расходя­щихся с общепринятыми. В вариантах ответов подчеркивается, что все они возможны и опрашиваемый не будет выглядеть «белой вороной», если согласится с каким-то сужде­нием» [198, с. 259].

Н. Брэдбери и С. Садман также считают проективные вопросы весьма эффектив­ным инструментом для нейтрализации или ослабления защитных реакций опрашивае­мых и предупреждения неискренних ответов. «В случае с проективными ситуациями, -пишут авторы, - референт не определен умышленно. Это сделано для того, чтобы побу­дить респондентов добавить в ответы их собственные чувства и действия» [222, р. 151].

Гипотеза о целесообразности замены открытых вопросов закрытыми базирова­лась, по-видимому, на обнаружении существенных различий в реакциях респондентов на две разные формы вопроса. Однако специальные методические эксперименты 1970-80-х годов, выполненные Г. Шуманом и С. Прессером [189; 357], О.М. Масловой [106], В.Б. Мойным [ПО] и др., убедительно показали, что наблюдаемые расхождения связаны не с разными уровнями искренности ответов, а с факторами совершенно иного порядка (методологическими, гносеологическими, метрологическими и пр.).

«Рутинизация», т.е. подчеркивание «нормальности» и «естественности» социально неодобряемых или стигматизированных форм поведения («сегодня многие употреб­ляют наркотики, в демократическом обществе каждый имеет право делать все, что хочет...») также не снимает остроты деликатных вопросов и не стимулирует большей искренности со стороны респондентов. В случае с «сенситивными» вопросами испы­туемые легко разгадывают замысел исследователей и не рискуют делиться своими тай­нами с интервьюерами. Исследование Г. Хаймана, проведенное еще в начале 1940-х го­дов, показало, что вопросы с «успокаивающей» преамбулой (типа «Многие люди... А Вы...?») не элиминизируют неискренность: 17 % респондентов все равно дали со­циально желательные ответы [297, р. 557]. Аналогичные результаты позднее были по­лучены и в работах других авторов [294; 316, р. 170].

В 1975 г. американский социолог М. Сиркен предложил еще один метод, призван­ный способствовать повышению качества опросных данных и предполагавший поста­новку вопроса о «трех близких друзьях» респондентов. Он предназначался для получе­ния более достоверных сведений о масштабах социально неодобряемого и/или нравст­венно несанкционированного поведения. Испытуемых просили ответить на вопрос: «Припомните трех своих самых близких друзей не называя их фамилий. О скольких из них Вам известно, что они когда-либо употребляли марихуану?».

Предположение о большей эффективности данного метода базировалось на двух априорных допущениях. Во-первых, автор полагал, что респонденты будут отвечать на этот вопрос с предельной откровенностью, не опасаясь навредить своим друзьям, в силу абсолютной анонимности фигурирующих в беседе людей и полной невозможности их идентификации. Это обстоятельство должно способствовать максимальному снижению числа «недосообщений» и получению истинных оценок масштабов сенситивного пове­дения. Во-вторых, считалось, что опрашиваемые вполне в состоянии быть «достовер­ными информантами», поскольку им многое доподлинно известно об образе жизни и привычках своих друзей.

Между тем экспериментальные испытания новой вопросной техники, предприня­тые первоначально самим автором, а затем и другими исследователями, продемонстри­ровали сомнительный характер этих предположений. Специальные исследования не да­ли убедительных доказательств, которые бы безоговорочно свидетельствовали о более высоком уровне эффективности данного подхода по сравнению с традиционными лич­ными вопросами. Сопоставление ответов испытуемых на два различающихся по форме, но одинаковых по содержанию вопроса (о себе и о друзьях) не выявило явных пре­имуществ тестированного приема и заметного приращения сенситивной информации. В своих самоотчетах респонденты иногда даже чаще, чем в сообщениях о поведении друзей, давали утвердительные ответы об употреблении марихуаны. В тех же случаях, когда обнаруженные различия свидетельствовали в пользу нового метода, они были крайне незначительными и не превышали 4 % (см.: [222, р. 149]).