Geum.ru

Market Research Russia презентация доклад

Вид материалаДоклад
Подобный материал:
Расшифрованная запись выступлений участников круглого стола


Марина Власова, директор исследовательских проектов консалтинговой Группы "Русинфомар"

Дорогие друзья! Рады Вас видеть на второй встрече маркетологов. Сегодня тема нашего "круглого стола" - Выборка в маркетинговых исследованиях. Мы решили немного изменить формат мероприятия в соответствии с Вашими пожеланиями, высказанными в анкетах. Поэтому сегодняшняя встреча будет больше похожа на семинар. Мы подготовили три выступления - доклада.

Практические аспекты применения выборочного метода в маркетинговых исследованиях (на примере реальных исследований GFK)

Асхат Кутлалиев, руководитель отдела обработки данных (GFK Market Research Russia)

Некоторые вопросы теории и практики построения выборки в маркетинговых исследованиях

Екатерина Козеренко, руководитель группы проектирования выборок (ВЦИОМ)

Экспериментальная оценка различных выборочных методов: репрезентативность и доверительный интервал

Александр Крыштановский - декан факультета социологии Государственного Университета - Высшая школа экономики, заведующий кафедрой методов сбора и анализа социологической информации


Быть может, сегодняшний формат мероприятия Вам покажется слишком учебным. Но мы пока ищем оптимальную форму нашего взаимодействия. Передаю слово первому докладчику - А.Кутлалиеву.

Асхат Кутлалиев, руководитель отдела обработки данных (GFK Market Research Russia)

Презентация доклада см.отдельно.

Крыштановский Александр (ГУ-ВШЭ)

Уважаемые коллеги! Асхат сделал нам доклад и, я думаю, что здесь не подразумевается дискуссия. Скорее, это материал учебный и, в нашей встрече, он показалось мне не лишним, Наше общение с представителями заказчиков и работниками маркетинговых исследовательских компаний доказывает, что многие представляют себе какие-то сюжеты, но очень приблизительно.

Вообще говоря, цель доклада была систематизировать и разложить по полочкам основы выборочного метода. И, это принципиально важно. Асхат мало останавливался на практическом опыте ГФК, но я думаю, в ходе нашей встречи, найдется место для этих сюжетов, особенно когда будут задаваться конкретные вопросы. Тем более, Екатерина в своем выступлении, сделает больший упор из практике работы ВЦИОМ.

Козеренко Екатерина (ВЦИОМ)

Во-первых, на протяжении всего доклада доминировало такое понятие как генеральная совокупность. Это подразумевает, что при исследованиях хорошо понимается, что такое генеральная совокупность. Хотя, на самом деле, не всегда и, не совсем это так. Когда опрашивается население, допустим в России, уже есть какое-то корпоративное согласие о том, что есть население, за исключением категорий, которые не доступны - в больницах, на выезде, в армии, в тюрьме. Когда же идет речь о потребителях какого-либо товара, а маркетинг обычно имеет дело с ними, то здесь задача нетривиальная. - они не всегда опускаются…...В результате возникают ошибки, которые приводят потом к дискредитации тестирования целиком. Я уже не говорю о том, что когда определяется генеральная совокупность, в первую очередь, надо определить аудиторию. Если Вы спрашиваете про шоколадки, то - это дети, а если Вы спрашиваете про сигареты, то - это взрослая аудитория. И, всякий раз, это надо продумать и, для себя понять, кого Вы хотите опросить - что есть Ваша генеральная совокупность.

Кроме этого, довольно часто, когда выделяется категория потребителей товара, то путаются такие понятия как потребитель товара и потенциальный потребитель. Что я имею в виду? Если Вы помните, в середине 80-х годов проводилось исследование пассажирских потоков в Московском метро. Что было сделано? На каждой станции метро стояли женщины-студентки, которые выдавали карточку на той станции, на которой Вы сели а, когда Вы выходили из метро, Вы эту карточку сдавали. Таким образом, определялись пассажирские потоки в метро.

На базе этого обследования, предполагалось планировать дальнейшее развитие метрополитена. Казалось бы все честно. Однако, было упущено из виду то, что кроме метро, есть еще и наземный транспорт. И, что люди от радиуса до радиуса через центр не ездят. И, то, что между радиусами, оно было опущено, не говорит еще о том, что люди выбирая, место работы учитывают, как они будут добираться в метро. Если у меня есть под боком замечательное место, то я бы стала работать, если бы у меня была прямая ветка от работы до дома. Тем самым, генеральная совокупность была искусственно сужена и, результат был, не настолько ценным, каким он мог бы быть.

Еще один пример. Пару лет назад руководство Ленинской библиотеки решило выяснить загружены ли работники библиотеки. Они опросили посетителей библиотеки. Однако, ясно, что большая часть тех, кому не нравится Ленинская библиотека, те и не посещают ее.

Почему я привела эти примеры, хотя им по 20 лет? Какое нам дело до того, что было 20 лет назад? Я хотела обратить Ваше внимание на то, что годы идут, а мы ничему не учимся. А учиться надо и всякий раз думать о том, кого Вы хотите опросить и насколько то, кого вы будете опрашивать, адекватно тем задачам, которые перед вами стоят.

Дальше возникает проблема с маркетинговой совокупностью. Если вы хотите ее обследовать, то на практике ее очень много. Это огромная часть маркетинговой совокупности, о чем я говорила - больница, воинская часть и так далее. Может быть и так, о чем напоминал и Асхат, что, при обследовании населения России эти категории, по экономическим соображениям, не доступные - крайний Север, Камчатка, Сахалин. Чечня не доступна уже не по экономическим соображениям, а по другим. Да, в каждом городе существуют криминальные районы, куда интервьюера ни за какие деньги отправить нельзя - он просто туда не пойдет. Поэтому, на уровне проектирования выборки, нам приходится из выборки исключать, по возможности заранее, Чечню и Сахалин, те категории населения, которые вы знаете. Например, совсем богатые в средней Азии и, так далее. И еще, если какие-то категории Вы можете оценить, кроме населения Чечни, исключив заранее, то какие-то нет и, какую долю они составляют Вы сказать не можете. Но, те группы, которые Вы можете оценить, Вы должны исключить заранее. И потом, когда Вы будете распространять свои результаты на всю генеральную совокупность Вы должны помнить то, какие именно, категории Вы исключили и, уже распространять на ту часть, которая Вам, хотя бы теоретически, доступна, а не распространять на то, что вам недоступно.

Теперь что касается выборочного метода. Как уже говорилось, выборочный метод делится на случайный вероятностный и невероятностный. Выборка, которая довольно часто используется - это так называемый "снежный ком".

Что это такое? "Снежный ком" это такая выборка, когда Вы произвольным, доступным для вас способом, определяете первоначальный элемент, а все остальные опрашиваются по рекомендации предыдущего. Например, не так давно мы опрашивали пользователей электрической бритвы "Филипс". Их осталось настолько мало, что кроме как "снежным комом" их найти было невозможно. То есть, от одного опрашиваемого получали телефон и так далее - "намотали ком". То есть, кроме как "снежный ком" при этом исследовании, никакой метод не подходил. Несколько лет назад проводился опрос семей евреев. И, тоже задавали вопрос: а знаете ли вы кого-нибудь? И так далее. Бывают случаи, когда ничего другого не придумаешь.

Чем этот способ чреват. Вроде все понятно, один элемент знает другого. Но, у нас получается, что в одном городе все респонденты оказались с высоким доходом, а в другом - с очень низким. Все зависит от первоначальной точки, от чего "начинали мотать "снежный ком". То есть, "снежный ком" он очень неконтролируемых факторов.

Квотная выборка проще. Те параметры, которые Вы изучаете, зависят от тех параметров, которые Вы знаете. Например, пол, возраст, образование и так далее. Этих параметров, по которым можно задать выборку, не так уж много. То есть, пол, возраст, семейное положение нам известны. А, если изучается что-то другое и, если начать смотреть корреляцию, то лучше на нее не смотреть - ничего хорошего.

По тем признакам, по которым обычно квотируют, легко добиться формальной репрезентативности почти для любой генеральной совокупности. Я могу даже здесь, в аудитории собрать любую квотную выборку, репрезентативную по полу, возрасту, образованию и семейному положению и для Казахстана, и для Узбекистана. По этим параметрам - легко.

Почему случайную выборку так не любят? Потому, что случайную выборку, именно ту, которая действительно случайная, ее реализовать мучительно трудно и дорого. А как ведет себя заказчик? Он первым делом смотрит эти (социально-демографические) характеристики. Почему? Потому, что это единственное, что он может проконтролировать. Поэтому, когда мы хотим сэкономить деньги, мы случайный отбор подменяем квотной выборкой, чтобы заказчик не придирался, не задавал глупых вопросов и не мучился, а спал спокойно. И заказчик смотрит и не понимает, что если у него совпадают распределения по полу, возрасту с генеральной совокупностью, то это вовсе не значит, что выборка репрезентативна по тем параметрам, которые он собственно его интересуют.

Квотная выборка очень модна и ее много лет пытаются облагородить, подравнять и притянуть к случайной, а случайную выборку подтянуть к квотной, по этой теме пишут научные работы диссертации и, этим живут. И не один человек, а много. На самом деле, точность результатов по квотной выборке определить нельзя. Можно ее взять и сравнить со случайной выборкой, но тогда зачем нужна квотная выборка? Есть такой придуманный паллиатив. Американцы выборку называют не квотной, а конформированной. Это, когда дается квотное задание интервьюеру и он идет по маршруту. Первую часть домохозяйства он отбирает случайно а, в конце говорит, что он какую-то квоту набрал, а какую-то не набрал. Они говорят, что: "вот у меня не получается" и понятно, почему не получается.

Теперь, что касается вероятностной выборки. Почему ее любят математики и почему не любят аналитики? Потому, что она дает математический аппарат, позволяющий оценить точность. Это на сегодня, к сожалению, единственный способ получить данные с известной точностью, с точностью, которую можно посчитать, с которой Вы, как-то можете работать и, которую вы можете проектировать. Вы можете рассчитать, какой нужен объем выборке, чтобы была точность, которая Вам необходима на выходе. Поэтому, те, кто занимается выборкой, они предпочитают все-таки вероятностную выборку.

Теперь о случайном отборе, о котором здесь упоминалось. Когда бы ни заходила речь о вероятностном отборе, то он всегда начинается с картины случайного отбора. Почему? Ведь на практике он применяется не так часто? Случайный отбор, в чистом виде, встречается редко. Случайный отбор всегда возникает в телефонных опросах, поскольку это метод типичный, из которого все другие методы отбора, так или иначе, складываются. Это, как элементарные частицы точечных методов. Это с одной стороны. С другой стороны, все прочие вероятностные методы, для оценки их качества, не всегда сравнимы с простым случайным отбором. Оценивая, насколько метод хорош, а насколько плох, судят по тому, насколько он лучше или хуже случайного отбора. Поэтому, чтобы понимать выборку и, как все это устроено, нужно сначала понять процесс случайного отбора. Процесс случайного отбора используется тогда, когда есть список. Это может быть список предприятий, это может быть список магазинов, но этот список должен быть. То есть, список всех элементов генеральной совокупности. Когда исследуют большую совокупность людей, таких списков, как правило, не бывает. Даже, если они и бывают, то они такого качества, что считай, что их нет.

Когда-то, когда мы начинали свою деятельность, тогда еще были центральные адресные бюро и мы эти адреса с телефонами и фамилиями покупали. Но, когда эти списки не стали соответствовать действительности, мы от них отказались. И потом, они стали очень дорогими. Когда используют большие группы людей, то применяют многоступенчатый отбор. Многоступенчатый отбор это такой отбор, когда сначала генеральная совокупность вынесена на первичный метод отбора. Например, когда берется не вся страна, а определенный населенный пункт. Далее, населенные пункты можно разделить на единицу отбора второй ступени, например, на участки, затем у избирательных участков отобрать домохозяйство - это будет третья ступень, далее домохозяйство разделить и, это будет единица отбора - четвертая ступень.

Чем больше ступеней в многоступенчатом отборе, тем больше ошибка выборки. В любом случае, при многоступенчатом отборе ошибка всегда больше, чем при простом случайном. И еще, нужно отметить, что на каждой ступени все равно применяется случайный отбор. То есть, всякий раз важно, каким способом отбираются нужные единицы на всех ступенях выборки.

Еще я хочу порассуждать о том, что такое конечная совокупность и, что такое бесконечная совокупность. Докладчик, когда рассказывал о случайном отборе, давал формулу ошибки выборки для бесконечной совокупности. Один раз в примере мелькнул какой-то коэффициент, который был уже в примере и, мелькнули слова "поправка на конечность совокупности" - я это заметила и, может быть, кто-то в аудитории заметил. Дело в том, что мэтры математической статистики выборочные методы разрабатывали для бесконечной совокупности, а мы с вами грешники, мы имеем дело, в основном, с конечной совокупностью, в строгом смысле этого слова. И, если кто-то еще помнит, что такое конечная и бесконечная совокупности, то понимают, что мы имеем дело с конечными совокупностями, а формула у нас - для бесконечных совокупностей.

Когда совокупность, говорит нам докладчик, достаточно большая, то мы ее относим к бесконечной для того, чтобы можно было считать формулу для ошибки. Я бы стала называть совокупность бесконечной, когда совокупность насчитывает более 1000 элементов. Если совокупность насчитывает менее 200 элементов, я бы вообще выборочные методы не применяла, а применяла сплошные опросы. Мое высказывание основывается на этих формулах. Если вы можете позволить себе опросить каждого десятого, то это, чаще всего, конечная совокупность, а если реже, чем каждого десятого, то это бесконечная совокупность. Поэтому наши коллеги выбирают населенные пункты в качестве первичной ступени. Потому, что населенных пунктов по России несколько тысяч и, тогда уже первая ступень, когда мы проектируем, становится бесконечной. Поэтому выбираются округа, при проектировании общероссийской выборки. Ведь субъектов в РФ очень мало.

Чем чревата работа с конечной или совсем маленькой совокупностью? Мы проводили опрос крупного города по поводу работы органов управления. Было несколько кандидатов. Надо было выбрать - кто выиграет, а кто проиграет. В этом районе было 27 избирательных участков. Мы, из этих 27 участков, гордые и счастливые, выбрали 24. При этом, те 3 участка, которые нам случайно не попали, оказались под ведением какого-то завода, где директор сказал, что, если рабочие проголосуют как положено, то они получат зарплату 5-го числа, а если они не проголосуют как положено, то не получат зарплату 5-го числа. То есть, эти 3 участка мы, на фоне всего города, не заметили. У них вес был маленький они, вроде бы, не оказали влияние на результат в целом. А, поскольку всего элементов было 27 и, как бы 3 участка это незначительно, но ведь мы их пропустили, то и не смогли угадать результаты выборов. То есть, если вы проектируете какой-то регион, то там нельзя брать населенные пункты, потому, что в регионе нет большого количества населенных пунктов и там надо сразу начинать с избирательного участка. Поэтому, когда вы берете выборку по Москве, то нельзя отбирать районы. В нашем понимании, районы - это конечная совокупность, а избирательные участки - это бесконечная совокупность.

Крыштановский Александр

Мое выступление будет посвящено сопоставлению случайной выборки с неслучайными выборками. Говорить о том, случайная или не случайная та или иная конкретная выборка - это отвратительное дело. На самом деле ясно, что в каждой выборке есть элементы не случайности, но мы не знаем точно, насколько эти элементы велики, и как это сказывается на результатах исследования. Существует много различных учебников, в которых описываются идеализированные схемы выборки, и есть реальная жизнь, в которой эти схемы всегда нарушаются.

Реальность состоит в том, что случайную выборку на практике мы почти никогда не применяем. Почему? Прежде всего, из-за ограничений в бюджетах исследований. Когда мы приходим к заказчику и он говорит: " у меня есть 1000 долларов и на них проводите исследование, а если не за 1000 долларов, то не за сколько не проводите". И это типичный случай.

На самом деле, случайная выборка требует больших денег. Если вы, допустим, изучаете покупателей Кадиллаков и, при этом берете случайную выборку то понятно, что это слишком дорого и мало что даст. Вас просто не допустят в квартиры те люди, которые собираются покупать Кадиллак. Вроде бы очевидно, что в данном случае надо использовать "снежный ком", либо квотную выборку. И проще и дешевле. Проблема лишь в том, что эти выборки часто нас обманывают, и, что крайне неприятно, для них нельзя посчитать ошибки выборки.

Еще одна реальная проблема квотных выборок возникает при наличии в квотах труднодоступных групп. Например, мне интервьюер должен опросить 30 человек по квотам. Он возвращается и говорит, что опросил 29 человек, а одного человека не опросил. Поскольку оплата труда и интервьюеров сдельная, то интервьюер получает деньги за 29 человек. Другое дело, что "стоят" респонденты не одинаково - вот этот последний, 30-ый стоит столько же, как все остальные 29, поскольку он из трудной квоты. В результате вы остаетесь с не опрошенными "чукчами с двумя высшими образованиями". При этом проблема "недобора" квот возникает в конце полевого этапа, когда уже нет времени и надо сдавать результаты заказчику.

Однако, это проблема планирования и организации полевого этапа. На самом деле, более важной проблемой, на мой взгляд, является то, что ошибка квотной выборки не может быть вычислена по каким-то формулам.

В чем суть моего выступления? Я попытался решить некую задачу, на которую в учебниках, к сожалению, ответа нет. Как считать квотную выборку? Ведь мы ее делаем, а считать не можем. Получается некий тупик. Схожая ситуация и с систематической выборкой. Когда мы берем список и, с каким-то шагом, отбираем и опрашиваем, то, вообще говоря, это не случайная выборка. Здравый смысл подсказывает, что, систематическая выборка со случайной начальной точкой - это то же самое, что и простая случайная выборка. Однако мы прекрасно знаем, что для вероятностных сюжетов здравый смысл - плохой подсказчик.

Для оценки ошибки различных видов неслучайных и "квази-случайных" выборок я провел следующий эксперимент. Я соединил данные нескольких ВЦИОМовских исследований и получил генеральную совокупность. Из этой генеральной совокупности на компьютере я стал делать выборки по различным схемам и сопоставлять получаемые результаты с данными о "генеральной совокупности". То есть, я пытался имитировать ситуации различных выборочных стратегий.

Почему я это сделал? Потому, что для того, чтобы проверить на практике величину ошибок неслучайных выборок, возможностей нет. Ведь в чем состоит проверка на практике? Я должен сделать сто разных квотных выборок, причем по одной генеральной совокупности. Это не реально. И потом, как это сделать физически? Так вот, что получилось в результате.

Начал я с простого. На генеральной совокупности, в 40 тысяч человек было сделано 100 простых случайных выборок объемом по 500 респондентов. Оценки распределения ответов на 5 вопросов анкеты должны лежать при этом в рамках доверительных интервалов, определяемых статистической теорией. Например, я взял вопрос "Что бы Вы могли сказать о своем настроении в последние дни?" с пятью вариантами ответа.

В генеральной совокупности вариант ответа "Нормальное, ровное состояние" выбрало 41,3% респондентов. Из 100 случайных выборок из генеральной совокупности объемом 500 респондентов каждая, в 5-ти выборках процент выбравших эту градацию вышел за границы 95% доверительного интервала, то есть статистическая теория полностью подтвердилась.

Неприятность, однако, состоит в том, что в исследовании мы оцениваем не одну градацию, а все. Выход же за границы доверительного интервала хотя бы одной градации фактически означает ошибку в оценке вопроса в целом. В рамках проведенного эксперимента из 100 случайных выборок в 26-ти был зафиксирован выход за границы доверительных интервалов значений хотя бы одной из 5-ти градаций. Таким образом, следует отдавать себе отчет, что 95% доверительный интервал вовсе не гарантирует, что только в 5% случаев результаты исследования по какому-то вопросу могут быть ошибочными. В ходе эксперимента ошибки в вопросе были зафиксированы в 26% случаев.

Если продолжить эту логику рассуждений и вспомнить, что рассматриваем мы не один вопрос анкеты, то станет ясно, что ошибки в данных исследований встречаются гораздо чаще, чем в обычно подразумеваемых 5% случаев. Так, в ходе эксперимента с пятью вопросами лишь в 42-х выборках из 100 ответы на все 5 вопросов лежали в границах доверительных интервалов.

Но, это, скажем так, результат ожидаемый, хотя о нем обычно не задумываются. Второй результат связан с моделированием различных неслучайных выборок. Как ведут себя ошибки в неслучайных выборках? Насколько применимы к неслучайным выборкам формулы определения ошибок, используемые для простых случайных выборок?

Начнем с систематической выборки. В чем может проявиться некорректность выборочного метода для неслучайных выборок? Прежде всего в том, что распределение выборочных характеристик может отклоняться от нормального. Во-вторых, если распределение и не отклоняется от нормального, параметры этого распределения могут отличаться от истинных. Численный эксперимент на 100 систематических выборках объемом 500 респондентов со случайной начальной точкой показал, что распределение выборочных характеристик является нормальным и среднее арифметическое не смещено относительно истинного значения. Таким образом мы можем утверждать, что систематическая выборка "работает" так же, как и простая случайная и к этой выборке применимы формулы ошибки простой случайной выборки.

Следующая выборка, которая крайне распространена на практике и которую используют практически все, вообще-то говоря, теоретически мало обоснована - это маршрутная выборка. Маршрутная выборка обоснована на здравом смысле. Формируется случайный маршрут, двигаясь по которому по некоторой схеме меняются направление движения, подъезды, этажи и так далее. Такого рода изменения служат для того, что бы на уровне здравого смысла складывалось впечатление случайной выборки. Для проверки поведения выборочных характеристик при таком отборе я построил компьютерную модель маршрутной выборки.

Выборки делались по 500 респондентов. В модели вся генеральная совокупность была разбита на 20 участков "районов города". Далее, в каждом из участков случайным образом выбиралась начальная точка маршрута. После этого, с большим случайным шагом выбирается "первый дом". Внутри "дома" с маленьким случайным отбираются респонденты, но не более 5 человек в "доме". Далее снова ищется "дом" и т.д. Всего в рамках одного маршрута опрашивается 25 человек.

Ясно, что такая модель - это довольно грубая имитация реальных маршрутных выборок, тем более, что сами маршрутных схемы существенно зависят от характера застройки населенного пункта. Что показал эксперимент со 100 случайными выборками, построенными по описанной схеме? Оказалось, что выборочные характеристики имеют нормальное распределение, выборочные значения параметров которого не отличаются от истинных. Следовательно, и для выборок построенных по этой схеме применимы формулы вычисления ошибок, разработанные для простой случайной выборки.

В докладе Екатерины Козеренко уже говорилось о сомнительности квотных выборок. Из всех ранее проанализированных неслучайных выборок квотная схема кажется наименее очевидной, даже на уровне здравого смысла. Здесь, я тоже сымитировал - 20 интервьюеров и, каждый интервьюер получил квоту - по полу и возрасту, как обычно получают интервьюеры. Поскольку у меня есть генеральная совокупность и, я точно знаю пропорции, то у меня все хорошо. Что делает интервьюер - он идет по своей квоте. Попался ему респондент, попадающий в квоту, он его опрашивает и, этот человек, из квоты, вычеркивается и так далее. Надо сказать, что при такой схеме оказалось, что распределение выборочных характеристик на 100 выборках по 500 респондентов нормальное. Формулы ошибки простой случайной выборки хорошо работает.

Однако, в чем лукавство квотных выборок? В том, что квоту мы задаем по одним параметрам, а изучаем другие. Более того, мы точно знаем, что есть характеристики, которые существенно влияют на изучаемые характеристики, и которые, по логике вещей, нам следовало бы квотировать. Но квотировать мы их не можем, поскольку для задания квот необходимо знать распределение интересующих показателей в генеральной совокупности, а это возможно лишь отношении лишь достаточно узкого круга социально-демографических характеристик.

Далее, поскольку интервьюер при выборе респондентов ограничен только условиями квот, то в рамках этих ограничений он выбирает симпатичных девушек и не выбирает не симпатичных. Тем не мене оказывается, что симпатичные и несимпатичные это разное. То есть, не надо опрашивать только симпатичных потому, что начинается смещение по выборке. Практически опрос находится в руках интервьюера, с минимальным количеством квотируемых параметров. Количество фактов, которые влияют на этот вопрос, оно гораздо больше. Мы даем интервьюеру квоту и, дальше мы ему ничего не говорим, что создает серьезную опасность перекосов в выборке, и, что самое неприятное - совершенно не понятен характер и масштаб этих перекосов, а следовательно - и их последствия.

Я попытался смоделировать квотную выборку при квотировании по полу и возрасту при наличии неконтролируемого фактора - перекоса по образованию. Такого рода перекосы действительно возникают на практике - интервьюеры с гораздо большим энтузиазмом опрашивают более образованных респондентов. Модель состояла в том, что если при условии соблюдения квот интервьюеру попадается респондент с низким уровнем образования, то он опрашивается с небольшой вероятностью. Чем выше образование - тем больше вероятность, что респондент будет опрошен.

Что показал численный эксперимент на 100 выборках, построенных по описанной выше схеме? Оказалось, что распределение выборочных характеристик нормально, что само по себе хорошо. Параметры же этого нормального распределения ведут себя по разному для разных вопросов анкеты. Так, при оценке ответов на вопрос о настроении среднее выборочных средних соответствует истинным значениям. При анализе вопроса "Как Вы считаете, рыночные реформы сейчас нужно продолжать, или их следует прекратить?" среднее выборочных средних дало существенное смещение по сравнению с истинными значениями.

Смысл этого результата достаточно очевиден, и даже тривиален. Если неконтролируемый квотой параметр связан с изучаемой характеристикой и по этому параметру происходит смещение, то неизбежным следствием будет смещение выборочных значений изучаемых характеристик по сравнению с истинными. Неприятность, конечно, в том, что на практике, в реальной жизни мы не можем контролировать важные для исследования параметры, тем более, что таких параметров может быть достаточно много. На компьютере это легко и красиво, а на практике проконтролировать параметры невозможно и, следовательно, репрезентативность квотной выборки нет возможности проконтролировать.

Очевидно, что одним из ведущих неконтролируемых факторов, особенно в маркетинговых исследованиях, является доход. Он влияет на массу изучаемых вопросов, и его заказчик всегда хочет квотировать, а возможности такой у нас нет, поскольку данные о доходах, представляемые органами статистики есть только очень обобщенные, да и те недостоверны.

В заключении хочу сказать, что, те идеи, а скорее - тезисы, которые я здесь изложил, требуют изложения на бумаге. Надеюсь, что в ближайшее время, в мае-июне я это опубликую.

Вопрос из зала

У меня практический вопрос. В России сейчас очень популярен вопрос об определении перспектив развития авиаперевозок. Но для этого надо знать сегодняшнее состояние с авиаперевозками, а многие авиакомпании авиаотряда не учитывают тех работ, которые они делают помимо государственных заказов. И я хочу задать вопрос уважаемым докладчикам, какими способами Вы бы это сделали. Авиакомпании не дают такой информации, по объему перевозок.

Кутлалиев Асхат

Думаю, что можно взять расход горючего авиаотрядом и поделить на средний расход топлива. В результате должен получиться примерный объем перевозок.

Крыштановский Александр

Меня радует, что в последнее время выборочные исследования все больше входят в практику работы Госкомстата. Есть большой объем информации, абсолютно необходимый для маркетинговых исследований и который невозможно получить иначе, как через выборочные исследования. К примеру, оценивая долю импортных товаров на многих товарных рынках, практически не учитывается "челночный" импорт, который подчас дает весьма серьезную долю рынка. Ясно, что эти данные нужны (и не только для маркетинговых исследований) и реально получить их можно, наверное, только через выборочные исследования.

Выступление из зала

Такое впечатление, что вы плохо знаете информационные источники, которые сегодня существуют. Сейчас существует очень много платных баз данных. Там очень много информации по перевозкам, по количеству горючего, там есть статистика таможенных служб. Вы поймите, я, например, человек - заказчик. У меня есть одна реплика по поводу информации: есть базы данных по самым разным вопросам. Есть, например хорошая информационная компания "название фирмы не приводится, как рекламная информация". В Госкомстате наверняка есть базы.

Крыштановский Александр

Госкомстат - плохой аргумент. К сожалению, многие данные Госкомстата недостоверны. Что же касается других информационных баз, в том числе основывающихся данных выборочных исследований, то надежность их информации не то, чтобы низкая - как правило нет информации, позволяющей эту достоверность оценить. Мне кажется, что наша сегодняшняя встреча в значительной степени как раз об этом - о достоверности данных, с которыми мы работаем, которые получаем в виде информационных баз.

Подчас данные из разных источников расходятся в десятки раз. Наверное, каждый, кто всерьез собирал информацию, с этим сталкивался. И кому верить, если информация о методах получения данных, об их достоверности либо крайне недостаточная, либо просто отсутствует.

Теперь, давайте вернемся к тематике нашего Круглого стола.

Выступление из зала

У меня есть такое предложение. Может быть, несколько систематизировать подход к информационным технологиям. Почему? Потому, что, например, для меня важна цель. Конечная цель всех маркетинговых исследований является стоимость моего бизнеса. Соответственно есть какой-то порядок операций, который я произвожу с этими маркетинговыми данными.

Вопрос из зала

Где можно получить материалы первого "круглого стола"?

Крыштановский Александр

Материалы первого круглого стола "висят" в интернете на сайте "RUSINFOMAR.RU", на сайте ГФК, на сайте "MARKETING.SPB.RU".

Выступление из зала

У меня вопрос. Для страхового бизнеса важны люди с доходом более 500 долларов. Скажем так: средний класс. В чем вопрос: как сделать выборку из генеральной совокупности? И мне, например, хочется узнать отношение потенциального потребителя, отношение целевой группы к страхованию. Это один вопрос. И второй вопрос. Есть ли смысл заказывать в вашем агентстве исследования и, насколько они будут точны?

Кутлалием Асхат

Понимаете, тут какое дело…. Вас интересует, какой процент будет покупать ваши услуги…Мы задали условие, что нам надо точно знать, сколько мужчин и сколько женщин будут покупать эту услугу. У вас же работают страховые агенты, вы же не в магазине торгуете вашими услугами. Здесь играет роль совершенно другие параметры - доверие, его образованность. Здесь уже вопрос личностного плана. Если мы проведем анализ причинно-следственной связи: что может побудить человека купить страховой полис, а что может его оттолкнуть? Вот Вы говорите, что у Вас есть инстинктивное предположение, что люди с доходом свыше 500 долларов. А почему вы так решили?

Выступление из зала

Не кажется ли Вам, что представление о среднем классе заодно еще увязывается, первое, с проживанием и, второе, соответственно, с расходами человека. Те же самые 500 долларов по Москве при наших ценах, и в провинции - это разные 500 долларов. Опять же, здесь неоднократно упоминалось, что померить доходы точно невозможно. Я могу ошибаться в процентах, но, по-моему, в Англии только 51 процент соглашаются ответить о своих доходах. Надо подумать, от чего еще зависит наше состояние, наш уровень жизни.

Восемь недель назад в Москве проводился семинар по исследованиям среднего класса. И им надо было как-то упорядочить представление о среднем классе, об уровне доходов. Это зависит от национального, религиозного или еще какого-то направления или опыта - чего угодно.

Они придумали очень интересно - мерить, тот же самый доход, по количеству работающих лампочек в доме. Существуют и такие методы. Существуют привязка еще к каким-то другим не к денежным характеристикам, но к таким, которые не менее четко, а как правило - с гораздо более с высоким показателем корреляции, показывают нам уровень доходов.

Крыштановский Александр

На самом деле, это серьезная проблема. Заказчик приходит и говорит: "У меня есть мнение, что мои покупатели - это группа $500+". То есть, продавцов интересует те люди, которые способны достаточно много платить. Надо отдавать себе отчет, уважаемый заказчик, что, изучение таких групп это стоит гораздо дороже, чем просто провести опрос населения. Это дорого, и дорого не только в силу высокой цены опроса отдельного респондента, но и в силу сложности организации выборки исследования.

При этом есть и группы $5000+, которые не изучаются случайным образом. Есть, скажем, заказчик, который собирается строить дома, квартиры в котором стоят от 3000 за квадратный метр. Ему страшно интересен его потенциальный покупатель и интересно насколько будут эти квартиры покупать. Понятно, что ему это страшно нужно. Он говорит: "Проведите опрос". Едва ли метод случайной выборки в этом случае адекватен. Впрочем, об этом сегодня уже говорилось.

Вопрос из зала

Но многие заказчики понимают, что это дорого. Вопрос не в том, что дорого. Вопрос в том, что вы говорили в теории, и, я делаю вывод, что выборка случайных респондентов возможна. Но мне важно понимать - пусть за 10 тысяч долларов, но насколько верны получаемые результаты?

Крыштановский Александр

Всегда можно ошибиться. Вы хотите узнать о целом, а спрашиваете ничтожно маленькую часть целого. Естественно, мы можем и ошибиться. Вероятность ошибки всегда присутствует. И, сколько бы вы не заплатили, ошибка все равно возможна. Но, грубо говоря, чем больше вы заплатите, тем меньше будет вероятность ошибки.

Козеренко Екатерина

Здесь прозвучал вопрос: зачем мы здесь собрались? Отчасти для того, чтобы понимать. Когда вы заказываете исследование, то Вы будете понимать, какие вопросы задавать Вашему исполнителю и будете понимать свои проблемы, будете понимать, морочат ли Вам голову или не морочат. И с данными, которые вы получите, вы сможете работать с тем уровнем точности, который вы задали. То есть, вы поймете качественные вещи, вы поймете ограничения, которые есть в данных. Данные вы все равно получите, но вы будете знать, что именно вы получили.

Вопрос из зала

У меня такое впечатление, что тема круглого стола слабо связана с реальными проблемами, которые возникают в деятельности маркетинговых служб.

Крыштановский Александр

Хочу подчеркнуть, что тема выборки родилась из тех дискуссий, которые возникали на прошлой встрече. Тема выборки звучала в разных выступлениях, с разных точек зрения. Мы анализируем результаты встреч и стараемся выбирать те темы, которые затрагивают многих, которые многим интересны.

Вопрос из зала

Мне кажется, что полезно было бы поговорить о соотношении интересов заказчиков и исполнителей, об организации работы маркетинга в фирме.

Крыштановский Александр

Об этом мы говорили на прошлой встрече. Этот сюжет был. О соотношении маркетинговых исследований и реальной ситуации в компаниях, о месте маркетинга на предприятии, в фирме. При этом, конечно, все мы понимаем, что есть реальные люди, стили управления компаниями. И если директор сказал: вот будете делать это, не смотря на любые данные маркетинговых исследований, то все дружно это делают.

Нам надо уже завершать. У нас есть 5-7 минут и, если у кого-то есть важные мысли, то поделитесь ими с нами.

Выступление из зала

До моей компании я работала в исследовательской компании, именно страховой компании. Я хочу ответить на вопрос. Возможно, что, если Вы правильно сформулируете свои вопросы, то исследовательская компания что-то посоветует. Может быть, Вам нужно глубинное исследование, возможно вам надо выяснить некие глубинные моменты, которые убеждают человека страховаться, именно психологические моменты. Насколько человек, свои собственные деньги, сам готов заплатить за страховку. Поэтому исследовательская компания Вам посоветует, какой метод Вам применять.

Выступление из зала

Очень часто необходимость в данных завязана на планировании. Не всегда достаточно знать факторы, определяющие поведение потребителей. Анализируя количественные данные вы должны понимать, что вы по любому получаете вероятность и, необязательно ее получать с очень высокой степенью.

Выступление из зала

Я полагаю, что об этом могут сказать сами сотрудники компаний по маркетинговым исследованиям. И сказать, что ему нужно оценить абсолютно не то, что он просил вначале, а совсем другое. То есть провести такое исследование - желание заказчика и сказать, что Вам это исследуют в такой-то момент и в такой-то срок.

Выступление из зала

Если мы говорим о количественном методе, то нужно сказать какая достоверность и какая степень точности была бы достаточна. Вполне вероятно что в большинстве случаев высокая точность и не нужна.

Выступление из зала

Я не понимаю, почему здесь звучат такие слова в адрес заказчиков. Давайте мы все-таки скажем, что заказчик, наверное, лучше знает свой рынок, чем исследователь. Понятно, что по оценкам исследований Госкомстата доля высокодоходных составляет 5 процентов по Москве, но это все-таки 500000 человек. Вы должны себе представлять, что если делать нормальную случайную выборку на одно интервью у вас будет приходиться 20 пустых контактов, которые кончатся ничем. Вот вам соотношение денег. Заказчик должен понять, насколько нужна ему эта точность и откуда берутся затраты на исследование.

Крыштановский Александр

На самом деле дискуссия вокруг этого - это дискуссия о необходимости маркетинговых исследований, о соотношении количества и качества. Потому, что сама по себе проблематика качества маркетинговых исследований действительно неразрывно связана не только с проблемами выборки, но и с многими другими аспектами. Действительно, это серьезная и глубокая проблема.

Я еще раз поприветствовать вас на факультете социологии Высшей школы экономики, хочу поблагодарить всех, кто участвовал в нашей встрече. И надеюсь, что, где-то ориентировочно, через 3-4 четверга, мы снова встретимся. А что касается темы, то я думаю, что мы постараемся учесть высказанные мнения, а они довольно разные - не было единого. Может быть, мы проведем опрос. Спасибо всем. До свидания.