Geum.ru

Расшифрованная запись выступлений участников круглого стола «Количественные методы в маркетинговых исследованиях»

Вид материалаДокументы
Подобный материал:
1   2   3   4

Александр Крыштановский - ГУ-ВШЭ

Должен извиниться за то, что я, по всей видимости, не очень точно выразился. Пафос моего высказывания о десятых долях процента заключался не в том, что десятые и сотые доли не важны. Действительно, есть много примеров, когда доли процента это миллионы долларов и важность их несомненна.

Я говорил лишь о том, что наш инструмент в абсолютном большинстве случаев не может зафиксировать эти доли процента. И не надо "пудрить заказчику мозги". Когда мы говорим, что 3,7 процента женщин за Путина, а 8,4 процента мужчин за Зюганова, или какой-то товар, то, на самом деле мы именно пудрим мозги, поскольку наши данные основываются на выборочных исследованиях и такой точности не дают. Думаю, что Вы, Алексей, меня в таком подходе поддержите.

Алексей Молчанов - United Europe

Я хочу добавить, что очень многие вопросы, которые сейчас обсуждались, могут быть отнесены к проблеме образованности маркетологов со стороны заказчика. Я не совсем согласен с Асхатом в том, что маркетологу, работающему в компании, достаточно экономического образования - это зависит от компании.. Если это компания двигается в брэнд и к этому нормально относится, то, наверно, нужны еще и социологи. В этом случае, как раз не будет возникать тех самых проблем, о которых говорил Александр Олегович, когда чисто качественными методами пытаются решить количественные вопросы.

Я столкнулся с этим в своей компании. Когда я пришел, то мне рассказали очень смешную историю о том, что для компании каким-то агентством было проведено 10 фокус групп для тестирования упаковок. Это было 10 лет назад и Вы представляете каких денег это стоило - не меньше 500 долларов за группу. Результаты были просто придуманы и, после этого приходилось объяснять, что это глупость и, что маркетинговые исследования это не только фокус группы. Поэтому очень многие вещи могут быть решены именно с помощью большей квалификации заказчика. Заказчик тоже должен сам думать и тогда, кстати говоря, можно решать проблемы какими-то количественными методами за меньшие деньги. Кто мешает заказчику заказать поле, если совсем мало денег.

Александр Крыштановский - ГУ-ВШЭ

Я хотел отозваться еще об одном количественном аспекте. Есть еще одна сфера, которая также базируется на данных количественных опросов. Это область медиа-планирования. Программы, которые используются для медиа-планирования основываются на опросных данных.


Проводятся некие опросы (не столь важно, какие техники сбора данных при этом используются - личные интервью, пипл-метры, либо что-то еще). Далее приходит заказчик, который хочет дать рекламу телерекламу какого-то продукта и спрашивает, какое время, какой канал для его целевой группы подходят лучше всего. И пусть даже это грамотный заказчик, который знает свою группу, скажем женщины 30-40 лет. Для него нажимают на кнопки весьма дорогой программы (а эти программы дорогие) и получают ответ: "Ваше время - ОРТ, с 17.28 до 18.30, это Ваше оптимальное время".

Давайте подумаем: на чем это основано? На самом деле, поскольку полученный результат базируется на опросных данных, то каждый, кто хоть чуть-чуть владеет началами анализа данных, знает, что получить такой результат весьма просто. Выделяется интересующая подгруппа (в данном случае - женщины соответствующего возраста), при этом, даже если в основе лежит большой опрос, то после такого отбора остается массив, дай Бог, человек 500. Далее из этих 500 человек отбрасываются жители не интересующих заказчика регионов (поскольку региональный аспект в телерекламе существенен). И после всех этих отборов у нас остается, подчас, 3 таких респондента. Анализируя этих 3-х (!) женщин мы выясняем, что, действительно, они чаще всего смотрят именно ОРТ, именно в указанное время, на основании чего заказчик и получает соответствующий ответ.

Мне кажется, что это на редкость чистый пример, использования данных количественных исследований абсолютно неадекватным образом, фактически подтасовываемых результатов.

Думаю, что этот сюжет также может быть вынесен как самостоятельная тема семинара, на котором можно было бы вести серьезный, профессиональный разговор.

Сергей Чесноков - "Контекст"

Кто-то работал с "Галилео" и может сказать о Медиа?

Александра Савина- издательский дом Коммерсант.

Я работала не с телевидением, а с прессой, но суть та же самая. Если исследователь честен, то он так и идет по этому пути с самого начала. И у нас были постоянно такие случаи, когда надо было рассчитать свою аудиторию в каком-то городе. Когда считаешь - пол, возраст, выдаются проценты 80 на 20, 50 на 50. А если сделать шаг назад, то мы видим, что да, действительно, таких 10 человек попало в этом городе. То есть, если не упускать этот момент, то все это там прекрасно видно.

Сергей Чесноков - "Контекст"

Я смотрел программу "Галилео", как она работает. Мне кажется, что это очень хороший продукт. Тем более, что на нашем рынке просто нет сейчас конкурентоспособных ему альтернатив. И, не потому что нет сильных мозгов, а просто потому, что здесь очень сильная конкуренция производителей и очень сильная, уже оформившаяся ниша. Но, если говорить об отношении к выражению "пудрить мозги", то я скажу, что статистическая ошибка, которая делается, при проведении выборок тем же самым ФОМОМ или ВЦИОМ или monitoring.ru, составляет 3% или 4%. Я, как человек представляющий, как делаются эти оценки, и знающий, что внес в эту культуру господин Якоб Бернулли в своем труде, изданном в 1713 году… Я могу сказать, что это тоже "пудрение мозгов". Потому, что оценки, которые используются при постановке в известную формулу объемов выборок и частот, на которых совершается оценка "доверительного интервала" - эти формулы они годятся в случае, когда выборка делается случайная. Кто-нибудь из Вас видел, когда-нибудь случайные выборки в реальных исследованиях? Я бы хотел посмотреть на такого человека. Дело в том, что за этим стоят очень серьезные и сложные проблемы.

Я разделяю пафос, который внес Александр Олегович, но мне кажется, что нужно кое-что уточнить. Надо действительно повышать культуру знаний в этом. Я читаю лекции в МГУ на экономфаке, иногда читаю спецкурс в Высшей Школе Экономике. Я могу сказать, что студенты, с которыми я имею дело, как правило, прослушав курс по статистике, абсолютно не понимают как оценить реальную информацию, которая нужна для бизнеса с точки зрения того - валидна она или нет. Например, в смысле статистическом. Они могут знать формулы, которые выписывают преподаватели им на доске, но у них нет ощущения, что эти формулы связаны с реальностью, которая буквально связана с производством информации в этих реальных условиях. Они от лица компании вынуждены покупать информацию. Но когда они покупают информацию или сами ее производят, то не понимают, что составляет действительно качество информации, как правильно построены выборки в соответствии с поставленными задачами.

Такая же точно ситуация и во всем другом комплексе аналитических методов, используемых вообще в статистике и в маркетинговых исследованиях. Сейчас существует огромное количество методов и деление их на качественные и количественные, вообще-то говоря, весьма условно. Потому что никакую анкету, которая обращена к клиенту, нельзя сделать на количественных шкалах - это будет нелепостью. Ведь человека нужно спрашивать так, чтобы его мотивации были понятны ему самому, чтобы он на адекватном ему языке разговаривал с интервьюером. Поэтому нет альтернатив качественным методам, а количественные показатели возникают в маркетинговом исследовании как оценки каких-то сумм, каких-то возрастов и так далее. Во всяком случае, нужно говорить о симбиозе этих методов. Нужно говорить о том, чтобы были более точно сбалансированы курсы, которые преподносят студентам, специализирующимся в области маркетинга. Курсы должны быть более точно специализированы. Не по всему арсеналу методов, а по решению именно базовых задач, которые идут от практики и которые существуют в бизнесе. А этих базовых задач в режиме описательной статистики всего три:

- это грамотно делать хорошие графики с хорошей эстетикой,

- это строить вторичные переменные не вообще, решая задачу кластерного анализа, а под интересы корпорации, понимать как нужно сконструировать ответы клиента на то, какие товары он хотел бы приобрести в этом магазине, как это сконструировать с учетом структуры маркетингового отдела, той компании которая заказывает маркетинговое исследование.

- это анализ связей, где вообще на практике существуют сотни коэффициентов связей, которым обучают людей. Ведь выходя с этими знаниями многие просто не понимают, что они должны делать.

Так что, я приветствую такого рода мероприятие, которое сейчас, здесь затеяно. Я понимаю, что здесь замешены и интересы компаний и интересы ВШЭ, но мне кажется, что нужно хорошо подумать над тем, как Вам подготовить хороший продукт, который можно было бы продать. А этот продукт, с одной стороны - это хорошо структурированное обучение, четко привязанное к реальным интересам бизнеса, с другой - это те стандартные программы, которые напоминали бы схемы анализа, реализованные в том же самом "Галилео". Сделать такую схему очень трудно. В основном, мы занимаемся сейчас адаптацией таких схем, берем их с Запада. Но это нужно делать в любом случае. Я хочу пожелать успеха организаторам в создании именно такого товара. И я думаю, что люди присутствующие здесь, с удовольствием его купят, если они увидят, что с этого можно что-то получить.

Игорь Березин - МА "Эксперт", Президент Гильдии маркетологов

Мы как-то молча согласились с тем, что есть четкие границы между качественными и количественными исследованиями. Я очень рад, что предыдущий выступающий размыл эту границу. Вот тут прозвучал тезис, что если заказчик не хочет или не может платить 20 тыс. долларов, тогда мы за 3 тыс. проведем ему фокус группу. А почему мы так согласились, что именно качественное исследование априори дешевле количественного. Почему мы сравниваем опрос 1,5 тысяч респандентов в 6-10 субъектах Федерации по анкете из 40 вопросов с одной или двумя фокус группами? На самом деле по объему полезной, хотя и разноплановой информации, они в каком-то смысле сопоставимы. И, кстати, еще вопрос - исследование какого формата - качественного или количественного будет дешевле?

Ефим Галицкий - Фонд "Общественное мнение"

Я работаю в "Фоме" и преподаю в ВШЭ, читаю как раз маркетинговые исследования. Своим студентам, "во первых строках", я говорю, чтобы они не тратили деньги, когда будут работать в фирмах, на маркетинговые исследования, поскольку деньги на маркетинговые исследования это есть вычет из их будущей прибыли. Тратить деньги я их призываю только в единственном случае, если они не знают, как поступить, если есть проблема и ее надо решить, и если есть выбор. Если нет проблем - допустим, продукцию некоего завода, который существовал все Советские годы, и сейчас благополучно существует, эту продукцию расхватывают на рынке, то не нужно заниматься маркетинговыми исследованиями. Можно спокойно заняться сначала проблемой хождения пьяных по территории и продавать по-прежнему эту продукцию. Но если ситуация иная и все таки надо решать, что нужно рынку, то тогда надо делать какие-то исследования.

Теперь о том, что же это за исследования. Мы как-то сразу начинаем говорить о больших деньгах. Есть совершенно бесплатные способы, например журналы, которые лежат в библиотеке ВШЭ и так долее. Действительно, там про полосатые трусы не написано, но там написано много интересного, и какие-то грубые оценки для себя можно сделать. И очень часто оказывается, что этих оценок и знаний, которые удается оттуда почерпнуть, достаточно, чтобы решить свой вопрос. Сказать себе: "Да, я понял - надо делать так, а не так". И тогда не нужно тратить деньги на маркетинговые исследования, если эта информация из заслуживающего доверия источника. Маленький пример. Я слышал выступление одного специалиста из ФРГ, который 15 лет занимался продвижением партии ХДС. У него большой опыт исследований. Его ребята выходили на улицу с видеокамерой, подходили к людям и спрашивали: "Знаете ли Вы такого кандидата и, что Вы про него думаете?". А потом на основе этого надо идти в лес, уединяться и сильно думать. Я спросил этого господина: "Как же так, ведь эти исследования совершенно не репрезентативные?". "Да, сказал он, конечно не репрезентативные, но если мне 90% опрашиваемых сказали, что первый раз слышат эту фамилию, то я уже понимаю, что проблема в информированности, а не в имидже. И нужно поднимать информированность". Вот такая история. И все-таки в тех случаях, когда дешевые способы не дали результатов, и есть шанс, что мы ошибемся, то тогда тратить надо много, потому что цена ошибки бывает велика.

Асхат Кутлалиев - ГФК.

Хочется сказать небольшую реплику. Здесь постоянно обсуждается вопрос: что делать? Нужно ли проводить исследования, или гонять на предприятии пьяных рабочих. Это две совершенно разных проблемы, потому, что это такой же вопрос, как "Мне сегодня одеть чистую рубашку, или идти по дороге с закрытыми глазами?"

Это две совершенно разные вещи. Если у вас глаза открыты, если у вас есть информация, то только тогда вы начинаете думать о чистоте своей рубашки.

Александр Крыштановский - ГУ-ВШЭ.

А мне понравился в выступлении Ефима Галицкого тот тезис, что всегда следует задумываться о том, действительно ли вам нужно проводить маркетинговое исследование. В чем хорош пример человека, который продвигал ХДС в Германии? В том, что он применял метод, который был адекватен его задаче. Если нам нужна лишь самая общая информация, то, действительно можно лично опросить 10 человек и, выяснив, что никто не знает нашего кандидата, не проводить никаких других исследований. Это просто ни к чему.

Такого рода ситуации нередко встречаются и в постановке заказчика, и в постановке маркетологов. Действительно, подчас ответ ясен заранее, а, тем не менее, заказываются большие исследования, национальные выборки и т.п.

Евгений Назаркин - Черкизовский Молочный завод

Я рискую внести некую дисгармонию. Но я пришел на семинар и поэтому воспользуюсь случаем и попытаюсь решить, может быть с Вашей помощью, некую прикладную задачу. На сегодняшний день у нас на предприятии стоит задача протестировать новый дизайн упаковки. Существует 10 вариантов этого дизайна. Поскольку есть критическое отношение к методу фокус-групп, и оно всем известно, то наше рекламное агентство поставило нас перед фактом, что надо делать количественное исследование. Так вот условие задачи - 10 концепций упаковки, 1200 респондентов, Москва и два города в России. Предложены Воронеж и Екатеринбург как наиболее среднестатистические города России. Если я услышу какое-то компетентное мнение по этому поводу, то я выслушаю с удовольствием.

Александр Крыштановский - ГУ-ВШЭ

Мне не очень понравилось, что вы сказали, что фокус группы "забили ногами" - да избавь бог. Никто фокус группы не забивает и, самое интересное то, что к сформулированной задаче, нужен адекватный метод. Очень может быть, что метод фокус группы гораздо адекватен, чем количественный опрос, а может и наоборот. Надо уточнить задачу.

Этим профессионал и отличается - он может подобрать наиболее адекватный метод под конкретную задачу.

Марина Власова - Русинфомар

Очень важно, что Вы задали именно такой конкретный вопрос, мы, честно говоря, этого давно ждали. Давайте сделаем сейчас такой мини-кейс и каждый выскажется по этому поводу, что он думает.

Петр Педенко - RMBC

Я сразу хочу сказать, что фокус группы точно также могут быть вполне адекватным инструментом для решения Вашей задачи. И тут надо разделять два случая. Случай первый: что именно вы хотите тестировать. Тестирование упаковки это очень широкое понятие. Очень много задач можно подвести под это определение. В основном, эти задачи делятся на два класса. Первое, если у Вас упаковка содержит какую-то креативную идею, то естественно ставится вопрос - как люди воспринимают эту идею. Например, вы упаковываете молоко в пакет в виде коровы. Тут лучший вариант - это фокус группы или глубинное интервью, если там какой-то деликатный элемент. А, если у Вас нет такого игривого креатива, например, одна упаковка красная, другая белая, третья еще какая-то, то тут однозначно нужен количественный метод. Потому, что различие в ответах респондентов сводится только к "нравится - не нравится" и никакой мотивации за этим нет кроме мотивации того, что одному человеку нравится красный цвет, а другому какой-то другой.

Евгений Назаркин - Черкизовский Молочный завод

На самом деле выбор не стоит между фокус группами и количественными исследованиями. К сожалению, уже выбирать поздно. Я Вам могу объяснить логику, которую использовали наши рисечеры. Дело в том, что там имеется такая козырная карта восприятия, которая перевешивает фокус группы. Меня, на самом деле, интересует, достаточно ли 12000 человек по России, для того чтобы узнать мнение и, имелись ли объективные основания для выбора городов Воронежа и Екатеринбурга.

Дмитрий Болтянский - Проинвест.

Приходит рисечер и говорит, что я знаю, что нужно делать так. Учитывая, что, так или иначе, сами заказчики занимаются самообразованием, то лучше бы они говорили - как не нужно делать. Например, мы говорим такой-то метод не допустим, потому что не выполняется то, или иное условие - по крайне мере, для меня, это будет очень эффективным и образовательным фактором. То есть, я уже понимаю не только как нужно делать, но и то, как не нужно делать. Сложно разделить по жизни рисечеров и консультантов, но они приходят веселые, с хорошими улыбками, пальцами шевелят - мы знаем, как надо делать. У них стиль такой, их имидж обязывает говорить слова: "Знаем как надо". Так вот, по крайней мере, здесь у нас, когда никто никому ничего не продает, а мы играем на интерес, то можно заодно говорить, как не надо. Что, например, этот метод нельзя использовать, потому что не выполняются те или иные условия. Это мне кажется очень мощный образовательный стимул.

Асхат Кутлалиев - ГФК

Вопрос был задан так: можно ли по данным вашего исследования получить картину по всей России? Однозначно нет. Вы опрашиваете население очень крупных городов и, тем самым отсекаете всех остальных жителей. Если вы поставите вопрос так: "Моя целевая группа - население крупных городов, что можно сказать тогда?". Тогда еще как-то может быть.

Евгений Назаркин - Черкизовский молочный завод

Вот эти два города. Насколько они вообще показательны? Поскольку прозвучало мнение, что Воронеж - это своего рода эталон, это некий среднестатистический город в России.

Асхат Кутлалиев - ГФК

Это совершенно не так. Ни по доходу, ни по соц-дему Воронеж не показатель городов России.

Анастасия Птуха - маркетинговое агентство "Step by step".

Евгений, я правильно поняла, что у вас десять вариантов упаковки? Если это так, то мне это очень не понравилось. Здесь критикуют количественные исследования, но, по-моему здесь все ясно - перебор. То есть, это значит, что Вы плохо поработали с идеей с самого начала. Поработайте сначала с идеями. Это может быть фокус группа или другие качественные исследования. Поработайте с идеями. Я поясню. Допустим, Вы избрали какой-то идеальный вариант количественных исследований и у Вас 10 вариантов - 10 вариантов это много. Что Вы будете делать, если у вас останется 3-4 варианта с примерно одинаковыми процентажами. Например, на каждой по 10%, а остальные там где-то - за 3%. Какие выводы сделать можно? Непонятно. Сначала выберите несколько вариантов, не десять, а потом уже занимайтесь хоть чем-то количественным.

Асхат Кутлалиев - ГФК

Мне тоже кажется, что выносить 10 вариантов упаковки на количественное исследование - это слишком. Я никогда о таком не слышал.

Евгений Назаркин - Черкизовский молочный завод

Дело в том, что сермяжная правда всей этой истории заключается все в тех же "картах восприятия". На самом деле, из этих 10 вариантов, будет только 5 вариантов нашего собственного дизайна, плюс будут конкуренты, плюс будет некий идеальный, некий эталонный вариант.

Юлиана Толстова - преподаватель ГУ-ВШЭ

Мне кажется, что наше обсуждение ушло куда-то в сторону и вот в каком смысле. Наверное, было бы естественно ожидать от этого первого собрания выделения нескольких определенных направлений, в рамках которых имело бы смысл дальше общаться. Совершенно ясно, что здесь затрагиваются вопросы, которые не решишь парой фраз и парой ответов даже квалифицированных людей. Сейчас мы касаемся серьезного вопроса о построении выборки. В качестве типичного города, я знаю примеры, в институте социологии в свое время выбирали города Тамбов и Псков для изучения бюджета времени. Да, еще и Таганрог - может быть, более классический и памятный пример. Так вот, каждому из этих выборов есть свое объяснение. И, наверное, сейчас мы все равно не придем ни к какому выводу. А вот поговорить о выборке нужно. И это будет большой и серьезный разговор. Что называть типичным городом, как его выбирать и так далее. Мне кажется, что даже сейчас у нас, на нашей встрече уже вырисовывается несколько направлений, о каждом из которых можно говорить много и, может быть, даже не одно заседание посвятить этому.

Во-первых, выборка - вопрос огромный, большой и серьезный. И очень интересно получить сведения о том, как практически выборка организуется, а заодно и обсудить какие теоретические схемы на этот счет имеются. Поскольку, не только случайная выборка работает. Кроме того, очень много соображений по поводу того, как обеспечить что-то такое a la случайность, чтобы это дало возможность пользоваться результатами семейства Бернулли. То есть, здесь есть, о чем говорить.

Вторая большая проблема, которая сейчас вырисовывается это качество-количество. Скажем, в институте социологии в основном уже закончили спорить на эту тему. Спор достаточно бессмысленный - что лучше, что хуже. На самом деле я с Александром Олеговичем соглашаюсь в том плане, что хорошо то, что к месту, что решает именно поставленную задачу. И все же, наверное, имеет смысл обсуждать такие конкретные задачи, даже я для себя услышала много полезных советов. Но, наверное, это все таки большой разговор. И сейчас вряд ли мы решим, как быть с упаковками - это вопрос, требующий обсуждения.