Методы получения данных мониторинга 1 Предложения по разработке регламента проведения сбора и анализа экспертных мнений
| Вид материала | Регламент |
- Маслова О. М. Вопрос как инструмент получения эмпирических данных // Методы, 604.21kb.
- Программа методы экспертных оценок для специальности 040201. 65 "Социология" (подготовки, 131.22kb.
- Аннотация рабочей программы учебной дисциплины методология и методы исследований, 173.52kb.
- Методика сбора и содержания амфипод выбор условий и методов проведения экспериментов, 166.67kb.
- Руководство > 2 Координация > 2 Контроль > 2 Современный этап контроллинг, 5553.27kb.
- Методы получения и использования информации, 60.29kb.
- Аний, связанных с разрешением проблемы неполноты в базах знаний интегрированных экспертных, 33.09kb.
- Вопросы представлены тремя блоками: 1) теория, 2) методы анализа (в основном анализа, 38.49kb.
- Задачи мониторинга: формирование культуры работы с информацией и средствами ее получения, 190.21kb.
- Рабочая программа учебной дисциплины "Методы измерения и анализа электрических величин", 142.07kb.
9 МЕТОДЫ ПОЛУЧЕНИЯ ДАННЫХ МОНИТОРИНГА
9.1 Предложения по разработке регламента проведения сбора и анализа экспертных мнений
Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов, "кланов" и отдельных коллег. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, принимают или отвергают аргументы друг друга, учатся друг у друга, и неверные или недостаточно обоснованные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем (в случае достаточно хорошей согласованности мнений) их усреднения позволяли принимать обоснованные решения с точки зрения эконометрики. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" для формирования команды экспертов.
В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Попытка силой утвердить одну из возможных точек зрения может принести лишь вред.
Однако описания многообразия экспертных оценок необходима какая-либо рабочая классификация методов. Некоторые из таких возможных классификаций мы даем ниже, перечисляя основания, по которым мы делим экспертные оценки (Рис.9.1, табл.9.1).
Рис. 9.1 Классификация методов сбора и анализа экспертных мнений
Таблица 9.1 Классификация методов сбора и анализа экспертных мнений
| № | Значение критерия | Метод | Комментарии |
| 1. | Классификация целей работы комиссии | ||
| 1.1 | Цель – сбор информации для ЛПР | Метод постепенного увеличения числа экспертов. | Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается следующему эксперту, который добавляет свои аргументы, и т.д. Процедура заканчивается, когда иссякает поток новых соображений. |
| 1.2 | Цель – подготовка проекта решения для ЛПР | Математические методы | Применяются обычно именно для решения задач, связанных с подготовкой проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. |
| 2. | Классификация по числу туров | ||
| 2.1 | Один тур | Экспертные панели | Наиболее простой вариант |
| 2.2 | Определенное число туров | Дельфи | Заранее известно число туров, которое необходимо провести для получения результата |
| 2.3 | Неопределенное число туров | «Снежный ком» | Вызывает большие сложности. Часто задают максимально возможное число туров, и тогда неопределенность сводится к тому, придется ли проводить это максимальное число туров или удастся ограничиться меньшим числом. |
| 3. | Классификация по организации общения экспертов | ||
| 3.1 | Отсутствие общения | Экспертные панели | Эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим |
| 3.2 | Заочное анонимное общение | Дельфи | Эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то или иное положение |
| 3.3 | Заочное общение без анонимности | Мозговой штурм или метод «совещаний», при котором эксперты общаются через интернет | Все варианты заочной экспертизы хороши тем, что нет необходимости собирать экспертов вместе, следовательно, находить для этого удобное время и место. |
| 3.4 | Очное общение с ограничениями | Метод «совещаний» | Собрание, идущее по фиксированному регламенту |
| 3.5 | Очное общение без ограничений | «Мозговой штурм» | Свободная дискуссия |
Реальные экспертизы часто представляют собой комбинации различных описанных выше типов экспертиз.
Современная теория измерений и экспертные оценки. Для дальнейшего более углубленного рассмотрения проблем экспертных оценок понадобятся некоторые понятия так называемой репрезентативной теории измерений (РТИ), служащей основой теории экспертных оценок, прежде всего той ее части, которая связана с анализом заключений экспертов, выраженных в качественном (а не в количественном) виде.
Мнения экспертов часто выражены в порядковой шкале (подробнее о шкалах говорится ниже), т.е. эксперт может сказать (и обосновать), что один показатель качества продукции более важен, чем другой и т.д. Но он не в состоянии сказать, во сколько раз или на сколько более важен. Экспертов часто просят дать ранжировку (упорядочение) объектов экспертизы, т.е. расположить их в порядке возрастания (или убывания) интенсивности интересующей организаторов экспертизы характеристики. Ранг - это номер (объекта экспертизы) в упорядоченном ряду. Формально ранги выражаются числами 1,2,3. Очевидно, что для анализа подобного рода качественных данных необходима теория, дающая базу для разработки, изучения и применения конкретных методов расчета. Это и есть РТИ.
Сначала РТИ развивалась как теория психофизических измерений. Основоположник РТИ - американский психолог С.С. Стивенс [28].
В качестве двух основных проблем РТИ наряду с установлением типа шкалы был выдвинут поиск алгоритмов анализа данных, результат работы которых не меняется при любом допустимом преобразовании шкалы (т.е. является инвариантным относительно этого преобразования).
Основные шкалы измерения. В соответствии с РТИ при математическом моделировании реального явления или процесса следует, прежде всего, установить, в каких типах шкал измерены те или иные переменные (рис.9.2). Тип шкалы задает группу допустимых преобразований. Допустимые преобразования не меняют соотношений между объектами измерения. Например, при измерении длины переход от аршин к метрам не меняет соотношений между длинами рассматриваемых объектов - если первый объект длиннее второго, то это будет установлено и при измерении в аршинах, и при измерении в метрах.
Рис. 9.2 Классификация шкал измерения
Укажем основные виды шкал измерения и соответствующие группы допустимых преобразований (Табл.9.2).
Таблица 9.2 Виды шкал измерения
| № | Вид шкалы | Группы допустимых преобразований | Описание | Допустимые средние |
| 1. | Шкала наименований (номинальная) | все взаимно-однозначные преобразования | В этой шкале числа используются лишь как метки. | Мода |
| 2. | Порядковая шкала | все строго возрастающие преобразования | В этой шкале числа используются для установления порядка между объектами | Члены вариацион-ного ряда (медианы) |
| 3. | Шкала интервалов | линейные возрастающие преобразования | На шкале нельзя отметить ни естественное начало отсчета, ни естественную единицу измерения | Среднее арифметическое |
| 4. | Шкала отношений | линейные возрастающие преобразования без свободного члена | Есть естественное начало отсчета - нуль, т.е. отсутствие величины, но нет естественной единицы измерения | Только степенные средние и среднее геометрическое |
| 5. | Абсолютная шкала | тождественное преобразование | Результаты измерений - числа в обычном смысле слова | |
Установление типа шкалы, т.е. задания группы допустимых преобразований шкалы измерения - дело специалистов соответствующей прикладной области. Оценки экспертов часто следует считать измеренными в порядковой шкале.
Как показали многочисленные опыты, человек более правильно (и с меньшими затруднениями) отвечает на вопросы качественного, например, сравнительного, характера, чем количественного. Порядковая шкала и шкала наименований - основные шкалы качественных признаков. Поэтому во многих конкретных областях результаты качественного анализа можно рассматривать как измерения по этим шкалам.
Математические методы анализа экспертных оценок. При анализе мнений экспертов можно применять самые разнообразные статистические методы, описывать их - значит описывать всю прикладную статистику. Можно выделить основные широко используемые в настоящее время методы математической обработки экспертных оценок - это проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы.
Ответы экспертов во многих процедурах экспертного опроса - не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д., для их анализа оказываются полезными методы статистики объектов нечисловой природы. Выводы, сделанные на основе данных, измеренных в шкале определенного типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных (Табл. 9.3).
Таблица 9.3 Методы и алгоритмы анализа экспертных оценок
| № | Метод | Алгоритм |
| 1. | Метод средних арифметических рангов |  |
| 2. | Метод медиан рангов |  |
| 3. | Метод согласования кластеризованных ранжировок |  |
При анализе используют одновременно метод средних арифметических рангов (среднее арифметическое), и методов медианных рангов (медианы). Такая рекомендация находится в согласии с концепцией устойчивости, рекомендующей использовать различные методы для обработки одних и тех же данных с целью выделить выводы, получаемые одновременно при всех методах. Такие выводы, видимо, соответствуют реальной действительности, в то время как заключения, меняющиеся от метода к методу, зависят от субъективизма исследователя, выбирающего метод обработки исходных экспертных оценок.
Почему ответы экспертов часто носят нечисловой характер? Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлении человека используются образы, слова, но не числа.
Эксперт может сравнить два объекта, сказать, какой из двух лучше (метод парных сравнений), дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может ответить, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, или являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются "оцифровкой" их мнений, приписывая этим мнениям численные значения - баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физико-технических измерений [63]. В случае произвольности "оцифровки" выводы, полученные в результате обработки данных, могут не иметь отношения к реальности.
9.2 Проверка согласованности мнений экспертов и классификация экспертных мнений
Ясно, что мнения разных экспертов различаются. Важно понять, насколько велико это различие. Если мало - усреднение мнений экспертов позволит выделить то общее, что есть у всех экспертов, отбросив случайные отклонения в ту или иную сторону. Если велико - усреднение является чисто формальной процедурой. Из сказанного ясна важность проблемы проверки согласованности мнений экспертов.
Статистические методы проверки согласованности весьма трудны, если ответы - ранжировки или разбиения, и достаточно просты, если ответы - результаты независимых парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь сразу получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться в анализе подобных данных.
Эксперту гораздо легче на каждом шагу сравнивать только два объекта. Пусть он занимается парными сравнениями. Непараметрическая теория парных сравнений (теория люсианов) позволяет решать более сложные задачи, чем статистика ранжировок или разбиений.
При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению. Это можно сделать различными методами статистики объектов нечисловой природы, относящимися к кластер-анализу.
Нахождение итогового мнения комиссии экспертов. Пусть мнения комиссии экспертов или какой-то ее части признаны согласованными. Каково же итоговое (среднее, общее) мнение комиссии? Согласно идее Джона Кемени следует найти среднее мнение как решение оптимизационной задачи. А именно, надо минимизировать суммарное расстояние от кандидата в средние до мнений экспертов. Найденное таким способом среднее мнение называют "медианой Кемени". В конкретных пространствах нечисловых мнений экспертов вычисление медианы Кемени может быть достаточно сложным делом.
Рекомендации по формированию банков вопросов. Искусство задавать вопросы – одно из базовых умений как для учебы, так и для профессиональной деятельности. Продвижение в освоении материала можно оценить с точки зрения того, какие вопросы задает человек. Многие профессии строятся на умении задавать правильные вопросы, т. е. вопросы эффективные для сбора информации. Врачей, менеджеров, педагогов, юристов, психологов специально учат задавать вопросы. Вопросы, которые человек задает, когда ему не хватает информации, показывают уровень понимания проблемы и способность задающего строить предположения. Умение задавать вопросы помогает при решении интеллектуальных задач, способствует улучшению взаимопонимания между людьми (рис.9.3).
Рис.9.3 Природа вопросов, применяемых в экспертных анкетах
Современный человек задает вопросы не только другому человеку, но и поисковым системам в Интернете. Умение выделить ключевые слова, на которые «поисковик» даст содержательные ссылки основывается на том же искусстве задавать вопросы — просто вместо вопроса вы задаете ключевые слова из предполагаемого ответа.
Все вопросы, задаваемые экспертам, можно разделить на несколько типичных групп (рис.9.4)
Рис.9.4 Виды вопросов
Таблица 9.4 Спецификация видов вопросов
| № | Тип вопроса | Описание вопроса | Ключевые слова | Примеры |
| 1 | Фактические вопросы (или вопросы на знание) | Направлены на выяснение фактов и особенностей, которые легко наблюдать. Ответы на фактические вопросы часто можно оценить как правильные или неправильные. | Кто, когда, где, как | В какой лаборатории впервые были получены наноуглеродные трубки? |
| 2 | Конвергентные вопросы | Не имеют однозначного ответа и требуют напряжения мысли. Ни ситуация, ни текст не дают прямой подсказки. Конвергентный вопрос соединяет понимание человека и фактический материал, это первая ступень интерпретации той ситуации или текста, относительно которых задаются вопросы. | Зачем, каковы причины, почему | Каковы причины низкой адгезии загрязнений для самоочищающихся нанопокрытий? |
| 3 | Дивергентные вопросы | Дивергентный вопрос позволяет отвечающему понять наличие альтернативы. Дивергентный вопрос обращен на предсказание будущего | Что будет (не будет), если... | Что будет, если для процессов очистки повсеместно будут использовать нанофильтры? |
| 4 | Вопрос–оценка (вопрос на суждение и сравнение) | Соединяют понимание ситуации и отношение человека к событию, книге, открытию и т.д. Вопрос на суждение предполагает, что отвечающий обладает информацией, выходящей за пределы ситуации, неравнодушен к предмету разговора и понимает неоднозначность того, о чем идет речь. Вопросы данного типа должны продвигать эксперта к формированию и обоснованию точек зрения. | - | Какие технологии гибридно-пленочной микроэлектроники могут применяться в нанотехнологиях, а какие будут не востребованы? |
| 5 | Комбинированный вопрос (комплексный вопрос) | Вопросы одного типа плавно переходят в вопросы другого типа. Так, фактический вопрос создает основу для вопросов трех других типов. Часто в одном вопросе можно соединить вопрос на объяснение и вопрос на предположение. | - | Какие новые научные методы используют в контроле наноструктур, и как они соотносятся с существующим измерительным оборудованием? |
| 6 | Открытые вопросы | Вопросы такого типа не накладывают ограничений на ответы респондента, дают гораздо больше познавательной информации, но их труднее классифицировать для последующего анализа. | - | |
| 6.1 | Обычный вопрос | Опрашивающему задают вопрос, подразумевающий свободную форму ответа | - | Будете ли вы использовать моющие средства с применением наноактивных компонентов? |
| 6.2 | Подбор словесной ассоциации | Опрашиваемому называют слово и просят назвать первое, пришедшее на ум слово | - | Какое первое слово приходит вам на ум, когда вы слышите слово «нанороботы»? |
| 6.3 | Завершение предложения | Спрашиваемому предлагают незаконченное предложение и просят его завершить | - | |
| 6.4 | Завершение рассказа | Опрашиваемому предлагают незаконченный рассказ и просят его продолжить | - | |
Практика показывает, что можно получать качественную информацию при помощи комбинированных вопросов. При этом требуется определить, как можно соединить уже имеющиеся вопросы в общий комплексный вопрос. Степень взаимосвязи заданных экспертам вопросов определяется тем, есть ли у них направленность в сборе информации, имеются ли в экспертном исследовании предварительные гипотезы, и насколько выдвинутые гипотезы вариативны. Комбинированные вопросы позволяют связать разные вопросы и из полученных ответов сложить целостную «картинку» изучаемой ситуации (рис.9.5).
Рис. 9.5 Варианты вопросов, применяемых в экспертных анкетах
Сформулируем рекомендации по применению групп вопросов для использования в процедурах мониторинга в таблицу 5.5.
Таблица 9.5 Сводная таблица вопросов, применяемых в экспертных анкетах
| Наименование вопроса | Смысл и функциональность вопроса | Примечание |
| Фактологический | Фиксируют свершившееся действие, указывают на существующие факты, события и т.п. | Имеют время: настоящее, прошедшее, будущее |
| Мотивационный | Имеют несколько форм и соответственно различное назначение: снимают интенсивность протекания процесса, выясняют мотивы поведения, дают оценку деятельности, выясняют личностные установки, ценностные ориентации, показывают направленность протекания процесса и т.д. | Как часто, редко, больше, меньше? |
| Закрытый | В альтернативах содержат сущность ответа | Предлагается выбрать вариант ответа из приведенных в анкете (один или несколько) |
| Полузакрытый | Имеются альтернативы и одна возможность безальтернативного ответа | Предлагается выбрать вариант ответа из приведенных в анкете или дописать свой |
| Открытый | Не предлагается альтернатив ответа | Ответ нужно дать в свободной форме |
| С ложными альтернативами | Альтернативы не содержат сущности правильного ответа | В случае одного правильного ответа используется для контроля знаний |
| Ситуативный | В качестве альтернатив выступают те или иные ситуации | Отличаются многословностью и неоднозначностью трактовки |
| Образный | Альтернативы и ситуации представлены в виде изображений, картинок | Недостаток - не всегда удается подобрать приемлемое образное изображение того или иного понятия. |
| Вопрос-суждение | Невопросительная форма для подтверждения альтернатив (тест) | Применяется для тестирования |
| Контактный | Привлечение внимания эксперта, обеспечение заинтересованности | |
| Подготовительный | Облегчают переход к трудным вопросам, концентрируют внимание | |
| Буферный | Переключение и оживление внимания, нейтрализация предыдущих вопросов | |
| Контрольный (вопрос-фильтр) | Проверка экспертов на информированность, компетентность, объективность самооценок; | Вопрос-ловушка; позволяет отсеивать незаинтересованных участников опроса |
На начальном этапе используются вопросы открытого типа. Цель данного этапа - собрать всю объективную информацию об исследуемом объекте, процессе либо ситуации и выделить наиболее существенные характеристики и ограничения.
9.3 Панельные исследования в области наноиндустрии
Постановка задачи исследования. Важно учесть, что экспертные панели первоначально были разработаны для решения задач социологии, экономики, маркетинга, рекламы и т.п. Там они, как правило, оценивают субъективную информацию качественного характера. Панельные исследования в области наноиндустрии имеют свои особенности по сравнению с аналогичными в других областях. Панельные экспертные опросы проводятся для изучения технических и социально-технических явлений. Поэтому в сферу исследования попадают тесно связанные между собой субъективные человеческие и объективные технические закономерности. Экспертная панель по наноиндустрии должна оценивать процессы в технике и связанную с этим человеческую деятельность, а также выявить и контролировать необходимый уровень компетентности специалистов для наноиндустрии. Для разработки анкет с целью решения указанных задач можно предложить схему, приведенную рис.9.6
Рис.9.6 Схема построения экспертных анкет для панели экспертов
Программные вопросы должны учесть важные особенности экспертных панелей для мониторинга наноиндустрии:
1. Объекты наноиндустрии имеют технический и социотехнический характер [64].
2. Процессы в наноиндустрии не только субъективные, но и объективные и подчиняются общим законам развития технических систем, законам физики и т.п.
3. Для прогнозирования нанотехнологий и эвристических прогнозов есть инструмент МКВ (МКС) – метод контрольных вопросов (метод контрольных списков).
4. Специфическая задача - контроль знаний, тестирование в области наноиндустрии идет параллельно с появлением этих знаний.
Создание системы мониторинга потребностей наноиндустрии в специалистах уровней начального, среднего и высшего профессионального образования и специалистах высшей квалификации с указанием требуемых от них умений и навыков, мониторинга потребностей предприятий ННС в переподготовке кадров и мониторинга данных о выпуске специалистов для нужд наноиндустрии, включая систему подготовки кадров и повышения квалификации.