Тема 1 Исследования и их роль в научной и практической деятельности человека

Вид материала

Исследование

Содержание 1. Эксперимент, определение и виды эксперимента. Подбор экспертов I метод - на основе самооценки экспертов. II метод. На основе оценки экспертами друг друга. Опрос экспертов Номинальная шкала (классификационная шкала, шкала наименований). Шкала интервалов. Шкала отношений Абсолютная шкала Парное сравнение. 2. Обработка результатов опроса экспертизы

Подобный материал:

• Соловьев А. В. Исследование систем управления учебное пособие Москва 2010 содержание, 3153.37kb.
• Методология и методика научно-педагогического исследования, 335.96kb.
• Темы рефератов Специальность «Социальная педагогика» Проблема сокращения биоразнообразия, 15.19kb.
• Тематическое планирование 9 класс № Тема урока, 746.02kb.
• Значение психологических знаний для практической деятельности врача, 185.4kb.
• Закономерностей наследования признаков, 94.71kb.
• Биология 9 класс, 1159.93kb.
• Ответы на билеты по биологии, 9 класс, 2011, 845.63kb.
• Билеты по биологии за курс основной школы (9 класс) Билет, 107.08kb.
• Методология и методика исторического исследования, 36.8kb.

Тема 9 Исследование управления посредством социально-экономического экспериментирования.

1. Эксперимент, определение и виды эксперимента.

2. Обработка результатов опроса экспертизы


1. Эксперимент, определение и виды эксперимента.

Технология экспертных оценок. Сущность метода экспертных оценок заключается в проведении экспер­тами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемая в результате об­работки обобщенное мнение экспертов принимается как решение проблемы.

При выполнении своей роли в процессе управления эксперты выполняют две основные функции:

1. формируют объекты (альтернативные ситуации, цели, решения и т.п.) на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта;
   
2. производят измерение характеристик этих объектов (вероятности свершений событий, коэффициенты значимости целей, предпочтение решений и т.п.).
   

Широкое применение метод экспертных оценок нашел при исследовании систем управления на всех уровнях. Перечислим типовые задачи, решаемые

методом экспертных оценок:

♦ составление перечня возможных событий в различных областях за определенный промежуток времени;

♦ определение наиболее вероятных интервалов времени свершения совокупности событий;

♦ определений целей и задач управления с упорядочением их по степени важности;

♦ определение альтернативных вариантов решения задачи с оценкой их
предпочтения;

♦ альтернативное распределение ресурсов для решения задач с оценкой
их предпочтительности;

♦ альтернативные варианты принятия решений в определенной ситуации
с оценкой их предпочтительности и др.

При использовании экспертных оценок возникают свои проблемы. Ос­новными из них являются: подбор экспертов, проведение опроса экспертов, об­работка результатов опроса.

Подбор экспертов

Экспертизу должны проводить люди, обладающие компетентностью, креативностью (т.е. способностью решать творческие, в значительной степени неопределенные и неформализованные задачи), нонконформизмом (противопо­ложен конформизму, т.е. свойству поддаваться общему мнению или мнению авторитетов), конструктивным мышлением, чувством коллективизма, са­мокритичностью, а также должным образом относящиеся к проведению экспертизы. Эти характеристики в большинстве случаев оцениваются качест­венно и лишь для компетентности существуют некоторые методы количествен­ной оценки. Одного общепринятого способа определения коэффициентов ком­петентности экспертов нет. Рассмотрим два наиболее простых метода.

I метод - на основе самооценки экспертов.

Коэффициент компетентности вычисляется по формуле:



где - коэффициент информированности по проблеме, получаемой на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0,1;

0_А - коэффициент аргументации, получаемый в результате суммирования

баллов по эталонной таблице.


Эталонная таблица

Источники аргументации	Степень влияния источника на Ваше мнение
	В (высокая)	С (средняя)	Н (низкая)
Проведенный Вами теоретический анализ	0,3	0,2	0,1
Ваш производственный опыт	0,5	0,4	0,2
Обобщение работ отечественных авторов	0,05	0,05	0,05
Обобщение работ зарубежных авторов	0,05	0,05	0,05
Ваше личное знакомство с состоянием дел за рубежом	0,05	0,05	0,05
Ваша интуиция	0,05	0,05	0,05

Эксперту дается эта таблица без цифр. Эксперт отмечает (крестиком), какой источник он оценивает по градациям В, С, Н. После наложения таблицы эксперта на эталонную таблицу подсчитывается количество баллов под крестиками по всем источникам аргументации. При этом, если =1, то степень влияния всех источников высокая, если =0,8, то средняя, и, если =0,5,то учитывается низкая степень источников аргументации. Коэффициент компетентности

II метод. На основе оценки экспертами друг друга.

Каждый эксперт оценивает компетентность всех членов экспертной груп­пы, в том числе и свою собственную, используя установленную заранее балль­ную шкалу. Например:

1. - слабая компетентность в рассматриваемой области;
   
2. - удовлетворительная компетентность в рассматриваемой области;
   
3. - хорошая компетентность в рассматриваемой области;
   
4. - высокая компетентность в рассматриваемой области.
   

В результате будет сформирована положительная квадратная матрица , есть балльная оценка z-тым экспертом компетентности h-того эксперта



Трудной задачей является также определение оптимального количествен­ного состава группы. Основным требованием здесь является эффективное ре­шение проблемы экспертизы, которое определяется характеристиками досто­верности экспертизы и затрат на нее.

Опрос экспертов

С точки зрения используемого вида опроса выделяют следующие модификации метода экспертных оценок:

- индивидуальные экспертные оценки: метод интервью, аналитические докладные записки, метод сценариев;

• коллективные экспертные оцени: метод комиссии,, метод «мозговых атак», метод «Дельфи», метод синектики.
  

Метод «интервью» предполагает беседу организатора прогнозной дея­тельности с прогнозистом-экспертом, в которой ставятся вопросы о будущем развитии рынка, состоянии фирмы и ее среды.

Метод аналитических докладных записок означает самостоятельную работу эксперта по анализу деловой ситуации и возможных путей ее разви­тия.

Метод составления сценариев получил высокую популярность в по­следние десятилетия.

Сценарий - это описание (картина) будущего, составленное с учетом правдоподобных предположений. Как правило, для прогноза ситуации харак­терно существование определенного количества вероятных вариантов развития. Поэтому прогноз обычно включает в себя несколько сценариев. В большинстве случаев это три сценария: оптимистический, пессимистический и средний — наиболее вероятный, ожидаемый.

Сценарии разрабатываются для определения рамок будущего развития рынка. Поскольку определение количественных параметров будущего затруд­нено (трудно точно определить величину продаж фирмы через 5 лет), при соcтавлении сценариев чаще всего используются качественные методы и интер­вальные прогнозы показателей.

Вместе с тем сценарий предполагает комплекс­ный подход для его разработки, помимо качественных могут использоваться количественные методы: экономико-математические, моделирование, анализ перекрестного влияния, корреляционный анализ и т.д.

Метод «комиссий» может означать организацию «круглого стола» и других подобных мероприятий, в рамках которой происходит согласование мнений экспертов.

Для методов «мозговой атаки» или «мозгового штурма» характерны коллективная генерация идей и творческое решение проблем. Мозговая атака представляет собой свободный, неструктурированный процесс генерирования любых идей по избранной теме, которые спонтанно высказываются участника­ми встречи. В качестве экспертов, как правило, принимаются не только специа­листы по данной проблеме, но и люди, которые являются специалистами в дру­гих областях знания. Дискуссия строится по заранее разработанному сценарию. Для успешного применения этого метода необходимо создать ряд условий:

• в обсуждении должно участвовать от 5 до 15 человек;
  
• продолжительность заседаний от 15 до 30 минут;
  
• равноправность всех участников заседания;
  
• критика в любом виде запрещается;
  
• количество важнее, чем качество;
  

Тематика проблемы сообщается участникам заседания непосредственно

перед его открытием.

На основе «мозгового штурма» У .Гордон в 1960 г. предложил метод синектики. Его главное отличие от «мозгового штурма» в том, что в качестве экспертов выступает стабильная по составу группа, которая от «штурма» к «штурму» накапливает определенный опыт. Кроме того, использование метода синектики допускает критические высказывания. Метод основан на принципе систематического отчуждения от исходной проблемы. Отчуждение достигается путем использования аналогий: фантастическая, личная, прямая, образная и т.д. Процесс синектического поиска идей включает следующие этапы:

• изучение проблемы;
  
• анализ проблемы и разъяснение ее экспертам;
  
• тестирование понимания проблемы;
  
• формулирование спонтанных решений;
  
• оценка руководителем понимания проблемы;
  
• образование аналогии;
  
• создание связи между аналогией и проблемой;
  
• переход к проблеме;
  
• разработка решения.
  

Специфика метода «Дельфи» заключается в том, что обобщение резуль­татов исследования осуществляется путем индивидуального письменного опро­са экспертов в несколько туров по специально разработанной процедуре иссле­дования. Перед каждым туром экспертов знакомят с итогами предыдущего опроса, но не для того, чтобы оказать на него давления, а для того, чтобы дать

до­полнительную информацию о предмете опроса. Идеально опрос повторяется до совпадения мнений экспертов, реально - до получения наиболее узкого диапа­зона мнений.

Надежность метода «Дельфи» считается высокой при прогнозировании как на срок от 1 до 3 лет, так и на более отдаленный период времени. В зависи­мости от цели прогноза для получения экспертных оценок может привлекаться от 1 до 150 экспертов.

Экспертное оценивание представляет собой процесс измерения, который можно определить как процедуру сравнения объектов по выбранным показате­лям (признакам). В это определение включены три понятия: объект, показатель (признак) и процедура сравнения. Задача измерения состоит в получении чи­словой информации об объекте.

Традиционное, классическое понимание измерения состоит в том, что значение признака, характеризующего объект, считается измеренным, если с необходимой точностью выполнено сравнение объекта с эталоном. Такой под­ход можно использовать при измерении значений количественных признаков. Качественные признаки эталонов не имеют, основой измерения в этом случае может служить сравнение объектов друг с другом, которое выполняет эксперт. Результат такого измерения удобно представить числом, которое является субъективной оценкой признака. Современная теория измерений позволяет рассматривать оба указанных вида измерений на основе единого формального подхода.

Рассмотрим основные типы шкал, применяемых при экспертном оцени­вании.

1. Номинальная шкала (классификационная шкала, шкала наименований). Используется для описания принадлежности объектов к определенным классам.
   
2. Порядковая (ранговая шкала). Применяется для измерения упорядочения объектов по одному или совокупности признаков. Ранг - это показатель, характеризующий порядковое место оцениваемого объекта в группе других таких же объектов. Обычно наиболее предпочтительному объекту присваивается
   первый ранг, а наименее желательному - последний.
   
3. Шкала интервалов. Применяется для отображения величины различия между свойствами объектов. Особенность шкалы состоит в том, что она не имеет общепринятого начала отсчета, но должна иметь единицу измерения. Наглядными примерами измерения в интервальной шкале являются летоисчисление и измерение температуры ( в градусах Фаренгейта или Цельсия). Основным свойством шкалы интервалов является равенство интервалов.
   
4. Шкала отношений, является частным случаем шкалы интервалов при выборе нулевой точки отсчета. В шкале отношений измеряются значения таких признаков, как вес, длина, величина тока и т.п.
   

5. Абсолютная шкала - частный случай шкалы интервалов. Эта шкала используется для измерения числа элементов некоторого конечного множества. Шкала имеет нулевую точку отсчета и единичный масштаб. Абсолютная шкала применяется, например, для измерения количества объектов (предметов, собы­тий, решений и т.р.), количество объектов измеряется единственным образом с помощью натуральных чисел.

К наиболее употребительным при экспертном оценивании методам из­мерений относятся: ранжирование, парное сравнение, непосредственная оцен­ка, последовательное сравнение.

Ранжирование - процедура упорядочения объектов. Следует отметить, что ранги определяют только порядок расположения объектов и не представ­ляют собой количественных оценок предпочтительности объекта относительно других объектов.

Парное сравнение. Практика показывает, что при числе объектов, больше 15-20, человеческая психика оказывается в затруднении построить их ранжировку. Более приемлемым в этом отношении является установление пред­почтения объектов при сравнении всех возможных пар. Парное сравнение есть измерение в шкале порядка.

Парное сравнение означает упорядочение пары объектов аi и аj и по­строение матрицы парных сравнений , элементы которой определяют­ся следующим образом:









Непосредственная оценка представляет собой процедуру приписывания объектам числовых значений в шкале интервалов. Разновидность такой оценки - балльная оценка.

Последовательное сравнение представляет собой комплексную процеду­ру измерения, включающую как ранжирование, так и непосредственную оцен­ку.

2. Обработка результатов опроса экспертизы

При обработке результатов экспертного оценивания используют количе­ственные и качественные методы. Удельный вес этих методов зависит от класса проблем, решаемых экспертным оцениванием.

Объекты, подвергаемые экспертизе, могут быть разделены на две груп­пы: на объекты, обладающие и не обладающие достаточным информационным потенциалом. При решении проблем второй группы экспертов нельзя рассмат­ривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения в данном случае может привести к большим ошибкам, т.к. мнение одного экс­перта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для решения проблем второй группы должны ис­пользоваться преимущественно методы качественного анализа с небольшим удельным весом количественных методов. Для первой же группы, наоборот, количественные методы обработки результатов группового экспертного оцени­вания должны быть преобладающими.

Учитывая, что проблемы первого класса являются наиболее распростра­ненными в практике экспертного оценивания, остановимся на количественных методах оценки.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:

1. построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;
   
2. построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;
   
3. определение относительных весов объектов;
   
4. определение согласованности мнений экспертов (см. практику на примере метода ранжирования);
   
5. определение зависимостей между ранжировками (см. практику);
   
6. оценка надежности результатов обработки (см. практику на примере метода ранжирования).
   

Построение обобщенной оценки объектов, определение относительных весов объектов

Пусть m экспертов произвели оценку n объектов по L показателям. Ре­зультаты оценки представлены в виде величин где h - номер эксперта i - номер объекта l – номер показателя (признака) сравнения представляют собой ранги при методе ранжирования; или числа из

некоторого отрезка числовой оси, или баллы - при методах непосредственной оценки или последовательного сравнения.

а) Рассмотрим вначале случай, когда величины получены методом непосредственной оценки или последовательного сравнения. Для получения групповой оценки объектов в этом случае можно воспользоваться средним зна­чением оценки для каждого объекта:

для одного показателя и без учета компетентности экспертов

(1)

для одного показателя с учетом компетентности экспертов

(2)

для нескольких показателей с учетом компетентности экспертов

(3)

где - коэффициенты весов показателей сравнения объектов;

- коэффициенты компетентности экспертов.



Коэффициенты весов показателей могут быть определены экспертным путем. Если - коэффициент веса - того показателя, даваемый - тым экс­пертом, то средний коэффициент веса - того показателя по всем экспертам равен:



Пример. Пусть нужно определить относительные веса объектов а1, а2 и а₃, каждый из которых характеризуется тремя признаками, при этом экспертов тоже три. В данном случае в качестве х выступают относительные веса объек­тов. Для проведения расчетов удобно воспользоваться таблицой 1, где записы­ваются значения относительных весов и указаны значения и .

Таблица 1

аi
	q1=0,4	q2=0,1	q3=0,5	q1=0,4	q2=0,1	q3=0,5	q1=0,4	q2=0,1	q3=0,5
а1	0,2	0,5	0,3	0,1	0,7	0,3	0,3	0,3	0,2	0,264
а2	0,6	0,4	0,3	0,5	0,2	0,2	0,2	0,1	0,3	0,337
а3	0,2	0,1	0,4	0,4	0,1	0,5	0,5	0,6	0,5	0,399

б) Рассмотрим теперь случай, когда эксперты производят оценку множества объектов методом ранжирования так, что величины есть ранги. обозначим их через . Обобщенная ранжировка может быть получена по способу сумм рангов. Если ранжировка выполняется по одному признаку, то использу­ют следующие формулы:

(4)

или

(5)

Пример. Результаты ранжировки представлены в таблице 2.

Таблица 2

Объекты а1 Эксперты h	а1	а2	а3	а4
1 (O1=0,3)	2	1	3	4
2 (O2=0,5)	2	1	3	4
3 (O3=0,2)	1	2,5	2,5	4
Сумма рангов без учета ком­петентности экспертов	5	4,5	8,5	12
С учетом компетентности экс­пертов	1,8	1,3	2,9	4

Из сравнения сумм рангов получаем цепочку неравенств




Отсюда следует обобщенная ранжировка



в) Рассмотрим случай, когда эксперты производят оценку множества объ­ектов методом парных сравнений