Методы проведения экспертиз

Министерство образования Российской Федерации

Московский авиационный институт

(государственный технический университет)

Реферат

по дисциплине/p>

Управление качеством/p>

на тему

Методы проведения экспертиз

Выполнила:

/p>

Проверил:

Трофимов А. В.

Москва 2006

Содержание./p>

Введени.3

Глава 1. Экспертные оценки.4

            Основные понятия об экспертных оценках..4

            Методы экспертиз6

Глава 2. Методы проведения

экспертиз 9

2.1. Метод Дельфи..9

2.2. Метод мозговой атаки.13

2.3. Метод Паттерн.15

Заключени..18

Список литературы.19

Введение.

Сложность производственных систем, их разнообразие и во многих случаях неопределенный характер поступающей информации, придают задаче правления творческий характер, повышающий роль человеческого фактора. Это непосредственно проявляется в возрастающей роли в современном правлении методов экспертных оценок.

По мере сложнения производственных технологий, следовательно, и процесса разработки решений, внимание к экспертным оценкам существенно возросло. Официальным началом становления экспертных методов считают 50 - 60-е годы ХХ века.

Поэтому возникает проблема применения экспертных оценок в правлении.

Целью работы является рассмотреть применение методов экспертных оценока в правлении качеством.

Глава 1. Экспертные оценки.

1.1. Основные понятия об экспертных оценках.

Сущность экспертных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами обработки и анализа полученных результатов. При этома обобщенное мнение экспертов принимается как возможное решение проблемы.

Эксперт (от лат. еxpertus - опытный) - это высококвалифицированный специалист.

Формирование состава экспертной комиссии зависит от конкретной ситуации принятия решений, возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов, возможностей специалистов принять частие в работе экспертной комиссии.

Применяют три основные группы методов оценки качеств эксперта: априорные, апостериорные и тестовые.

приорные методы оценки качеств эксперта не используют информацию о результатах частия в предшествовавших экспертизах. Эта группа включаета методы самооценивания, когда эксперт сам дает оценку своим качествам, используя следующие способы:

-самооценка по одной из балльных шкал;

-самооценка с использованием числовых шкал, которые наряду с числовыми значениями градаций содержат их качественное описание;

-самооценка по вербальной шкале, т.е. эксперт, дает словесную оценку своим знаниям, используя качественные градации заранее разработанной шкалы;

-самооценка дифференцированным методом, когда эксперт оценивает свои качества, используя два основных критерия: характеризующий его знакомства с основными источниками информации в данной области; характеризующий его знакомство с объектом экспертизы. При этом способе комплексная самооценка эксперта рассчитывается по формуле:

Кк = (Ки + с × Кз):2,

где Кк - комплексная самооценка эксперта;

Ки - коэффициент информированности;

с - весовой коэффициент;

Кз - коэффициент знакомства с проблемой.

К другой группе априорных методов оценки качеств эксперта относятся: метод взаимной оценки (метод списка экспертов) и документальный (анкетный) метод.

постериорные методы оценки качеств эксперта используют результаты его частия в предыдущих опросах. С их помощью могут быть выявлены конформизм, конъюнктурность и компетентность эксперта. Для оценки ровня компетентности может быть применен метод парных сравнений.

постериорные методы предполагают также оценку достоверности суждений эксперта. В качестве критерия используется коэффициент достоверности - относительная частот случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям.

Еще одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки. Он основан на расчете коэффициента отклонения Ко.

Коi = Doi:Dmax,

где Коi - коэффициент отклонения суждений i-го эксперта;

Doi - отклонение индивидуальной оценки i-го эксперта от результирующей оценки;

Dmax - максимально возможное отклонение оценки эксперта от результирующей оценки.

Тестовые методы оценивания качеств эксперта основываются на выполнении испытуемым экспертом заранее подготовленного задания. Достоинство тестовых методов состоит в том, что они позволяют не только становить наличие у эксперта определенного профессионального ровня, но и выявить навыки и опыт, необходимые для эффективного частия в работе экспертной комиссии. Использование тестовых методов позволяет оценить и воспроизводимость экспертных оценок.

Главными задачами экспертных оценок являются:

1.     Определение целей.

2.     Экстренный прогноз.

3.     Сценарии ожидаемого развития ситуации.

4.     Генерирование альтернативных вариантов.

5.     Определение рейтингов.

6.     Оценочные системы.

7.     Принятие коллективных решений.

Различают экспертизы однотуровые и многотуровые, анонимные и предусматривающие открытый обмен мнениями, с обменом информацией в процессе проведения экспертиз и без него и т. д. Характер экспертной информации, которую предполагается использовать принятии решений, налагает определенные требования на выбор конкретного метода экспертизы.

1.2. Методы экспертиз.

Рассмотрим далее наиболее популярные методы экспертиз:

- Метод комиссий - это открытая дискуссия по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. Преимущества метода комиссий: возможен рост информированности экспертов за счет обсуждения обоснования экспертных оценок и обратная связь (под воздействием полученной информации эксперт может изменить первоначальную точку зрения). Также метод комиссий обладает и недостатками: отсутствует анонимность, что может привести к появлению конформизма; дискуссия нередко принимает вид полемики наиболее авторитетных экспертов; различная активность экспертов, часто не совпадающая с их компетентностью; публичность высказываний сочетается порой с нежеланием некоторых экспертов отступить от ранее высказанного мнения, хотя оно в ходе дискуссии может претерпеть изменения.

- Экспертиза по методу суда. Состав экспертов делится на две группы. Одна объявляется сторонниками рассматриваемой альтернативы и выступает в качестве защиты. Другая объявляется ее противниками и пытается выявить отрицательные стороны, Возможна и третья сторона, которая регулирует ход экспертизы и выносит окончательное решение.

- Метод прогнозного графа. Качество прогнозов зависит от корректно проведенной экспертизы и обработки ее результатов. Известным методом экспертиз сложных систем является метод прогнозного графа. Он включает несколько туров. На первом туре составляется предварительный список промежуточных целей, необходимых для достижения конечной цели. На втором туре подвергаются анализу промежуточные цели. Последующие туры экспертизы аналогичны второму. Процедура заканчивается на том туре, когда больше не требуется дополнительных анализов и детализации.

- Метод сценариев. Сценарий означает сюжетную схему, т.е. заранее подготовленный детальный план осуществления чего-либо. Сценарии позволяют с определенным ровнем достоверности выявить возможные тенденции развития событий, взаимосвязи между взаимодействующими факторами, сформировать картину состояний, к которым может прийти ситуация под влиянием конкретных воздействий.

Каждый сценарий может быть реализован в нескольких вариантах. Вариант - небольшие (незначительные) изменения каких-либо параметров системы в рамках сценария.

Разработка сценариев способствует предвидению потенциальной опасности, с которой сопряжены варианты управленческих воздействий и неблагоприятное развитие событий. Использование специальных компьютерных систем, также датчиков случайных чисел, с последующим исключением невозможных ситуаций, расширяет горизонт анализа альтернативных вариантов в составе сценариев и выбор наиболее эффективного.

В составе экспертных методов, наиболее активно используемых в настоящее время, наиболее известны метод Дельфи и метод мозговой атаки.

Глава 2. Методы проведения экспертиз.

2.1. Метод Дельфи.

Метод Дельфи один из основных в проведении групповых экспертиз и имеет различные модификации. Фактически это группа процедур, объединенных общими требованиями к организации экспертизы и форме получения экспертных оценок. В нем предусматривается создание словий, обеспечивающих наиболее продуктивную работу экспертной комиссии, что достигается анонимность процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы - с другой. Метод разработан и применен в США впервые в 1964 г. сотрудниками научно-исследовательской корпорации РЭНД О. Хелмером и Т. Гордоном.

Метод Дельфи целесообразно применять в таких случаях, когда имеющиеся в распоряжении или доступные данные непригодны для анализа существующее проблемы; в распоряжении нет нужных данных; нет достаточного времени для сбора данных; процесс получения и анализа необходимых данных слишком дорог.

Метод Дельфи предусматривает создание словий, обеспечивающих эффективную работу экспертной комиссии. Это достигается анонимностью процедуры и возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мнения. Важное свойство - это обратная связь, позволяющая экспертам корректировать свои суждения с четом промежуточных средненных оценок и пояснений экспертов, высказавших крайние точки зрения. Для реализации обратной связи необходима многотуровая процедура. Экспертиза проводится чаще всего в четыре тура.

Прямые дебаты заменены тщательно разработанной программой последовательных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой согласованности всей совокупности высказанных мнений. Перед рассылкой анкеты эксперту объясняется проблема.

На первом туре экспертам сообщается цель экспертизы и формируются вопросы, ответы на которые составляют основное содержание экспертизы.

Успеху экспертизы способствует предоставление эксперту дополнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших крайние точки зрения, давших самую высокую и самую низкую оценку альтернативе. средненное мнение экспертов - медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативы, выше и ниже которых расположены 25% числовых значений оценок. Расстояние между квартилями характеризует разброс экспертных оценок, т.е. согласованность точек зрения экспертов.

Вводятся следующие обозначения:

T ₀ - значение наиболее ранней оценки;

T _0,25 - значение оценки, определяющейа 25%а наиболее ранних оценок (из всех имеющихся), - нижний квартиль;

T _0,5 - значение оценки, разделяющий порядоченную по оси времени совокупность оценок на две равные по количеству оценок части, - медиана;

T _0,75 - значение оценки, определяющей 25% наиболее поздник оценок (из всех имеющихся), - верхний квартиль;

T _1,0 - значение наиболее поздней оценки.

Степень согласованности мнений экспертов определяюта коэффициентом вариации υ, который не должен превышать 33%. Он рассчитывается по формуле

аσ

υ= ─ ×100%,

х

где х - средне квадратическое отклонениеа оценок;

σ - квартиль.

σ=√[∑(xi н x)²]:n,

где х - среднее значение оценок;

хi - оценка каждого эксперта;

n н число экспертов.

Медиана - это значение оценки, которое находится в середине ранжированного ряда. Для нахождения медианы ряда с четным числом складывают два средних варианта и делят сумму пополам.

На втором туре экспертам предъявляется средненная оценка экспертной комиссии и обоснования экспертов, высказавших крайние точки зрения. Обоснования принимаются анонимно, без казания имен экспертов. Скорректированная информация вновь поступает в аналитическую группу. На третьем туре эта информация вместе с анонимными аргументациями поставленных оценок снова направляется каждому частнику. На основе полученной информации эксперты пересматривают предыдущие оценки. На четвертом туре каждому эксперту предоставляется право распределения оценок третьего тура, и он должен снова представить на рассмотрение пересмотренную оценку, чтя полученную информацию. В некоторых случаях согласованная точка зрения экспертов может быть получена уже после второго или третьего туров. Тогда необходимость проведения следующих туров отпадает.

При использовании метода Дельфи полезно учитывать следующее:

1.     Группы экспертов должны быть стабильными.

2.     Время между турами опросов не должно быть более месяца.

3.     Вопросы в анкетах должны быть тщательно продуманны и однозначно сформулированы.

4.     Число туров должно быть достаточным, чтобы обеспечить всем частникам возможность ознакомиться с причиной появления оценки, также для критики этих причин.

5.     Должен проводиться систематический отбор экспертов.

6.     Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

7.     Нужна формула согласованности оценок, основанная на данных самооценок.

8.     Необходимо становить влияние различных видов передачи информации экспертам по каналам обратной связи.

Метод Дельфи является достаточно надежным инструментом получения экспертной информации. С его помощью выявляется преобладающее суждение специалистов.

После первой апробации метода Дельфи были разработаны различные его модификации. Все модификации могут быть охарактеризованы следующим образом:

-составление классификатора событий, которые экспертам предстоит анализировать;

-предварительное описание прогнозного фона;

-уменьшение числа туров опроса;

-характер вопросов, задаваемых экспертам, и соответствующие математические процедуры получения групповых прогнозных оценок.

Модифицирование метода Дельфи было связанно с расширением области его применения.

Классический метод Дельфи, созданный для прогнозирования научных открытий и времени их свершения, стал использоваться для оценки приоритетности направлений прикладных исследований, а также для анализа перспективности технических (конструкторских и технологических) решений и даже для оценки количественных показателей разрабатываемых технических объектов, технологических процессов и т.д.

2.2. Метод мозговой атаки.

Этот метод, известный также под названиями лмозговой штурм и конференция идей, был предложен американским ченым А. Осборном в 1955 году. Основная направленность метода - выявление новых идей и решений.

Метод мозговой атаки характеризуется открытым высказыванием мнений специалистов (на специальном заседании) по решению конкретной задачи. При этом должны соблюдаться дв словия: 1) запрещается критика чужих суждений; 2) предполагается высказывать любые идеи по решению данного вопроса без чета их сиюминутной ценности или возможности реализации. Все высказанные идеи фиксируются и после обсуждения детально прорабатываются. Достоинством метода мозговой атаки является возможность принятия решения за сравнительно короткий срок.

При реализации метода мозговой атаки может применяться принцип Парето. После регистрации идей из всей их совокупности каждым экспертом отбирается 20% идей, с их точки зрения заслуживающих наибольшего внимания. Далее из их состава отбираются те, которые получили наибольшее количество очков. Применение этого метода страняет эффект конформизма, т.е. приспособленчества, позволяет получить продуктивные результаты за короткое время, вовлечь всех экспертов в активный творческий процесс.

Метод мозгового штурма основан на следующих принципах:

1. В решении поставленной задачи частвуют две группы людей: генераторы идеи и эксперты.

2. При генерировании не должно быть никаких ограничений.

3. Философская основа метода мозгового штурма - теория З. Фрейда, согласно которой сознание человека представляет собой топкое и непрочное наслоение над подсознанием.

Основное достоинство метода мозговой атаки - в запрете на критику.

Весь процесс латаки можно разделить на шесть этапов:

1.       Формируется группа экспертов (10 - 15 человек). Состав группы предполагает их целенаправленныйа подбор.

2.       Составляется проблемная записка. Для подготовки записки предварительноа формируется группа анализа проблемной ситуации.

3.       Генерация идей. Продолжительность штурма может составлять 20 - 60 минут (в зависимости от активности частников).

4.       Систематизация идей, высказанных на третьем этапе (генерации).

5.       Деструирование (разрушение) систематизированных идей. Каждая из систематизированных идей изучается на возможность ее осуществления.

6.       Оценка критических замечанийа и составление списка практически применимых идей.

Мозговая атака может иметь различные модификации. При решении проблем численность людей, как генераторов, так и экспертов, обычно не превышает шести человек, продолжительность штурма не более 20 минут.

2.3. Метод Паттерн.

Метод Паттерн позволяет анализировать и ранжировать по степени важности сведения в любой области деятельности таким образом, чтобы можно было представить сложное и взаимное соотношение постоянных и переменных факторов.

Инициатором создания метода Паттерн считают вице-президента организации Хониуэлл Ч. Дэвиса (1963 г.). Иерархическая модель метода Паттерн строится исходя из принципов дедуктивной логики путем деления проблем на подпроблемы.

Разработка иерархического дерева по методу Паттерн начинается с составления сценария. Сценарий устанавливает соотношение целей, в общем, их наборе путем группового экспертного анализа.

Дерево целей для оценки относительной важности всех входящих элементов строится сверху вниз исходя из сценария, ровень за ровнем, чтобы мероприятия последующего ровня обеспечивали задачи предыдущего. Древо целей состоит из восьми ровней: О - национальные цели; А - мероприятия; В - задачи; С - задания; D - принципы системы; Е - функциональные подсистемы; F - конструкции функциональных под систем; G - технические проблемы. Каждый ровень имеета определенное количество элементов, например, уровень О имеет 1 элемент, ровень А - 3, ровень В - 6, ровень С - 46 и т.д.

Главным преимуществом информационного обеспечения метода Паттерн является возможность количественной оценки всех элементов, входящих в дерево целей, в виде весов, т.е. коэффициентов их относительной важности (Ri).

Количество туров зависит от квалификации специалистов и их опыта; считается, что в среднем достаточно трех туров голосования для групп, состоящих из 10 - 12 человек.

Для каждого из ровней (от А до G) составляется матрица соответствия элементов данного ровня критериям.

Заполнение матрицы (табл. 1)а является главной целью экспертной оценки. Такой способ заполнения матрицы является существенным лучшением методики интуитивной оценки, используемой в других методах (например, метод Дельфи). Таблица 1. Общая форма матрицы соответствия.

Критерий (i)	Вес критерия (Kbi)	1	2	3	Е	n
1	Кb1	S11	S12	S13	...	S1n
2	Кb2	S21	S22	S23	...	S2n
3	Кb3	S31	S32	S33	...	S3n
Е	Е	...	...	...	...	...
m/p>	Кbm/p>	Sm1	Sm2	Sm3	...	Smn

Дерево состоит из элементов (узлов), ветвей (линий) и семейств. Семейство дерева решений включает конкретный элемент и непосредственно связанные с ними элементы.

В соответствии с методом Паттерн для каждого ровня составляется матрица соответствия элементов ровня выбранным критериям.

Следующей задачей является нахождение оценок дочерних элементов лдерева (Sij). Для этого используется метод Чермера - Акоффа, который заключается в систематической проверке суждений об отношениях оцениваемых величин с помощью последовательных сравнений. Для этого эксперты порядочивают величины сначала по степени важности. Затем необходимо присвоить значение 1 наиболее важному результату, остальным - меньшие значения. Далее проводится сравнение этого результата и суммы менее важных оценок. Затем полученные оценки лнормировались путем деления каждой из них на соответствующую сумму.

На основании данных по методу Паттерн рассчитываются искомые коэффициенты относительной важности. Рассчитывается по формуле:

Ri = ΣKbi × Sij

Рассчитанные значения Ri вписываются возле соответствующего элемента на графическом изображении дерева целей. Затем перемножают оценки, соответствующие каждому элементу дерева и относящиеся к каждой ветви.

По этим результатама можно оценивать варианты и выбрать то из них, которое соответствует максимальной величине произведения, также ранжировать последовательность вариантов решений.

Следовательно, для управления качеством, необходимо выбрать наиболее эффективный метод экспертных оценок.

Заключение.

Таким образом, сущность экспертных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки полученных результатов. При этом обобщенное мнение экспертов принимается как решение проблемы.

Класс экспертных методов основан на использовании экспертов в качестве основных источников информации относительно перспектив развития объекта правления.

Особое внимание делено применению экспертных методов Дельфи, мозговой атаки, Паттерн при проведении экспертиз.

Список литературы.

1.     Бешелев С.Д., Гурович Ф.П. Экспертные оценки. М.: Наука, 1982.

2.     Евланов Л.Г., Кутузов В.А. Экспертные оценки в правлении. М.: Экономика, 1978.

3.     Литвак Б.Г. Экспертные оценки и принятие решений. М.: Патент, 1996.

а