Купер, А

Вид материала

Краткое содержание

Содержание Типы валидности

Подобный материал:

• Сэр Эстли Купер (Sir Astley Cooper), 25.75kb.
• Книга эскизов". Д. Ф. Купер. Пенталогия о Кожаном Чулке. Э. А. По. Рассказы и стихи., 8.44kb.
• Жить с человеком на его лугах, 2157.66kb.
• Стивена Фрирза «Неотразимая Тамара», 763.14kb.
• Купер, А, 3915.32kb.
• Р. Л. Стайн Собаки-призраки, 633.33kb.
• Книга была издана с предисловием некоего г-на В. Купера, которое также предлагается, 1279.24kb.

Глава 4. Оценочные стандарты для методов отбора персонала ■ 63

иска кандидатов на должность генерального директора решено было вос­пользоваться услугами компании по подбору руководящих кадров. Для облегчения процедуры первоначального отбора персонала был разра­ботан подробный профессионально-ориентированный опросник (см. гла­ву 8), который, как было уже известно, был надежным и валидным способом прогнозирования качества выполнения работы и уровня текучести кадров. Затем были выбраны батареи психологических тестов (см. главу 8), позво­ляющие определить кандидатов, подходящих для замещения руководящих должностей различного уровня. Было решено использовать упражнение по выбору профессиональных задач (Job Choice Exercise, Stahl, 1983), позволяю­щее определить, достаточно ли хорошо кандидаты выполняют свои обязан­ности. Кроме того, выбор этого упражнения определялся тем, что оно позво­ляет справедливо оценить кандидатов независимо от их половой и расовой принадлежности, а также тем, что на выполнение теста требуется всего 20 ми­нут. Также был выбран и личностный опросник «Шкала управленческого по­тенциала» (Management potential scale) из Калифорнийского психологиче­ского опросника (California Psychology Inventory) (Gough, 1984), поскольку он помогает выявить социально компетентных менеджеров, способных работать продуктивно, ориентируясь на достижение цели, а также тех, кто обречен на провал, поскольку склонен действовать хаотично и легко поддаваться пере­менам настроения. Также для отбора кандидатов решено было использовать упражнения на анализ документов (in-tray exercises) (см. главу 7), чтобы оце­нить умение руководить, планировать и принимать решения. В качестве средства для отсева неподходящих кандидатов использовался биографический опросник. Пятьдесят кандидатов были приглашены для от­бора на руководящие должности. Каждый из них выполнил комплекс тестов и упражнений на анализ документов. После прохождения этого этапа были отсеяны двадцать человек. Оставшиеся тридцать прошли серию формализо­ванных собеседований (см. главу 6), которые проводили независимо друг от друга пять специалистов. Была произведена проверка надежности оценок разных специалистов, проводивших собеседование, которая позволила прий­ти к решению об отборе кандидатов, не вызывающему разногласий. Согласие оценивающих между собой достигло 88%, что является достаточно высоким показателем. Затем на работу приняли двадцать пять человек из числа кан­дидатов. Оценка работы руководящей группы, проведенная годом позднее, доказала, что применение различных методов отбора было эффективным. Производительность оказалась на 25% выше, чем на аналогичных заводах в Канаде. Кроме того, проведенные опросы показали высокую степень моти­вированности сотрудников и их удовлетворение от выполняемой работы. Последующая оценка достижений, проведенная через два года, а затем че­рез пять лет показала рост производительности на 15% и увеличение доли компании на рынке на 3%.

В вышеприведенном примере видно, что компании «Грейтплей» удалось удовлетворить свои потребности, поскольку кадровые специ­алисты посвятили необходимое время оцениванию методов отбора

64 ■ Глава 4. Оценочные стандарты для методов отбора персонала

с точки зрения четырех оценочных стандартов. Тем самым они обес­печили рассмотрение возможных кандидатур исключительно с точки зрения их способности выполнять данную работу и профессионально необходимых характеристик личности. Последующая оценка работы отобранных кандидатов показала, что такой вдумчивый подход был весьма выгоден для организации, поскольку год за годом продолжали расти и производительность предприятия, и его доля на рынке. Ком­пания достигла этой цели, выбрав методы отбора, соответствующие каждой профессиональной функции и надежно выявляющие пригод­ность кандидата, и в то же время прогнозируя результаты профессио­нальной деятельности в будущем.

Для наиболее удачного выбора различных методов отбора или те­стов желательно заранее установить требования, предъявляемые к про­цедуре кадрового отбора, с целью обеспечить прием на конкретную должность наиболее подходящих кандидатов (см. главу 5). На прак­тике независимо от того, какие методы решено использовать для си­стематического отбора кадров, требуется, чтобы эти методы соответ­ствовали некоторым стандартам, в особенности тем, которые связаны с надежностью, валпдностыо, интерпретируемостью и практичностью. Также следует подчеркнуть, что, поскольку эти стандарты относятся к любой системе измерения, методы, использующиеся для оценки про­фессиональной деятельности кандидатов в будущем, также должны обладать этими характеристиками, поскольку иначе валидация про­цедуры отбора теряет всякий смысл.

Надежность

Очевидно, что совершенно необходимо иметь надежные инстру­менты измерения, поскольку иначе специалисты по персоналу не мо­гут даже в малейшей степени доверять результатам процедуры отбора. Непротиворечивость измерений является фундаментальной основой самой концепции надежности, и следовательно, важнейшим стандар­том при оценке любого метода отбора. Если тест или метод отбора не­надежен, то специалисты по персоналу получают результаты ничуть не лучше, чем если бы они выбирали сотрудников «методом тыка» или вытягивали из шляпы бумажки с именами. Принципиально надеж­ность любой системы измерения может быть определена путем много­кратного измерения характеристик одного и того же объекта в одних


Надежность ■ 65

и тех же условиях. Это объясняется тем, что средний результат, полу­ченный по итогам проведения ста испытаний, более надежен, чем лю­бой отдельный результат, поскольку нетипичные обстоятельства (на­пример, похмельный синдром) могут влиять на результат какого-либо одного теста, по при усреднении данных эти отклонения компенсиру­ются; также сглаживаются различия, возникшие по причине неудач­ной, непонятной формулировки вопроса. По сути, чем более согласо­ваны результаты друге другом, тем более надежна система измерения. Предположим, что компания «Грейтплей» перед кадровыми со­беседованиями провела для ста человек предварительное испытание двух метов: структурированного собеседования, когда каждому кандидату задаются одни и те же вопросы в одном и том же порядке, и традиционное собеседование в свободной форме, в ходе которого кадровые специалисты могут задавать любые вопросы, которые сочтут нужными. Предположим, что согласие между сотрудниками, прово­дившими собеседование, по поводу решения об отборе кандидатов со­ставило 95% в случае структурированных собеседований и 37% для собеседований в свободной форме. Это явно указывало бы па то, что более надежным является структурированное собеседование, посколь­ку при его проведении постоянно наблюдался более высокий уровень согласия между сотрудниками, проводившими собеседование.

Типы надежности

В большинстве случаев дорого и непрактично выявлять надеж­ность метода отбора кадров путем его многократного проведения, и поэтому часто требуется другая стратегия. Например, перед тем как применить на практике упражнения на анализ документов, компания «Грейтплей» могла бы определить их надежность, проведя тестирова­ние одной и той же группы своих сотрудников с помощью этих тестов два раза в разное время. В этом случае надежность метода определялась бы путём анализа корреляции между двумя группами результатов. Поскольку надежный метод измерения должен для каждого из испытуемых давать очень близкие показатели, корреляция результа­тов используется в качестве показателя стабильности. Чем выше уро­вень корреляции, тем ближе соответствие баллов, полученных каж­дым отдельным кандидатом при повторном проведении процедуры отбора, и тем надежнее, следовательно, окажется метод. Приведенная здесь стратегия, использованная для оценки надежности упражне­ния на анализ документов, называется «тест-ретестовая надежность»,

3 -294

66 ■ Глава 4. Оценочные стандарты для методов отбора персонала

и главной ее целью является определение стабильности измерений по прошествии времени (см. Curelon, 1971). По сути, при помощи кон­кретного метода получают результаты для некоторого числа кандида­тов, а затем, по прошествии определенного времени, тех же самых кан­дидатов просят повторно выполнить течт. Основным недостатком дан­ного подхода является то, что кандидаты во время первого испытания могут чему-то научиться и, таким образом, показать лучшие резуль­таты при проведении повторного тестирования, за счет чего снизится коэффициент надежности. Можно сделать вывод, что огромную роль играет то, какой отрезок времени прошел с момента первого проведе­ния теста. В целом чем меньше прошло времени, тем вероятнее, что сыграет свою роль эффект обучения, которое происходит при первом тестировании. Аналогичным образом при слишком большом проме­жутке времени могут оказывать влияние другие факторы, например приобретение опыта, который опять же снизит показатель надежно­сти измерения. Оптимальный промежуток времени назвать сложно, но в большинстве тест-ретсстовых исследований он составляет от од­ного до трех месяцев.

В случаях, когда существуют две различных версии одного и того же теста пли процедуры отбора, коэффициент надежности может определяться путем корреляции результатов, полученных при помо­щи разных вариантов теста. Такой вид надежности называется «надежность параллельных форм» (parallel fonn reliability), но в большин­стве случаев его применение считается нецелесообразным из-за того, что разработка двух отдельных форм измерения является дорогосто­ящей и требует больших временных затрат. Поэтому метод параллель­ных форм используется почти исключительно в тех случаях, когда по каким-либо причинам уже существуют две версии теста. Необходимо обеспечить соответствие тематики, сложности и типов заданий в обе­их версиях. В противном случае подученный коэффициент надежно­сти будет просто отражать уровень менее удачного варианта теста, скрывая достоинства более удачной версии. В результате обе версии могут быть признаны непригодными для отбора кадров, несмотря на то что лучшая версия может быть весьма и весьма надежной. Кроме того, могут возникнуть проблемы, связанные с проведен нем этих двух измерений. Если выполнение заданий кандидатами не будет одина­ковым в обоих случаях (если, например, испытуемые не отнесутся к обеим версиям одинаково вдумчиво и внимательно), надежность ме­тода, вероятнее всего, останется недооценена. Аналогичным образом


Надежность ■ 67

если испытуемые выполняют версии теста, находясь в различном на­строении, то оценка надежности может быть завышена.

Более часто используется другой метод, логически основанный на параллельных формах, — метод внутренней непротиворечивости. В этом случае не требуется разрабатывать двух вариантов одного и того же теста; тест делится на две части (например, на задания с чет­ными и нечетными номерами). Затем выявляется корреляция резуль­татов, полученных при выполнении каждой половины теста, между собой. Основным преимуществом этой формы оценки надежности является удобство ее проведения, позволяющее снизить общую сум­му затрат. Однако важно учитывать и то, что такая форма оценки на­дежности имеет свои минусы. Говоря простым языком, деление на два пункта, используемых для определения показателей на любой шкале, снижает надежность оценки, поскольку короткая шкала менее надеж­на, чем длинная. Такие отклонения при оценивании могут быть скор­ректированы по формуле Спермана— Брауна (см. Smith and Robert­son, 1993). Однако на практике применение таких компьютерных про­грамм, как SPSS (« Пакет статистических программ для применения в сфере социальных наук», Statistical Package for Social Sciences) позво­ляет избавиться от необходимости использовать эту формулу, по­скольку оценку надежности можно получить с помощью операций, в которых учитываются все задания теста. Наиболее распространен­ными показателями внутренней непротиворечивости являются аль­фа Кронбаха (Cronbach, 1951), использующаяся в случаях, когда эле­менты теста оцениваются при помощи какой-либо рейтинговой шка­лы, а также индекс Кулера-Ричардсона (Knder-Richardson, 1937), который используется, если оценивание производится но принципу «да или нет». В действительности оба метода позволяют подсчитать среднее значение для любого возможного показателя надежности средства оценивания при помощи разделения результатов задания на две равные части, хотя получаем ый в 11тоге результат несколько завы­шений (приблизительно на 3%) указывает общую надежность метода. Метод внутренней непротиворечивости, включающий использование альфы Кронбаха или показателя Кудера-Ричардсона, является наибо­лее распространенным из всех методов оценки надежности, применя­емых издателями тестов.

Другой важной формой оценки надежности, которую мы видели на примере компании «Грейтплей», является_межэкспертная надежность (inter-rater reliability); она показывает степень согласия оценивающих

3'

68 ■ Глава 4. Оценочные стандарты для методов отбора персонала

между собой. Способ в основном применяется для определения на­дежности собеседований или других методов отбора, в основе кото­рых лежит субъективная оценка. Как правило, оценщики проходят обучение тому, как следует применять какую-либо систему однознач­ного оценивания. Затем двое оценщиков определяют баллы для не­большой репрезентативной выборки результатов прохождения про­цедуры отбора. Любые возникшие расхождения обсуждаются, и в ито­ге оба оценщика приходят к единому мнению по поводу проведения балльной оценки конкретных аспектов. Затем оба оценщика незави­симо друг от друга проводят оценивание всех кандидатов, после чего осуществляется корреляция результатов, полученных одним из оцен­щиков, с результатами, полученными другим. Желательно, чтобы ко­эффициент межзкеиертпой надежности оказался более 0,8, т. е. согла­сие оценщиков составило 80%. Если выявлен показатель ниже этой отметки, это говорит о наличии некоторых проблем. Очевидно, что чем ниже коэффициент надежности, тем о более серьезных пробле­мах это свидетельствует. Наиболее вероятная причина несоответствий бывает вызвана тем, что, несмотря на первоначальную договоренность по поводу того, как, оценивая качества кандидата, начислять баллы по конкретным аспектам, разные люди, занимающиеся отбором пер­сонала, при определении своих оценок полагаются на слегка различ­ные критерии. Например, для одного из оценщиков более важным ока­жется наличие определенного уровня образования, а для других — практически опыт реальной работы. В других случаях может оказать­ся, что один из оценщиков будет более снисходителен при оценке кандидатов, чем остальные. Вследствие этого очень важно выявить проблемы, возникшие при оценивании и снижающие коэффициент надежности, и принять меры в соответствующем направлении. Ис­пользование ненадежных методов измерения может привести к ошиб­кам, которые дорого обойдутся организации.

Валидность

Не менее важно понятие валидности, под которым подразумевает­ся точность измерения. Любой системе измерения, для того чтобы быть точной, необходимо измерять именно то, для чего она предназ­начена. Если обнаруживается, что система измерения имеет высокую надежность, но не обеспечивает точности результатов, то такая систе­ма имеет низкую валидность и, несмотря на надежность, является не-


Валидность ■ 69

качественной. Валидность теста является чрезвычайно важным оце­ночным стандартом. До того как любой конкретный тест будет ис­пользоваться при отборе, специалист по кадрам должен убедиться, что тест валиден для достижения поставленной цели, т. е. обеспечивает точное измерение исследуемого качества или качеств. Этот этан име­ет решающее значение, поскольку на результаты тестов будут пола­гаться при прогнозировании профессиональной деятельности канди­дата. В виде примера приведем использование детектора лжи в каче­стве способа отбора кандидатов но признаку их честности. В 1986 году врачи провели испытания детектора лжи на 1000 человек, при этом 500 испытуемых получили задание говорить правду, а 500 осталь­ных — лгать. Детектор лжи показал, что 185 человек, говоривших правду, — лжецы, а 120 человек лжецов признал правдивыми. Эти результаты показывают, что детектор лжи не является вполне валидным способом измерения честности. Возможно, он является совершенно надежным и дает одинаковые результаты в каждом случае своего при­менения по отношению к одному п тому же человеку. Поданный ме­тод не валиден, поскольку дает неверные результаты и недостаточно точно измеряет честность.

Строго говоря, валидацпя имеет в основном отношение к интер­претации результатов, происходящей после применения какого-либо конкретного теста или метода, а не самих процедур тестирова­ния. Это особенно важно, поскольку тест может быть валиден для из­мерения одного явления и не валиден для другого. Например, в тестах, предназначенных для отбора программистов-стажеров, составители обычно считают показателем будущих профессиональных достиже­ний математические способности. Однако современное программиро­вание требует высокого уровня не столько математического, сколько вербального мышления (Penney and Lazzarini, 1979), следовательно, эти тесты не являются валидными для отбора программистов. При этом они могут, например, быть валидны для оценки кандидатов на должности, где важны способности к математике. Следовательно, ва-лидация может проводиться только но отношению к той цели, с кото­рой будет применяться тест.

Типы валидности

Наиболее важные определения валидности связаны с понятиями содержательной, конструктнои и критериальной валидности; каждое из этих трех понятий само по себе является оценочным стандартом.

70 ■ Глава 4. Оценочные стандарты для методов отбора персонала

При этом необходимо иметь в виду, что тест или метод отбора должен обладать всеми тремя типами валидности. Содержательная валпд ность, часто делится на два самостоятельных аспекта: очевидную и собственно содержательную валидпость. Очевидная валидпость по­казывает мнение людей по поводу того, насколько хорошо тест изме­ряет показатели, для оценки которых он предназначен; таким обра­зом, очевидная валидпость вообще не является видом валидности как таковой. Хотя некоторые высказывают мнение, что очевидная валид­пость не имеет значения (подробное обсуждение этого вопроса мож­но найти в работе Мosier, 1947), в действительности она приобретает иногда огромное практическое значение, поскольку из-за нее тест мо­жет быть отвергнут организацией или кандидатами. Считается, что, несмотря на недостаточную степень их валидности, собеседования, проводимые в форме, особой для каждого конкретного случая, полу­чили наибольшее распространение именно в связи с очевидной валпд-ностью. Содержательная валидпость как паковая представляет собой в основном вопросы выборки и связана с процессом разработки спо­соба измерения. Содержание любого способа измерения может быть представлено в виде выборки вопросов, заданий или поведения, отра­жающих измеряемый конструкт. Обеспечение содержательной валид­ности осуществляется в два этапа. На первом из них основное внима­ние уделяется тому, чтобы метод отбора отражал все известные хара­ктеристики, относящиеся к соответствующей должности (например, навыки межличностного общения, экстравертированность и т. п.). Это обеспечивается, как правило, путем сравнения инструмента измере­ния с квалификационными характеристиками должности и квали­фикационными требованиями к исполнителям определенной работы (personnel and job characteristics), полученными при проведении ана­лиза профессиональной деятельности. На втором этапе оценивается, насколько точно все задания, применяемые в рамках данного инстру­мента измерения, отражают качества измеряемого явления. Напри­мер, если в тесте, предназначенном для измерения общих математи­ческих способностей, отсутствуют какие-либо задания на сложение или вычитание, содержательная валидпость является низкой. Одна­ко, если тот же тест создавался только для оценки навыков умноже­ния или деления, содержательная валидпость вполне может быть вы­сокой.

Конструктная (концептуальная) валидпость является потенциаль-но наиболее важным, хотя и самым трудным для учета, самым слож-


Валидность

71