Обучение и воспитание в поликультурном обществе

Вид материала

Документы

Содержание 4.6. Оценка эффективности межкультурного тренинга Качественный подход Оценка программы участниками Неструктурированное наблюдение Структурированное наблюдение Анализ содержания занятий Количественный подход Bhawuk, Brislin

Подобный материал:

• Воспитание в первобытном обществе, 5893.4kb.
• Программа для поступающих в магистратуру обучение Английскому языку и русскому языку, 628.6kb.
• Методические рекомендации по дополнительной образовательной программе туристско-краеведческого, 232.18kb.
• Методические рекомендации по дополнительной образовательной программе туристско-краеведческого, 186kb.
• Формирование социокультурной компетентности будущих специалистов по социальной работе, 349.3kb.
• Педагогические сочинения. Том 3: Обучение и воспитание в школе, 40.96kb.
• Учебно-методический комплекс дисциплины, 114.83kb.
• На уроках английского языка на основе лингвострановедения, 405.79kb.
• «круглый стол» «Защита беженцев и вопросы толерантности в поликультурном обществе», 40.63kb.
• Половое воспитание, 57.38kb.

4.6. Оценка эффективности межкультурного тренинга¹

Проблемы, связанные с оценкой эффективности тренингов, достаточно широко освещены в современной литературе. В большинстве практических руководств по проведению тренингов присутствуют главы или разделы, посвященные результатам и эффектам тренинга, а также вопросам их оценки. При этом большинство авторов сходятся в том, что при определении эффективности тренинга говорить нужно скорее не о “мощности” теоретической системы и соответствующих прикладных методик, а об успешности отдельных ведущих как личностей и их уникальном опыте (Вачков, 2001; Емельянов, 1985; Жуков, Петровская, Растянников, 1990 и др.).

Однако для того, чтобы разобраться в данной проблематике, прежде всего необходимо разделить понятия эффект и эффективность тренинга. Под психологическим эффектом психологи понимают возможные изменения в участниках и их взаимодействии, возникающие под воздействием тренинга. В зависимости от структуры и целей тренинга можно выделить различные эффекты, следовательно, можно говорить о наличии типичного эффекта для каждого вида тренинга отдельно и универсального эффекта для всех тренингов. В случае кратковременного эффекта изменения, возникающие под воздействием тренинга, не постоянны и исчезают через некоторое время. При долговременном эффекте возникающие изменения необратимы и сохраняются в течение периода гораздо более длительного, чем продолжительность самого тренинга. Эффект тренинга также может быть лабораторным, то есть проявляться только в лабораторных условиях тренинга и не распространяться на ситуации повседневной жизни.

Результаты тренинга могут соответствовать и не соответствовать поставленным целям. Поэтому эффект, который мы целенаправленно предполагаем получить, называется ожидаемым. Но может проявиться и побочный относительно поставленных целей эффект, как позитивный, так и негативный (неблагоприятный и даже опасный).

Типичными долговременными эффектами межкультурного тренинга могут рассматриваться следующие изменения в участниках: повышение уровня этнокультурной сензитивности; изменение этнической идентичности в позитивную сторону, что способствует развитию этнической толерантности; снятие тревоги, испытываемой при взаимодействии с представителями иных этнических групп; увеличение степени эмпатии, устранение предубеждений по отношению к ним и развитие готовности к взаимодействию с ними в различных социальных ситуациях.

Но если эффект – это «все результаты, получаемые в тренинге безотносительно к затратам, необходимым для обеспечения этих результатов» (Жуков, 2004а, с.44), то мерой его измерения является эффективность – оценочная или нормативная категория, которая получается путем сравнения эффекта с поставленными целями и затратами. Об эффективности тренинга на практике можно судить в четырех системах отсчета в зависимости от того, достижения каких целей мы добиваемся – общечеловеческих, общекультурных, групповых или индивидуальных.

В самом широком смысле эффективность тренинга может быть выражена всего в двух составляющих: 1) в изменениях, происходящих с участниками, что затрагивает все три аспекта личности - когнитивный, эмоциональный и поведенческий; 2) в удовлетворенности членов группы тренинга участием в ней, затрагивающей в основном эмоциональный аспект, что создает благоприятную почву для формирования более глубоких изменений.

Наиболее популярной и широко применявшейся для оценки эффективности тренинга до последнего времени являлась схема Д. Киркпатрика, предложенная им еще в 1959 году. Автор выделяет четыре уровня оценки эффективности тренинга: уровень реакций участников тренинга (мнения, суждения, оценки, которые выносятся участниками тренинга с того момента, когда они узнают, что должны пройти обучение); уровень приобретения, усвоения знаний и умений к концу тренинга, формирования установок; уровень поведения после тренинга «за его пределами» и уровень результатов для организации, что в случае тренинга этнической толерантности скорее можно рассматривать как сложно измеряемый уровень общероссийской идентичности (по: Жуков, 2004а).

Эта схема с тех или иных модификациях является исходной для построения многих систем оценок эффективности. В дополнение к четырём уровням Д.Киркпатрика нередко добавляют еще один, пятый уровень: отношение прироста эффективности к уровню затрат (как денежных, так и временных) (Кларин, 2000). Иногда как отдельную проблему выделяют вопрос о переносе навыка (Бурнард, 2001).

Подход, разработанный Д. Киркпатриком, позволил в свое время создать комплексную систему оценки эффективности тренинга и в течение более четверти века служил методической основой для проведения разного рода исследований. Однако в настоящее время становится все более очевидным, что модель Д. Киркпатрика не может и далее служить в качестве универсальной и единственной для всестороннего и глубокого анализа эффективности тренинга, особенно столь специфичного, как межкультурный тренинг.

Поэтому необходимо более подробно рассмотреть подходы к оценке эффективности тренинга, выделяемые специалистами по межкультурному тренингу К. и У. Стефанами: качественный и количественный (Stephan, Stephan, 2001) .

Качественный подход предполагает тщательный анализ содержания программы и самоотчетов участников с целью понять, что привело к тому или иному эффекту, а также для прогнозирования эффекта от тех или иных модификаций в программе тренинга.

У.  и К. Стефаны анализируют пять основных качественных техник оценки тренинга:

1)  Оценка программы участниками. Эта наиболее простая техника предполагает письменный опрос участников после завершения тренинга. Как правило, участникам задается два основных вопроса: «Какие части программы наиболее сильно повлияли на Вас или были наиболее эффективными, с вашей точки зрения?» и «Какие части программы тренинга показались Вам наименее полезными и эффективными?». Можно также попросить участников описать, чему они конкретно научились на данном тренинге. В заключение задается вопрос: «Какие части программы тренинга Вы посоветовали бы изменить и каким образом?». Опрос рекомендуется проводить анонимно, что способствует большей искренности ответов. Данный способ оценки прост, недорог и позволяет обозначить основные направления, в которых можно совершенствовать программу тренинга.

Оценка программы участниками может производиться и в форме итогового шеринга – открытой процедуры обмена эмоциями и чувствами (Жуков, 2004б).

2)  Неструктурированное наблюдение. Тренер и его помощники могут сами проанализировать то, что они наблюдали в процессе занятия. Данный подход при наличии опыта и проницательности наблюдателей помогает выявить сильные и слабые стороны программы тренинга. Однако не следует забывать, что у наблюдателей имеются собственные ожидания относительно программы и результаты их анализа не застрахованы от эффекта предубежденности.

3)  Структурированное наблюдение предполагает применение специально разработанной схемы. Данная методика позволяет отследить изменения в поведении участников тренинга, происходящие в процессе занятий. С этой целью используются специальные схемы кодировки, которые позволяют наблюдателю фиксировать частоту случаев определенных видов коммуникаций и демонстрации позитивных и негативных эмоций; задаваемые участниками вопросы и их ответы на вопросы и т.д.

4) Фокус-группы. В данном случае проводится целенаправленное обсуждение программы тренинга с его участниками. Фокус-группа может также включать в себя кроме участников нескольких людей, имеющих опыт проведения занятий по обсуждаемой программе Ведущим фокус-группы может быть и сам тренер, но есть опасность, что участники могут не быть с ним до конца откровенными.

5) Анализ содержания занятий. В данном случае ведется аудио- или видеозапись тренинга. Далее анализ записи проводится по той же схеме, что и структурированное наблюдение. Естественно, использование данной техники позволяет проделать более углубленный и детальный анализ содержания занятий (Stephan, Stephan, 2001).

Количественный подход к оценке эффективности тренинга, в принципе, имеет те же цели, что и качественный, но отличается по способу их достижения. Количественная техника предполагает использование структурированного измерительного инструментария. При использовании количественных техник нужно четко определить зависимую переменную, на которую направлено воздействие процедуры тренинга, и либо подобрать, либо сконструировать самостоятельно валидные методики для ее измерения.

Далее, в соответствии с имеющимися возможностями (например, возможностью организовать контрольную выборку или произвести множественные серии замеров), конструируется исследовательский план. Планы бывают очень разными – от очень простых по своей структуре до достаточно сложных, в разной степени способных проконтролировать большое количество потенциальных источников невалидности, в том числе эффекты:

1. Фона (какие-либо события, происходящие между первым и вторым замерами наряду с воздействием тренинга);
   
2. Естественного развития (естественное изменение стереотипов, установок, поведенческих паттернов), которое может происходить независимо от процедуры тренинга;
   
3. Воздействия предварительного тестирования на результаты последующего, поскольку испытуемые ко второму тестированию «научаются» выполнять тест;
   
4. Взаимодействия предварительного тестирования и экспериментального воздействия;
   
5. Инструментальной погрешности – нестабильности, неустойчивости работы измерительного инструмента;
   
6. Состава групп, т.е. неэквивалентности экспериментальной и контрольной групп (Кэмпбелл, 1996).
   

Для того чтобы прийти абсолютно достоверному выводу об эффективности тренинга, необходимо реализовывать классические экспериментальные планы (Кэмпбелл, 1996). С точки зрения академической науки, говорить о том, что именно тренинг является причиной изменений, которые мы рассматриваем в качестве его результатов, можно только в том случае, если нет других возможных причин наблюдаемых эффектов. То есть, строго говоря, для измерения и оценки результатов тренинга необходимо использовать сходную с экспериментальной контрольную группу, которая не подвергается воздействию (обучению), а еще лучше - контрольную группу, которая подвергается плацебо-воздействию (участвует в каком-либо тренинге, цель и содержание которого принципиально иные, например, тренинге по развитию креативности).

Довольно популярный план – план с итоговым тестированием и одной контрольной группой. Данный план в классификации Д. Кэмпбелла относится к числу доэкспериментальных, но при введении процедуры рандомизации¹ он преобразуется в один из «истинных» экспериментальных планов (Кэмпбелл, 1996) и его ценность значительно возрастает. В этом случае контрольная группа полностью эквивалентна по всем характеристикам экспериментальной группе, а испытуемые распределены в контрольную и экспериментальную группы в случайном порядке.

Однако рандомизация не всегда бывает практичной при проведении межкультурных тренингов и тестировании в естественных условиях, поскольку весьма неудобно набирать группу участников, а потом разбивать ее на две рандомизированные подгруппы, одна из которых не участвует в тренинге. У. и К.Стефаны в такой ситуации рекомендуют использовать в качестве контрольной эквивалентную группу, которая будет проходить такой же тренинг, но чуть позже. Если занятия проходят в школе, то можно использовать для контроля учеников из параллельных классов. Наиболее важные признаки, по которым группы должны быть эквивалентны: пол, возраст, уровень образования и опыт общения с представителями релевантных данному тренингу этнических групп (Stephan, Stephan, 2001).

Используется также план для двух групп с предварительным и итоговым тестированием. Как следует из самого названия данного плана, обе группы – экспериментальная и контрольная – тестируются перед началом тренинга и после его окончания. Если между результатами предварительного и итогового замеров в экспериментальной группе обнаруживаются статистически значимые различия (в межэтнических установках, характеристиках идентичности и т.п.), в то время как в контрольной группе аналогичные различия отсутствуют, обнаруженные изменения приписываются воздействию процедуры тренинга.

Еще более предпочтителен план для двух рандомизированных групп с предварительным и итоговым тестированием, так как он позволяет проконтролировать большинство потенциальных источников внутренней невалидности – эффекты фона, естественного развития, инструментальной погрешности, состава групп и т.п.^.

Однако в реальной практике проведения тренингов экспериментальные планы, к сожалению, в силу ограниченности ресурсов тренера используются очень редко. А межкультурный тренинг является настолько сложной формой социально-психологического тренинга, что контрольную группу, в силу уникальности контингента участников, часто вообще невозможно сформировать. В этом случае применяется достаточно простой и популярный исследовательский план - план с предварительным и итоговым тестированием, с помощью которого можно отследить изменения, на достижение которых направлена программа тренинга (в содержании и направленности стереотипов, в уровне позитивности и ясности этнической идентичности, в готовности взаимодействовать с представителями этноконтактных групп в различных социальных ситуациях и т.д. (Stephan, Stephan, 2001).

  Подобный доэкспериментальный план позволяет выявить изменения, произошедшие с участниками, однако он не дает уверенности, что они вызваны именно программой тренинга, так как сам план не позволяет проконтролировать перечисленные выше источники артефактов (эффект фона, эффект естественного развития и пр.) (Кэмпбелл, 1996).

Так, эффект предварительного тестирования способен повлиять на конечные результаты оценки, так как часть испытуемых может запомнить свои ответы и попытаться, несмотря на изменившиеся установки, их воспроизвести во время итогового тестирования, чтобы не казаться непоследовательными. С другой стороны, как отмечают У. Стефан и К. Стефан, так как участники знают, на что направлен тренинг, что должно быть его результатом, они сознательно могут исказить свои ответы и продемонстрировать на выходе позитивные установки, чтобы оправдать ожидания тренера (Stephan, Stephan, 2001).

Но какой бы способ оценки эффективности тренинга не был выбран, необходимо мотивировать респондентов отнестись к работе серьезно, так как от их тщательности и внимательности во многом зависят результаты измерения. Необходимо добиваться спокойного, доброжелательного и серьезного отношения испытуемых к процедуре опроса, т.е. того вида очевидной валидности, который позволяет получить наилучшие результаты.

Кроме того, следует помнить, что хотя многие изменения происходят в самой группе, основной интерес представляют изменения, которые проявляются у участников тренинга после группы (Петровская, 1989). Поэтому необходимо включить в программу посттренинговое сопровождение, которое позволит увидеть более адекватную картину динамики ее участников.

В 90-е гг. была осуществлена проверка эффективности наиболее популярных программ межкультурного тренинга ( Bhawuk, Brislin, 2000). Исследователи отметили позитивный эффект используемых в настоящее время программ тренинга по пяти показателям: личностному росту обучаемых, восприятию ими «чужих» групп, их отношениям с местными жителями, приспособлению в инокультурной среде, достижениям в труде и учебе.


А проведенное в 2003 г. исследование эффективности предложенной нами программы тренинга межкультурного взаимодействия для школьников подтвердило, что он благоприятно сказывается на этнической идентичности участников, повышая ее позитивность и ясность, способствует формированию общегражданской идентичности, снижает уровень тревожности и дискомфорт, переживаемые при взаимодействии с представителями иноэтнических групп, а также способствует повышению компетентности русских в культурах народов Кавказа (Татарко, Лебедева, 2004)¹.