Проектирование системы оценивания профессиональных компетенций преподавателей и руководителей образовательных учреждений 13. 00. 08 теория и методика профессионального образования

Вид материала

Автореферат диссертации

Содержание Основное содержание диссертации Компетенции педагогических работников Система оценивания профессиональных компетенций преподавателей и руководителей образовательных учреждений – Пользователь системы Аппаратные средства оценивания Орган управления образованием

Подобный материал:

• Формирование профессиональных компетенций у будущих специалистов туриндустрии 13. 00., 495.78kb.
• Гласности, открытости, обеспечивающих объективное отношение к руководителям образовательных, 202.78kb.
• Проектирование и реализация системы логической подготовки будущего информатика-юриста, 378kb.
• Об утверждении Положения о порядке аттестации лиц, претендующих на должности руководителей,, 86.68kb.
• Рабочая программа кандидатского экзамена для образовательных учреждений высшего профессионального, 397.2kb.
• Методика инженерного проектирования > Инженерное проектирование как учебная дисциплина, 614.75kb.
• Рабочая программа для профессиональных образовательных учреждений пояснительная записка, 238.23kb.
• Шагина Юлия Владимировна Формирование профессиональных компетенций будущих специалистов, 467.43kb.
• Курс лекций для руководителей образовательных учреждений Том, 9282.94kb.
• Cовершенствование педагогической подготовки будущих преподавателей профессионального, 356.18kb.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

С учетом результатов проведенного содержательного и терминологического анализа, в рамках настоящего исследования термином «компетенция» обозначается совокупность взаимосвязанных качеств индивидуума (способностей, знаний, умений, навыков, опыта), характеризующих готовность этого индивидуума к выполнению конкретных действий в рамках определенной предметной области. При этом и спектр выполняемых действий, и рассматриваемая предметная область могут варьироваться в широких пределах. Квалификационной характеристикой будем называть конкретное качество индивидуума (способность, знание, умение, навык, опыт), необходимое для формирования у этого индивидуума определенной компетенции. В свою очередь, термином «компетентность» будем обозначать интегральное качество индивидуума, характеризующее готовность этого индивидуума к целенаправленной и эффективной реализации сформированных у него компетенций для решения конкретного класса задач в рамках определенной предметной области.

Исходя из цели диссертационного исследования, разделим множество компетенций преподавателей и руководителей образовательных учреждений на общие и профессиональные, а последние, в свою очередь – на общепрофессиональные и специальные компетенции. Общая компетенция – компетенция, содержащая межкультурные и межотраслевые квалификационные характеристики, необходимые для выполнения конкретных действий вне зависимости от рассматриваемой компетентности. Профессиональной компетенцией назовем такую компетенцию, которая необходима индивидууму для работы в конкретной профессиональной области. Общепрофессиональная компетенция – это компетенция, требующаяся индивидууму для работы в определенной профессиональной области без конкретизации характера подлежащих решению задач. Специальная компетенция – компетенция, необходимая индивидууму для осуществления конкретного вида профессиональной деятельности в соответствии с конкретным набором должностных обязанностей.

В соответствии с вышеприведенным определением компетентности и дифференциально-интегральным подходом интегрируем указанные понятия в единую сущность – профессиональную компетентность. Под профессиональной компетентностью будем понимать компетентность, определяющую способность и готовность индивидуума к профессиональной деятельности в конкретной предметной области. В соответствии с предлагаемой концепцией иерархической модели компетентности профессиональная компетентность представляет собой комплекс профессиональных компетенций специалиста, необходимых и достаточных для решения стоящих перед ним профессиональных задач в конкретной предметной области.

Анализ компетенций педагогических работников, проводившийся различными исследователями, свидетельствует о различных трактовках многих близких либо синонимичных понятий (табл. 1).

Таблица 1

Компетенции педагогических работников

По И.А. Зазюну	По В.Г. Воронцовой, И.А. Колесниковой	По А.С. Белкину, В.В. Нестерову	По С.М. Спенсеру, Л.М. Спенсеру-мл.	Группа компетенций	Квалификационные характеристики
Гуманистическая направленность деятельности	Личностно-гуманная ориентация			Общепрофессиональные	Высокие интересы, ценности, идеалы
Профессиональные знания	Свободная ориентация в предметной области	Когнитивная компетенция	Профессиональная экспертиза	Специальные	Знание предмета деятельности, методики его преподавания, педагогики и психологии
Коммуникативность		Коммуникативная компетенция	Межличностное понимание, сотрудничество	Общие	Расположенность к людям, доброжелательность, общительность, педагогический такт
Владение перцептивными способностями		Психологическая компетенция (психологическая зоркость)		Общепрофессиональные	Профессиональная зоркость, эмпатия, педагогическая интуиция
Динамизм личности			Развитие других людей, личная эффективность	Общепрофессиональные	Способность к волевому воздействию и логическому убеждению
Эмоциональная устойчивость	Умение воспри­ни­мать педагогическую реальность и систем­но в ней действовать	Психологическая компетенция (эмоциональная культура)	Уверенность в себе	Общепрофессиональные	Уверенность в себе, способность владеть собой
Оптимистическое прогнозирование				Общепрофессиональные	Умение верить в учащихся, положительное становление личности каждого
Креативность				Общепрофессиональные	Способность к творчеству
Педагогическая техника: умение управлять собой, а также умение взаимодействовать	Владение современными педагогическими технологиями	Риторическая, профессионально-техническая, профессионально-информационная (мониторинговая культура) компетенции	Самоконтроль, оказание влияния на других людей	Общепрофессиональные	Владение своим телом, эмоциональным состоянием, техникой речи, дидактическими, организаторскими уме­­ниями, владение техникой контактного взаимодействия

Раскрывая содержание той или иной компетенции, авторы описывают входящие в ее состав квалификационные характеристики. Сопоставление выделяемых компетенций показало, что все они могут быть отнесены к одной из трех групп: общие, общепрофессиональные или специальные. Это подтверждает возможность дифференцирования профессиональной компетентности преподавателей и руководителей образовательных учреждений на общие и профессиональные компетенции, а профессиональных компетенций – на общепрофессиональные и специальные.

Проведенный анализ предметной области показал, что профессиональная компетентность преподавателя и руководителя образовательного учреждения представляет собой вертикально интегрированную комплексную характеристику профессиональной деятельности специалиста, разделяющуюся на профессиональные компетенции и квалификационные характеристики, каждая из которых может оцениваться по одному или нескольким критериям (рис. 1).




Рис. 1. Структурная иерархическая модель профессиональной компетентности преподавателя и руководителя образовательного учреждения


Созданная структурная иерархическая модель профессиональной компетентности преподавателя и руководителя образовательного учреждения позволяет строить модели профессиональной компетентности конкретных категорий педагогических работников путем наполнения ее необходимыми компетенциями и квалификационными характеристиками.

Содержательное наполнение этой модели необходимыми компетенциями и квалификационными характеристиками и критериями их оценивания для конкретной категории специалистов образовательных учреждений позволяет адаптировать модель и систему оценивания в целом к конкретным условиям применения. Использование такой модели при подготовке к проведению процедуры оценивания позволяет обозначить границы оценивания (одна или несколько компетенций), понять последовательность действий, избежать неточности в терминологии при составлении документов.

Так, по согласованию с руководством ФГБОУ ВПО «Калининградский государственный технический университет», на основании перечня общих компетенций из рекомендаций Совета Европы и модели общепрофессиональных компетенций по И.А. Зазюну, была построена модель профессиональной компетентности преподавателя вуза (рис. 2), в которой деятельность преподавателей характеризуется тремя специальными компетенциями (учебная, научная и организационная). В рамках каждой компетенции выделены квалификационные характеристики, увеличение значений которых повышает аккредитационные показатели вуза. Предложенная модель профессиональной компетентности преподавателя вуза адаптирована под конкретные условия применения в ФГБОУ ВПО «КГТУ».

Для того чтобы характеризовать преподавателя или руководителя образовательного учреждения как квалифицированного специалиста, необходимо указать конкретные свойства, наличие которых у объекта позволяет сделать соответствующее суждение. Например, для преподавателя такими свойствами могут быть знание дисциплины, доброжелательность, умение заинтересовать предметом и т.д. С применением предложенного Г.А. Бокаревой и М.Ю. Бокаревым дифференциально-интегрального подхода структурировано множество квалификационных характеристик преподавателей и руководителей образовательных учреждений и критериев их оценивания (рис. 3). Имея подобную структуру интегральной характеристики преподавателей и руководителей образовательных учреждений, лицо, принимающее решения, при подборе критериев должен осуществить дифференциацию, двигаясь от единой интегральной характеристики к конкретному набору критериев.

Профессиональное совершенствование любого специалиста невозможно без оценивания его профессиональных характеристик. Постепенное осознание этого факта органами управления образованием актуализирует проблему оценивания качества труда преподавателей и руководителей образовательных учреждений. Постановка таких задач модернизации российского образования, как «Усиление стимулирования качества и результативности педагогического труда», «Стимулирование научно-исследова­те­льс­кой деятельности преподавателей высшей школы», «Создание эффективной системы подготовки, повышения квалификации и аттестации руководителей образовательных учреждений, введение единого порядка замещения ими руководящих должностей» свидетельствуют об актуальности создания и применения механизмов оценивания деятельности преподавателей и руководителей образовательных учреждений.




Рис. 2. Пример содержательного наполнения модели профессиональной компетентности преподавателя вуза




Рис. 3. Интеграция характеристик (критериев их оценивания) преподавателя и руководителя образовательного учреждения


Если рассуждать о квалификации преподавателя или руководителя образовательного учреждения в целом, то следует понимать, что это многогранная, комплексная характеристика. Следовательно, чем больше отдельных качеств или видов деятельности учитывается при оценивании тех или иных специалистов, тем более объективной и полной будет итоговая оценка. Подход, при котором дается общая оценка объекта по совокупности оценок отдельных его характеристик, называется многокритериальным подходом (Ю.Б. Гермейер, С.В. Емельянов, В.И. Жуковский, Р.Л. Кини, О.И. Ларичев, В.Д. Ногин, В.В. Подиновский, Х. Райфа, Б. Руа, Т. Саати, Р. Штойер и др.).

Многокритериальный подход позволяет отказаться от распространенного экспертного оценивания, являющегося субъективным по своей природе, т.к. используемые формализованные критерии выступают в роли «измерительных приборов» с требуемой точностью, благодаря чему не требуется привлекать экспертов для выставления оценок по критериям. Кроме того, при многокритериальном подходе необходимо обосновать выбранный метод принятия оценочных решений, что позволяет получить объективные оценки компетенций преподавателей или руководителей образовательных учреждений. Таким образом, многокритериальный подход снижает ресурсоемкость процедуры оценивания и повышает доверие участников оценивания к получаемым результатам. В исследованных нами методиках оценивания профессиональной деятельности преподавателей и руководителей образовательных учреждений (в частности, разработанных C.Ю. Анохиной, О.З. Кузнецовой, Е.В. Надворецкой, О.Г. Берестневой и О.В. Марухиной, В.А. Обуховцом и др.) не используется многокритериальный подход и не выполняются два условия его реализации – наличие формализованных критериев и обоснованное использование методов принятия оценочного решения.

Сложность разработки механизмов оценивания заключается в том, что профессиональная деятельность и преподавателя, и руководителя образовательного учреждения многоаспектна, что создает проблему в создании такой методики оценивания, которая могла бы применяться в любых условиях. Задачи такого уровня сложности решаются в рамках системного подхода, в котором объект рассматривается как целостное множество элементов в совокупности отношений и связей между ними. Другими словами, требуется создать систему оценивания профессиональных компетенций преподавателей и руководителей образовательных учреждений, требования к которой можно определить следующим образом:

• адаптируемость: возможность использовать систему для оценивания как преподавателей, так и руководителей образовательных учреждений;
  
• инвариантность: возможность применить систему для оценивания любых преподавателей и руководителей образовательных учреждений вне зависимости от их профиля и места работы;
  
• дифференцируемость: возможность оценить отдельные виды деятельности или характеристики преподавателей и руководителей образовательных учреждений;
  
• многокритериальность: возможность оценить деятельность преподавателей и руководителей образовательных учреждений по нескольким критериям одновременно;
  
• реальность: практическая реализуемость всех компонентов системы;
  
• прикладная значимость: возможность решать с помощью системы реальные задачи оценивания профессиональной деятельности преподавателей и руководителей образовательных учреждений.
  

Система оценивания профессиональных компетенций преподавателей и руководителей образовательных учреждений – это подмножество взаимосвязанных элементов информационной образовательной среды, функционирующих как единое целое в рамках решения задачи оценивания профессиональных компетенций преподавателей и руководителей образовательных учреждений.

Предлагаемая в настоящей работе система оценивания профессиональных компетенций преподавателей и руководителей образовательных учреждений состоит из следующих элементов:

• Пользователь системы – лицо, принимающее решения или представляющий его интересы работник, организатор оценивания профессиональных компетенций;
  
• Объекты оценивания – преподаватели или руководители образовательных учреждений, которые участвуют в процедуре оценивания;
  
• Модель профессиональной компетентности объектов оценивания необходима для обоснованного формирования квалификационных характеристик, раскрывающих оцениваемую компетенцию;
  
• Критерии оценивания разработанных квалификационных характеристик необходимы для осуществления многокритериального оценивания;
  
• Методика оценивания – совокупность конкретных приемов, способов и технологий оценивания, включающая алгоритм проведения оценивания;
  
• Алгоритм оценивания – точный набор инструкций, описывающий последовательность выработки и принятия решений в процедуре оценивания профессиональных компетенций;
  
• Программные средства компьютерной реализации алгоритма оценивания необходимы для автоматизации процедур обработки данных;
  
• Аппаратные средства оценивания – это персональный компьютер и периферийные устройства.
  

Основным элементом внешней среды, взаимодействующим с системой, является Орган управления образованием. В зависимости от целей и условий проведения оценивания, этот орган может быть представлен администрацией образовательного учреждения или соответствующим структурным подразделением органа административного управления. Орган управления образованием инициирует работу системы оценивания, определяет цели и задачи проводимого оценивания и получает результаты оценивания для принятия управленческих решений.

Практика общения с работниками органов управления образованием свидетельствует, что задача оценивания профессиональных компетенций преподавателей или руководителей образовательных учреждений ставится перед лицом, принимающим административные решения, т.е. работником, занимающим достаточно высокую управленческую должность (например, проректор по научной работе вуза или начальник отдела развития комитета по образованию). Как правило, результаты оценивания профессиональных компетенций преподавателей и руководителей образовательных учреждений являются основанием для некоторых решений руководящего лица. На наш взгляд, в силу занятости лицо, принимающее решения, не сможет регулярно выделять в графике своей работы достаточное количество времени для выполнения функций пользователя системы. По этой причине возникает необходимость введения должности консультанта-аналитика, который будет выполнять работу, необходимую для функционирования системы, либо возложения обязанностей такого консультанта на одного из ведущих специалистов, обладающего соответствующей подготовкой.

Структура системы оценивания профессиональных компетенций преподавателей и руководителей образовательных учреждений, состоящая из указанных элементов и связей между ними, изображена на рис. 4.




Рис. 4. Структура системы оценивания профессиональных компетенций преподавателей и руководителей образовательных учреждений


Методика оценивания как компонент системы оценивания представляет собой пошаговую инструкцию: как оценить профессиональные компетенции преподавателей и/или руководителей образовательных учреждений по заданному множеству критериев с применением специализированного инструментария. Основой такой методики при использовании многокритериального подхода к оцениванию профессиональных компетенций является алгоритм оценивания, который реализует методы теории принятия решений. Многообразие методов многокритериального принятия оценочных решений приводит к необходимости выбора и адаптации одного из них с учетом особенностей решаемой задачи. Из четырех исследованных нами методов (SMART (В. Эдвардс), АНР (Т. Саати), PROMETHEE (Дж.П. Бранс), ELECTRE I (Б. Руа)) наиболее подходящим оказался метод ELECTRE I, авторская модификация которого позволила получить решение поставленной задачи.

Авторская модификация оригинального метода ELECTRE I заключается в том, что специалисты образовательных учреждений ранжируются и разделяются на подмножества на основе превосходств, установленных в парах сравниваемых объектов, а уровни согласия и несогласия выбираются на основании наиболее строгих индексов согласия и несогласия в каждом сравнении.

Основные этапы оценивания профессиональных компетенций преподавателей и руководителей образовательных учреждений заключаются в следующем:

• построение модели профессиональной компетентности специалиста конкретной категории и выбор компетенций для оценивания. На этом этапе лицо, принимающее решения, адаптирует модель профессиональной компетентности преподавателей и руководителей образовательных учреждений к конкретным условиям применения – наполняет ее содержание данными, которые описывают профессиональную деятельность и профессионально-значимые качества (квалификационные характеристики) объектов оценивания;
  
• выбор и формализация критериев оценивания по каждой квалификационной характеристике. В предлагаемой методике следует использовать формальные критерии, чтобы обеспечить объективность получаемых результатов оценивания. Количество критериев, которые могут использоваться в системе, не ограничено;
  
• определение коэффициентов важности критериев. Процедура расчета весов критериев по методике, предложенной Т. Саати, не является обязательным условием функционирования системы. Ситуация, в которой лицо, принимающее решения, может точно назвать весовые коэффициенты критериев, вполне возможна (например, при малом количестве критериев). Процедура расчета весов критериев оказывается полезной в остальных ситуациях, когда лицо, принимающее решения, не может назначить важность весов критериев;
  
• сбор исходных данных для оценивания каждого специалиста образовательного учреждения. Для получения оценок по формальным критериям лицо, принимающее решения, организует сбор и накопление материалов как от объектов оценивания, так и из других независимых источников с необходимыми сведениями;
  
• расчет и анализ оценок профессиональных компетенций специалистов образовательных учреждений. На данном этапе лицо, принимающее решения, использует разработанный в настоящем исследовании программно-методический комплекс;
  
• полученные результаты могут использоваться для принятия различных управленческих решений как в рамках образовательного учреждения (по преподавателям), так и в рамках органа управления образования (по руководителям образовательных учреждений).
  

Для реализации предложенного в исследовании способа многокритериального оценивания профессиональных компетенций разработан программно-методический комплекс «Оценивание профессиональных компетенций специалистов образовательных учреждений» («ОПК»). Основная идея функционирования этого комплекса заключается в диалоговом исполнении этапов 3 и 5 предложенной методики – расчет весов критериев и получение результатов оценивания. Программно-методический комплекс «ОПК» зарегистрирован в Государственном Реестре программ для ЭВМ (свидетельство № 2011610299 от 11.01.2011 г.).

Для подтверждения результатов исследования были проведены два эксперимента. В первом эксперименте решалась задача разбиения множества преподавателей ФГБОУ ВПО «Калининградский государственный технический университет» на три подмножества по их специальным профессиональным компетенциям: I – 15 преподавателей с наиболее сформированными компетенциями, II – 30 преподавателей, III – прочие преподаватели. В соответствии с положением «О конкурсе профессорско-преподавательского состава на получение персональной надбавки к заработной плате за научную, учебную, учебно-методическую и инновационную деятельность», решением руководства вуза преподавателям, отнесенным к первому и второму подмножествам, назначается соответствующая персональная надбавка к заработной плате. Преподаватели принимают участие в конкурсе на добровольной основе. В описываемом эксперименте участвовали 53 преподавателя, обозначенные . Специальные профессиональные компетенции оценивались по 39 критериям , перечень и области допустимых значений которых утверждены ректором вуза. Все критерии являются формальными, поэтому для получения оценок по ним не требуется привлекать экспертов, для каждого критерия определен весовой коэффициент. Методика решения задачи оценивания профессиональных компетенций преподавателей, которую изначально использовал заказчик (далее называемая «методика I»), основывается на ранжировании преподавателей по сумме оценок по критериям.

Результаты первого эксперимента позволили сделать вывод о ключевом различии предлагаемой методики по сравнению с наиболее распространенным способом оценивания, основанным на методе суммы баллов, которое заключается в том, что при использовании метода суммы баллов предпочтение отдаётся участникам, имеющим максимальное количество баллов. При использовании предлагаемой методики предпочтение отдаётся тем участникам, баллы которых распределены по всем критериям. Так, специалист образовательного учреждения, имеющий очень высокий балл по одному критерию, при использовании предлагаемой многокритериальной методики будет оценен как самый успешный, только если этот критерий очень важен лицу, принимающему решения, и его вес больше суммы весов остальных критериев. Можно сказать, что метод суммы баллов «игнорирует» многокритериальность, обеспечивая доминирующее предпочтение отдельных участников за счет высоких баллов по малому количеству критериев.

Во втором эксперименте решалась задача составления рейтинга руководителей муниципальных образовательных учреждений средней ступени общего образования: 15 руководителей образовательных учреждений, обозначенных символами , необходимо упорядочить по 32 критериям , перечень и области допустимых значений которых утвержден Комитетом по образованию администрации городского округа «Город Калининград». Все критерии оценивания являются формальными и равнозначными, оценки по ним рассчитываются на основании количественных показателей деятельности образовательного учреждения. Методика оценивания, предложенная городским Комитетом по образованию, основана на аддитивном ранжировании руководителей образовательных учреждений в соответствии со значениями рассматриваемых показателей (далее называемая «методика II»).

Результаты второго эксперимента позволили сделать следующие выводы:

• по методике II на место руководителя образовательного учреждения в итоговом рейтинге влияют не оценки по критериям, а «места» промежуточных рейтингов, суммы которых, как показывает анализ данных, не всегда отражают реальные предпочтения лица, принимающего решения;
  
• по предлагаемой многокритериальной методике основную роль играют предпочтения в парах руководителей образовательных учреждений. Если в конкретной паре один руководитель образовательного учреждения предпочтительнее другого, то изменение такого предпочтения возможно только при превышении критериальных значений нескольких показателей второго руководителя образовательного учреждения над соответствующими значениями первого руководителя.
  

Для сравнения методик оценивания, используемых в экспериментальном исследовании, при помощи аппарата математической статистики были сформированы 100 эталонных рейтингов из 5 объектов оценивания по 2, 3, 4 и 5 критериям на основе экспертного оценивания профессиональных компетенций членами экспертной комиссии, коллегиальное мнение которых априори признавалось объективным и достоверным. В состав комиссии входили ведущие преподаватели ФГБОУ ВПО «КГТУ». Первичные данные об оценках по критериям гипотетических объектов оценивания предъявлялись членам экспертной комиссии для составления итогового рейтинга. Результаты эксперимента должны были подтвердить или опровергнуть гипотезу о том, что применение многокритериального подхода позволяет получить рейтинг объектов оценивания, более близкий к оценке, выставленной экспертной комиссией, т.е. обеспечивает более объективное и достоверное оценивание степени сформированности профессиональных компетенций специалистов образовательных учреждений. Сравнительные результаты количества совпадений с экспертным оцениванием рейтингов объектов оценивания по многокритериальной методике и по методике ФГБОУ ВПО «КГТУ» («методика I») приведены в таблице 2.

В данном случае с использованием t-критерия Стьюдента проверялась гипотеза о статистически существенном отклонении количеств совпадений рейтингов, полученных по методике I и многокритериальной методике с рейтингами, составленными экспертами комиссии. Уровень существенности взят за 0,05. Полученные экспериментальные t_э и критические t_кр значения t-статистики Стьюдента представлены в таблице 2.

Таблица 2

Сравнительные результаты эксперимента

Этап эксперимента	Количество выборок	Количество совпадений	Среднее количество совпадений	tкр	tэ
2 критерия	3 критерия	4 критерия	5 критериев
Оценивание по методике I
1	100	87	73	64	53	69,25	3,18	4,27
Многокритериальное оценивание
2	100	94	91	85	71	85,25	3,18	2,89

Результаты эксперимента подтвердили, что применение предложенной методики и алгоритмов многокритериального оценивания обеспечивает более объективное и достоверное оценивание специалистов образовательных учреждений по степени сформированности профессиональных компетенций по сравнению с подходами, основанными на расчете суммы критериальных оценок, что подтверждается статистически несущественным расхождением количества совпадений полученных рейтингов с рейтингами, полученными коллегиальным мнением экспертной комиссии, поскольку экспериментальное значение t-критерия Стьюдента t_э = 2,89 меньше критического значения t_кр = 3,18, тогда как значение этого критерия для методики I t_э = 4,27 существенно превышает критическое значение t_кр = 3,18. Точность рейтингов преподавателей, полученных по методике многокритериального оценивания, повысилась на ((85,25 – 69,25) / 85,25)  100%  18% по сравнению с подходом, основанным на расчете суммы критериальных оценок.

В