Центра Федерации Интернет-образования Боровкова Т. И., Морев И. А. М 79 Мониторинг развития системы образования. Часть Теоретические аспекты: учебное пособие

Вид материала

Учебное пособие

Содержание 4.06. Создание мониторинговой системы Предварительное задание на мониторинг Задание на мониторинг Создание рабочего проекта мониторинга Технологии определения показателей Определение показателей эффективности Группы показателей эффективности Стабильность инструментария мониторинга Распространение мониторинговой информации

Подобный материал:

• Центра Федерации Интернет-образования Боровкова Т. И., Морев И. А. М 79 Мониторинг, 2598.77kb.
• Центра Федерации Интернет-образования Морев И. А. М 79 Образовательные информационные, 2884.31kb.
• Учебное пособие Министерство образования и науки Российской Федерации Владивостокский, 861.04kb.
• Учебное пособие Министерство образования и науки Российской Федерации Владивостокский, 1116.36kb.
• Учебное пособие министерство образования российской федерации новосибирский государственный, 1050.12kb.
• Т. В. Белых дифференциальная психология теоретические и прикладные аспекты исследования, 2889.36kb.
• Министерство образования и науки рк северо-Казахстанский Государственный университет, 382.65kb.
• Учебное пособие Часть 1 основы персонального компьютера. Операционные системы, 1386.35kb.
• Учебное пособие Оренбург 2004 Министерство образования и науки Российской Федерации, 3542.12kb.
• Учебное пособие в помощь студентам, изучающим курс «Аудит», 2808.98kb.

4.06. Создание мониторинговой системы

Создание мониторинговой системы - длительный и сложный процесс, в котором можно выделить следующие основные этапы.

• Анализ условий и факторов, стимулирующих и негативно воздействующих на формирование мониторинговой системы в условиях региона.
  
• Определение кадрового состава из числа руководителей и специалистов региональных и муниципальных органов управления образованием, способного осуществить организационно-методические мероприятия, адекватные концепции и методологии мониторинга развития системы образования.
  
• Выявление оптимальной организационной структуры службы мониторинга развития образовательной системы.
  
• Выработка управленческой схемы функционирования мониторинговой системы в рамках региона.
  
• Подготовка нормативно-методических документов по организации мониторинговой системы в регионе.
  
• Принятие управленческого решения по созданию службы мониторинга в государственном органе управления образованием.
  
• Проведение социально-педагогического эксперимента по отработке оптимальной модели организации мониторинга развития региональной системы образования.
  
• Получение и верификация результатов мониторинговых исследований.
  
• Обобщение данных об организации мониторинга при изучении региональных процессов развития системы образования.
  
• Корректировка концептуально-методологических основ организации мониторинга развития региональной образовательной системы.
  

Проведение социологического или социально-педагогического обследования обычно предусматривает проведение следующих этапов:

• Определение целей, подготовка плана проведения исследования.
  
• Разработка инструментария.
  
• Проведение опроса.
  
• Обработка и анализ полученных результатов.
  
• Написание отчета и рекомендаций.
  

Реализация мониторинга включает в себя большинство из этих этапов, но коль скоро мониторинг шире, чем обычное обследование, то и содержание этапов при его применении будет несколько иным:

• Предварительное задание на мониторинг.
  
• Задание на мониторинг.
  
• Создание рабочего проекта мониторинга.
  
• Уточнение задания.
  
• Создание инструментария.
  
• Проведение опросов.
  
• Обработка результатов.
  
• Первичный анализ результатов.
  
• Обсуждение (валидизация).
  
• Подготовка заключительного документа.
  
• Использование результатов в управленческой деятельности.
  

Рассмотрим выделенные этапы на примере регионального органа управления образованием, когда руководитель (лицо, принимающее решения) поручает своему подчиненному подготовку решения и передает ему, соответственно, права заказчика, а он, в свою очередь, привлекает к работе организатора мониторинга - исполнителя.

Предварительное задание на мониторинг

На первом этапе руководитель передает тому, кто будет выступать заказчиком, первичные материалы для разработки прогноза. При этом руководитель и заказчик должны решить для себя следующие задачи:

• указание цели разработки мониторинга;
  
• выделение объекта мониторинга, его анализ и классификация;
  
• указание на форму и объем мониторинга, время его разработки и реализации;
  
• указание других возможных потребителей информации;
  
• какие решения могут быть приняты на основе полученной информации;
  
• оценка необходимости получения динамических характеристик;
  
• указание механизма, принципов и объема финансирования на всех этапах его разработки;
  
• оценка возможности в данной ситуации привлечь к работе специалистов необходимого уровня;
  
• подбор нормативно-правовых документов.
  

Исходя из результатов решения вышеизложенных задач, нужно понять, имеет ли смысл разрабатывать систему мониторинга.

Задание на мониторинг

Заказчик формулирует для исполнителя основные параметры мониторинга: цели и задачи, объект, требования к инструментарию, сроки, категории опрашиваемых лиц, варианты места проведения опросов, объемы и формы оплаты, возможно, обсуждение вариантов ресурсного обеспечения мониторинга.

На этом этапе заказчик уточняет для себя основные параметры мониторинга. В процессе обсуждения достаточно часто конкретизируются или изменяются цели, выявляются дополнительные проблемы.

По окончании этого этапа работ у исполнителя должен быть объем информации, необходимый для постановки задачи разработчикам инструментария, а также может быть оформлено "техническое задание".

Создание рабочего проекта мониторинга

Следующим этапом является создание рабочего проекта мониторинга. Исполнитель, привлекая специалистов в нужных областях, организует создание инструмента. Создание проекта мониторинга предусматривает решение следующих вопросов:

• методы и формы проведения исследования;
  
• создание проекта инструмента;
  
• планирование проведения опросов;
  
• технология обработки результатов;
  
• возможные формы анализа;
  
• варианты представления результатов пользователям;
  
• уточнение необходимого ресурсного обеспечения.
  

Уточнение задания

После того как будут получены ответы на эти вопросы, можно приступать к операции окончательного уточнения задания с заказчиком. На этом этапе работ желательно согласование с руководителем программы деятельности, которая была выработана в процессе подготовительной работы.

Окончательный вариант задания лучше зафиксировать в форме документа - договора, утвержденного плана или задания. На этом заканчивается подготовительная работа по разработке системы мониторинга.

Технологии определения показателей

Посмотрим теперь, какие существуют способы выделения показателей для оценки эффективности работы образовательной системы. Общеметодологическая схема проведения обследования в принципе известна. Она может состоять из следующих этапов:

• Определение философских и методологических оснований для выделения показателей.
  
• Построение на их основе системы критериев.
  
• Определение групп или отдельных показателей (индикаторов) для каждого из критериев.
  
• Создание инструментария. Отбор существующих или создание новых методик для определения показателей.
  
• Проверка методик, их метрологическое обоснование, определение конструктной валидности. Объединение в пакеты.
  
• Оснащение пакетов методическим инструментарием (инструкции по проведению, обработке и интерпретации результатов, проверка показателей качества и т. д.)
  

Требования к показателям в общем виде:

• максимальная широта охвата поля возможных проблем, результатов;
  
• возможность использования в практике управления;
  
• простота и надежность определения.
  

При более подробном рассмотрении и использовании в практической работе проблема показателей вырастает до основной, определяющей. Рассмотрим возникающие при этом наиболее серьезные затруднения.

Определение показателей эффективности

Первый подход в определении показателей эффективности - это создание модели образовательной системы в целом или ее части. Выделение показателей на основе модели системы образования или ее сегмента - достаточно привлекательный вариант. Он особенно подходит для стабильной системы образования, когда сложилась система ответственности, четко определены задачи образовательных учреждений, известны, и что очень важно, согласованы критерии эффективности их работы.

В качестве примера дальнейшей детализации модели и определения системы показателей приведем материалы третьего международного сравнительного исследования математического естественнонаучного образования (TIMSS).



Как видно из приведенных схем, они четко описывают те группы показателей, которые, по мнению авторов, должны характеризовать и влиять на результаты математической подготовленности учащихся.

Моделирование - очень важный процесс, в результате которого мы должны ответить на вопрос, что считать высокими результатами нашей деятельности, какие цели работы для нас приоритетны, какие стратегии мы реализуем. Для понимания вероятных различий приведем стратегии управления, предложенные Е. Ричардсом, сторонником экологического подхода в образовании:

Структура	Достижение соответствия	Достижение результатов	Организационная экология
Цель	Соответствие нормам	Эффективность	Экологическое здоровье
Направление	Стандарты и нормативные материалы	Вклад, затраты	Непрерывное развитие
Основа для анализа	Сравнение со стандартами	Соотношение ресурсов, реализуемые технологии	Отношения между значительными отклонениями
Оценка	Критерии отчетности	Эффективность затрат	Синергическое обучение на основе опыта и интроспекции

Не рассматривая тонкостей приведенных экологических терминов, обратим внимание на разницу в вероятных оценочных показателях при реализации той или иной стратегии. Очевидно, недостатком системы мониторинга, спроектированной и реализованной в рамках одной модели, является негибкость, трудность восприятия результатов сторонниками других моделей. Конечно, если модель достаточно хорошо воспринимается среди управленцев - это лучший способ.

Второй подход в определении показателей эффективности - построение системы (дерева, иерархии) целей работы образовательной системы. Выделение групп показателей производится на основе соотношений "цель-результат" или "вклад-результат". Однако в настоящее время построение такой системы встречает многочисленные трудности.

Современная ситуация в образовании отличается нестабильностью. В этих условиях появляются неожиданные результаты, не связанные с выделенными целями. Ряд априорно заданных целей не превращается в результаты в силу особенностей развития, когда образовательной системе приписываются функции, выполнение которых (в силу разных, объективных и субъективных, причин) невозможно.

Часть показателей, выделенных в рамках данного подхода, невозможно использовать в силу их недискриминативности, а часть важных показателей остается за рамками проектировочного поля.

Примером глубокой разработки такого подхода выделения показателей для мониторинга служит работа Ю. А. Конаржевского "Анализ итогов учебно-воспитательной работы школы развивающего обучения за учебный год". Здесь выделены следующие критерии:

• эффективность и действенность внутришкольного управления;
  
• эффективность и действенность инновационной работы;
  
• состояние и продуктивность методической работы;
  
• состояние и действенность качества преподавания;
  
• состояние работы с родителями;
  
• уровень воспитанности учащихся;
  
• состояние здоровья и физического развития учащихся;
  
• состояние посещаемости учащимися учебных занятий;
  
• взаимодействие с внешней средой;
  
• уровень развития учащихся, успеваемость, качество знаний;
  
• деятельность коллектива по выполнению Закона об образовании;
  
• оценка конечных результатов работы школы.
  

Этот путь представляется наиболее качественным и надежным для стабильных образовательных систем. Однако он достаточно емок по времени и ресурсам, поскольку кроме собственно построения системы целей и выделения на их основе показателей необходим достаточно длительный период их принятия управленческими работниками, теми людьми, кто принимает решения. Без этого всякое практико-ориентированное педагогическое исследование теряет смысл, который состоит в инициировании или информационной поддержке принятия управленческих решений.

Третий подход в определении показателей эффективности - выделение некоторых закономерностей (законов) развития и функционирования образовательных систем, определение более или менее однозначных критериев работы образовательной системы и на их основе формирование системы показателей. Основной недостаток этого подхода - множественность реализуемых педагогических систем и отсутствие системы согласования выделяемых критериев, то есть отсутствие работающей системы стандартизации в образовании. Критерии обычно выделяются в зависимости от принимаемого методологического подхода. В условиях плюрализма подходов определить единую систему подходов чрезвычайно сложно.

Четвертый подход в определении показателей эффективности вытекает из потребностей управленческой практики. Он состоит в обследовании тех показателей, которые отражают актуальные проблемы управления. Этот подход представляется сегодня наиболее приемлемым для деятельности информационных служб управлений образованием на региональном и районном уровнях. Он может с успехом использоваться для задач проблемного мониторинга, однако не дает возможности поддерживать стратегическое развитие образовательных систем, выделять противоречия в момент их появления, прогнозировать развитие системы, то есть служить основой для базового мониторинга.

Четвертый подход исходит из определения реального состояния образовательной системы и граничных условий ее жизнедеятельности. На этой основе разрабатываются системы показателей. Этот подход в известной степени подразумевает движение обратное, нежели в предыдущих, то есть не от оснований к методикам, а от существующих методик к основаниям.

Группы показателей эффективности

Предварительно был проведен отбор методик по изучению различных аспектов деятельности образовательных учреждений разного уровня. Методики должны были удовлетворять нескольким условиям, таким как: экономичность, простота, время получения результата, воспроизводимость результатов.

Основная идея предложенной технологии отбора показателей заключалась в следующем: заложив в план исследования школы разного статуса и типа, при явно избыточном количестве измеряемых показателей получить возможность определения наиболее дискриминативных из них. Если в результате математической обработки по каждому показателю его значение или изменение (или его мера) не оказывалось значимым, то этот показатель отбрасывался как не дающий значимых результатов.

Причины отсутствия значимых результатов могли быть различными: недостаточное воздействие образовательной системы на выбранный показатель или недостаточная чувствительность инструмента измерения, но в любом случае подобные показатели отвергались. Необходимо отметить, что процедура проведения тестирования была стандартизирована и, следовательно, являлась одинаковой в любой школе.

Часть традиционных показателей не могут характеризовать школу. Это означает, что школе приписываются те функции, которые сегодня она не в состоянии выполнить. Назовем их первой группой показателей.

Первая группа показателей эффективности - практически все показатели физической подготовленности учащихся, информированность в политической и культурной областях и другие.

Вторая группа показателей эффективности, чрезвычайно привлекательных для исследовательской работы, вполне подходила для целей формирования общественного мнения, но оказалась малопригодной для практической управленческой деятельности. К ней относятся показатели общественного мнения об образовании как социальном институте, связанные с потребностями в образовательных услугах, не привязанных к образовательным учреждениям.

Третья группа показателей эффективности вполне удовлетворяла управленцев, но методики получения результатов были настолько длительными, что не могли использоваться в полной мере, а представляли в основном исторический интерес.

Четвертая группа показателей эффективности. Получение и переработка четвертой группы показателей (большинство интервью и методик, требующих сложной статистической обработки) были слишком дорогостоящими для практического использования.

Пятая группа показателей эффективности. Можно отметить и еще одну группу показателей, применение которых ограничено, - это те показатели, для получения которых требуется чрезвычайно высокая квалификация исследователей или их длительная подготовка, например, психодиагностические методики проективного плана.

Таким образом, мы можем зафиксировать несколько возможных подходов к отбору показателей, каждый из которых обладает своими плюсами и минусами. По мере развития исследований, связанных с мониторингом, появится иерархическая совокупность показателей, целостно описывающих состояние образовательной системы на разных уровнях. Количество показателей для разного уровня управления будет различно - чем выше уровень, тем меньше число показателей. Кроме того, количество показателей определяется характером тех задач, которые важны для управления развитием и управления образовательными системами.

Стабильность инструментария мониторинга

Сохранение стабильности инструмента для действующего мониторинга - одна из основных задач. Стабильный инструментарий дает основное преимущество мониторинга - возможность получения сравнимых данных как в динамике, так и между образовательными системами. Любое изменение инструмента может привести к нарушению сравнимости. Даже в том случае, если в процессе работы обнаружатся недостатки, лучшим вариантом будет их учет на этапе обработки результатов или анализа данных. К сожалению, это не всегда возможно. Так, при смене администрации в показатели вносятся изменения, что делает неэффективными предыдущие усилия.

Стабильность - основа мониторинга.

Распространение мониторинговой информации

Прежде чем перейти к проблеме распространения информации, попытаемся ответить на вопрос, почему часть руководителей не хочет использовать в своей работе результаты мониторинга?

Возможные причины такой ситуации проанализированы Ю. В. Сидельниковым в работе, посвященной экспертному прогнозированию. А. Н. Майоров расширил и существенно дополнил этот перечень:

• Неверие в возможности мониторинга, обращение к нему лишь в качестве дани "моде" или "по указанию свыше".
  
• Преувеличенное представление руководителя о собственной информированности во всех областях.
  
• Принятие решений на основе наиболее доступной информации, невосприимчивость к информации, противоречащей или не совпадающей с наиболее доступной.
  
• Ориентация на ограниченный круг источников информации, чрезмерное доверие только им.
  
• Лень и безынициативность руководителя.
  
• Нечеткость в понятиях, применяемых при составлении задания, неопределенность в целях и результатах.
  
• Футурофобия - боязнь заглянуть в будущее.
  
• Психологическая установка руководителя на благоприятные результаты.
  
• Боязнь новых проблем, которые придется решать.
  

Возможно, этот список поможет руководителям информационных служб сориентироваться, рассматривая проблему распространения информации.