Рекомендации для органов управления образованием субъектов Российской Федерации по использованию типовых моделей общероссийской системы оценки качества образования

Вид материала

Критерии соответствия создания региональных систем оценки качества образования Концепции проекта Общероссийской Системы Оценки К
1. Общественная значимость работы РСОКО в регионе
Московская область.
2. Оформление результатов деятельности РСОКО в рамках существующих образовательных стандартов
Московская область.
3. Предусмотренные в РСОКО разнообразные по типу
4. Выбор инструментов, средств оценивания и организационных форм его проведения на базе общей методологии проекта ОСОКО
5. Возможность использования результатов деятельности РСОКО
Основные этапы комплексного оценивания образовательных учреждений, муниципальных и региональных образовательных систем
Разработка принципов
Разработка структуры и самой номенклатуры
Определение статистических характеристик показателей
Разработка системы оценки показателей
Свертка оценок показателей в комплексную оценку.
6.1. Описание системы подготовки кадров и повышения квалификации для региональных систем оценки качества общего образования
Подготовка специалистов в сфере педагогических измерений
Направления деятельности РСОКО, требующие подготовки и переподготовки кадров
Подготовка кадров для единого государственного экзамена
Подготовка кадров для проведения мониторинга образовательных достижений обучающихся
Согласовано утверждаю
...
Полное содержание

Подобный материал:

1 ... 5 6 7 8 9 10 11 12 ... 23

Глава 5. Показатели, критерии и порядок оценки качества деятельности региональных систем оценки качества

И в концепции проекта ОСОКО, и в речи президента В.В. Путина в Белгороде на заседании Совета по реализации приоритетных национальных проектов и демографической политике определены основные принципы создания современной системы образовательных стандартов и эффективной системы внешней оценки качества образования.

Критерии соответствия создания региональных систем оценки качества образования Концепции проекта Общероссийской Системы Оценки Качества Образования:

Сетевое взаимодействие для получения наиболее полных и достоверных результатов в образовании, адекватных запросам человека и потребностям экономики

Выполнение требований образовательных стандартов

Реализация программы развития образования региона
Обслуживание исполнения органами государственной власти своих полномочий, а также органов управления образованием на местах (Национальный доклад как итог деятельности ОСОКО)
Осуществление административного контроля за деятельностью ОУ со стороны органов управления образованием
Выстраивание зон «перехода» от систем массового образования к рынку труда.

Открытость системы образования и прозрачность результатов её деятельности для внешнего окружения на всех уровнях

Многопозиционность современного образования и систем оценки его качества проявляется также и в общественном характере участия в образовательной деятельности.

Безусловно, приоритет одного из приведённых выше оснований не означает отсутствие возможностей работать с другими. Да и так называемая «региональная специфика» диктует свои ограничения на проектирование РСОКО. Отсутствие достаточного числа предприятий среднего бизнеса может вынудить организаторов РСОКО работать, в большей степени, с государственными и региональными управленческими структурами. А значит, ориентироваться на их представления и запросы.

1. Общественная значимость работы РСОКО в регионе, «привлекательность» и признаваемость получаемых результатов оценки качества образования, по всем основным аспектам для представителей основных (для данного проекта) социальных групп – работодателей, управленцев, родителей, учащихся, педагогов. Основания: требования к реализации национального проекта «Образование» в речи В.В. Путина во вступительном слове на заседании Совета по реализации приоритетных национальных проектов и демографической политике», 13 сентября 2007 года в Белгороде, рекомендации МОТ (Международной организации Труда) в области широкого привлечения работодателей и общественных организаций к выявлению компетенций, требуемых работникам для успешного включения в процесс трудовой деятельности (см. ILO, R195 Human Resources Development Recommendation, 2004), где указывается на необходимость:

продвигать, с участием социальных партнеров, идентификацию тенденций в определении компетенций необходимых индивидуальным личностям, работодателям, экономике и обществу в целом;
признать роль социальных партнеров, работодателей, работников в осуществлении практической подготовки;
поддерживать инициативы социальных партнеров по формированию двухстороннего диалога, включающего коллективное обсуждение.

Челябинск. Согласно представленным материалам, определённые возможности для соответствия проводимых работ данному критерию, существуют. Это и обсуждение различных аспектов работы РСОКО в профессиональном сообществе, и учёт того, как и из чего складывается мнение родителей, др.

Однако, отсутствие анализа ситуации в регионе и увязывания с ней поставленных задач, не может не сказаться на точности и достаточности работ по данному направлению.

Якутия. Описания указывают, что данный критерий вполне «работает», причём, с учётом специфики региона. Создаваемая РСОКО в полной мере «вписана» в существующие органы власти и системы управления. Также максимально используются имеющиеся службы, управления и другие организации. Распределение функций по РСОКО доведено до такой степени подробности, что создание специальной организации или органа под РСОКО пока не предусматривается. Реальным инструментом продвижения проекта РСОКО в регионе выбрана законодательная деятельность, что также адекватно его специфике.

Чувашия. Распределение функций между уже работающими организациями, учреждениями может позволить сделать проводимые работы в соответствие данному критерию. В число участников и пользователей включены и муниципалитеты, и бизнесмены, и родители. Для этого предполагается (или делается) также проводить работы по анализу различных аспектов регионального рынка труда. Предусмотрено использование наработок уже существующих в регионе проектов и программ («Система мониторинга и статистики образования в Чувашской республике»).

Краснодар. (Цитата по кейсу см. файл «Краснодарский край региональный кейс РСОКО»):

«- отсутствует единая технология внешней оценки деятельности образовательных учреждений начального и среднего профессионального образования, а также индивидуальных достижений выпускников этих учреждений;

- недостаточно используются возможности участия общественности при оценке качества образования;

- требует совершенствования мониторинг индивидуальных достижений обучающихся учреждений дошкольного, общего и профессионального образования, состояния и развития региональной и муниципальной систем;

- не отвечает современным требованиям система аттестации руководящих и педагогических кадров;

- требует модернизации информационно-сервисный комплекс для информационной поддержки оценочных процедур, сбора, обработки, систематизации информации и доведения ее до сведения потребителей образовательных услуг, органов управления образованием, работодателей и общественности». Все указанные в материалах региональной группы потребители результатов деятельности РСОКО – это муниципалитеты и управление образованием региона. Тем не менее, могут быть созданы предпосылки для дальнейшей «открытости» проекта вовне системы образования. В частности, предполагается работа специального информационного портала на базе действующего сайта.

Московская область. Анализ региональных особенностей отсутствует. Из текста хорошо видно, почему. Весь проект описывается относительно крупного оператора на рынке образования данного региона - это ВПО МО «Академия социального управления», представленного несколькими его центрами.

Основной недостаток представленного описания – его частичность, отсутствие анализа и заранее пассивная позиция в отношении работодателя, как потенциального заказчика, потребителя. Причина данного недостатка понятна – основным заказчиком в описываемой модели является министерство образования МО, генеральным исполнителем – АСУ, а непосредственным потребителем – образование Московской области.

С этой точки зрения, по представленным материалам, проводимые работы не соответствуют идеологии проекта ОСОКО.

2. Оформление результатов деятельности РСОКО в рамках существующих образовательных стандартов, с учётом стандартов «вышележащего» уровня (для выпуска из массовой школы – начальный уровень стандартов профессионального образования). Основание: стандарты «вышележащего» уровняв идеологии непрерывного образования задают основные требования к обучению и образованию. Пример реализации такого подхода – работа группы Челябинской области.

Челябинск. Разработчикам создан и представлен целый пакет документов, регламентов, экспертных листов и других технологических документов, позволяющих проводить апробацию пошагово, вносить в нее корректировки, в том числе, адекватно меняющейся ситуации и потребностям заказчика. Таким образом, апробация разработанных и используемых технологий возможна в различных (требуемых) вариантах и степени полноты. Это, в свою очередь, даёт возможность оформлять различные результаты, разные по масштабу и охвату оценивания, и для различных пользователей. Кроме того, наличие такого арсенала позволяет говорить о возможности переноса или передачи данных разработок для использования в других регионах или практиках.

Якутия. В содержании оценки (в показателях, индикаторах) отсутствуют те, что работают с особенностями обучаемых в данном регионе. Практически не указаны, например, индикаторы, «работающие» с языками, как с национальным, так и с государственным.

При очень демократичном наборе предполагаемых к использованию в РСОКО (используемых) технологий и методик оценки, при сформулированном требовании валидности всех получаемых результатов, пока еще не прописаны механизмы получения комплексной оценки качества образования. Сделать это необходимо, так как это определяет базу оформляемых результатов деятельности РСОКО. В случае продолжения работ по проекту все эти недостатки преодолимы и работа РСОКО вполне может соответствовать данному критерию.

Чувашия. Как указывают сами организаторы РСОКО, ещё предстоит решить комплекс задач, включая:

- «определение параллелей между форматом собираемой информации и возможностями ее использования в качестве информационной основы принятия управленческих решений;

- формирование модели организации и проведения оценки индивидуальных достижений обучающихся для системы общего и профессионального образования;

- определение заказа региональной системы управления образованием на информационно-аналитическое обеспечение». Имеющиеся наборы индикаторов, опыт проведения работ по мониторингу и статистике образования в регионе, вполне позволяют это сделать.

Из предусмотренных планами результатов деятельности РСОКО:

«Публичный доклад образовательного учреждения;

Кадастр образовательных учреждений и муниципальных образовательных систем Чувашии: условия осуществления образовательного процесса и результаты;

Сравнительный анализ муниципальных образовательных систем Чувашской Республики на основе ключевых индикаторов – аналитическая записка к рейтингу МОУО;

Банк данных портфолио лучших учащихся и выпускников школ «БУДУЩЕЕ ЧУВАШИИ»;

Анализ потребностей рынка труда и ассортимента специальностей системы ВПО в регионе;

Сравнительный анализ муниципальных образовательных систем Чувашской Республики на основе ключевых индикаторов – аналитическая записка к рейтингу МОУО» (из материалов Чувашии).

Краснодар. Основой РСОКО выбраны муниципальные информационно-диагностические службы. «Результаты (продукт) деятельности муниципальных информационно-диагностических служб:

- аналитические справки по итогам лицензирования и аккредитации образовательных учреждений района (города);

- аналитические отчеты по результатам аттестации выпускников муниципальных общеобразовательных учреждений;

- рейтинги образовательных учреждений муниципального образования по различным характеристикам качества образования;

- списки выпускников общеобразовательных учреждений, показавших наиболее высокие результаты по итогам ЕГЭ, предметных олимпиад и др.;

- аналитические справки по результатам аттестации педагогических и руководящих кадров;

- рекомендации (прогнозы) по результатам диагностических и специальных обследований индивидуальных достижений обучающихся, а также отдельных направлений деятельности муниципальных образовательных учреждений» (из материалов региональной группы).

Результаты своей деятельности муниципальные информационно-диагностические службы направляют в образовательные учреждения и муниципальный орган управления образованием. Кроме того, данные статистической и образовательной статистики, определенные краевым порядком информационного взаимодействия, направляются в Центр оценки качества образования» (из материалов региональной группы. Основными источниками информационного обеспечения РСОКО являются:

- результаты лицензирования и аккредитации образовательных учреждений;

- результаты государственной (итоговой) аттестации выпускников образовательных учреждений;

- результаты мониторинга качества индивидуальных достижений обучающихся;

- результаты текущего контроля образовательных учреждений;

- результаты внешнего образовательного аудита;

- данные государственной образовательной статистики, собираемые органами управления образованием и другими ведомствами;- результаты специальных обследований».

Московская область. Основные формы результатов работы РСОКО, перечисленные в материалах региональной группы:

Экспертное заключение комиссии по государственной аккредитации;

Материалы проверок в рамках контроля и надзора;

Справка муниципального органа управления образованием;

Результаты мониторинга в учреждениях, на муниципальном уровне аккумулированные в справке МОУО.

Стоит заметить, что некоторые запросы работодателей в материалах учитываются. Возможно, они уже реализуются или могут быть реализованя. Однако, такие формы результатов, что приведены в кейсе, для «внешнего потребителя» не годятся. Ими сможет воспользоваться только ведомственная структура, в силу их специфики, содержания и языка.

3. Предусмотренные в РСОКО разнообразные по типу (более одного) способы проверки одного показателя и для программ, и для ОУ, и для оценки индивидуальных достижений учащихся, с сохранением равнозначности всех результатов оценивания и определением результирующей. Основание: заведомая дефектность любых средств проверки и оценивания. Пример – наличие нескольких систем проверки знаний и их оценивания, как-то, экзамены в школе, ЕГЭ, вступительные экзамены и конкурсный отбор в вузы.

Исполняется или запланировано во всех регионах, в том или ином виде. Большую роль в этом вопросе играет опыт внедрения и проведения ЕГЭ. Вопрос о комплексных и интегральных показателях, валидности получаемых данных – это общая проблема. По всей видимости, должна решаться и на уровне РСОКО, и на федеральном уровне, одновременно.

4. Выбор инструментов, средств оценивания и организационных форм его проведения на базе общей методологии проекта ОСОКО и с учётом возможности (периодической необходимости) их смены. Основание: формирование стандартов – процесс длительный и в силу этого, требующий корректировки. В этот период неизбежны изменения условий деятельности образовательных учреждений и реализации образовательных программ.

На данном этапе проекта этот критерий в регионах выполнен быть не может. Общая методология отсутствует на федеральном уровне.

5. Возможность использования результатов деятельности РСОКО (проводимых оцениваний качества образования) для содержательного (предметного) «наполнения» современных образовательных стандартов в целях улучшения их исполнения в образовательной деятельности. Основание: Идеология проекта ОСОКО - любое оценивание должно способствовать развитию деятельности, результаты которой оцениваются.

Соответствие данному критерию проводимых работ – это вопрос системного подхода, системных решений.

Во-первых, непонятен порядок формирования предложений по корректировке имеющихся стандартов, а также их внесения на рассмотрение и дальнейшее использование.

Во-вторых, этот вопрос не решить без утверждения единой методологии проведения оценивания. В противном случае, направленность использования результатов деятельности РСОКО для исполнения образовательных стандартов будет ограничена, в лучшем случае, региональным компонентом, а в «худшем» - деятельностью отдельных ОУ и педагогов.

В-третьих, обоснованность любого предложения желательно подтверждать опытом. Например, выпускники учреждения профессионального образования по имеющимся программам подготовки и их успехи, в сравнении с выпускниками того же учреждения по той же программе + дополнительная подготовка в режиме ДО = предложение по изменению программ. Затем дальнейшая работа, вплоть до оформления предложений по корректировке стандартов. Всё это требует исследовательской работы на протяжении, минимум, 5-7 лет, непрерывно.

Основные этапы комплексного оценивания образовательных учреждений, муниципальных и региональных образовательных систем

Одним из главных достижений российской образовательной политики последних лет является повышение объективности оценки качества образования. Идет активное внедрение методов программно-целевого и проектного управления. В регионах разрабатываются программы развития образования, что требует создания системы показателей и индикаторов, позволяющих отслеживать достижение поставленных целей и эффективность реализации данных программ. В органах управления образованием происходит постепенный переход на новую идеологию управления, ориентированную на формулирование и достижение конкретного конечного результата. Перечисленные процессы в первую очередь оперируют и фиксируют изменение финансово-экономических, ресурсных показателей образовательных учреждений и образовательных систем и зачастую не увязываются с показателями образовательных достижений учащихся.

В условиях изменения требований к системе управления образованием и расширения возможностей принятия и реализации управленческих решений информационно-аналитическое обеспечение становится одним из главных «сервисов» в решении проблемы модернизации управления качеством образования, а индикативное управление – одним из основных инструментов.

Разработка принципов построения номенклатуры показателей качества образования объектов оценивания:

соответствие ведущим целям российского образования,
соответствие современным исследованиям в области педагогики, психологии, социологии, квалиметрии, логики оценок, теории математической статистики и др. наук,
принятие за исходное положение, что качество - это особое свойство объекта, которое описывается иерархической структурой показателей,
детализация групповых показателей до единичных (элементарных) показателей, т.е. измеряемых (при этом допустимы разные шкалы измерений).

Разработка структуры и самой номенклатуры показателей качества объектов оценивания:

структура номенклатуры показателей качества деятельности образовательных учреждений – иерархическая с переменным уровнем вложения.

Определение статистических характеристик показателей качества, входящих в номенклатуру показателей, состоит из следующих этапов:

определение статуса показателей - доминирующий, компенсируемый. Все показатели, входящие в номенклатуру, статусно делятся на доминирующие и компенсируемые. Смысл статуса показателя: низкое значение доминирующего показателя не может быть перекрыто сколь угодно большим значением компенсируемого показателя и, если имеются два объекта с одинаковым значением доминирующего показателя, то лучшим/худшим будет считаться тот объект, у которого большее/меньшее значение компенсируемого показателя. Метод определения статуса показателя – экспертный опрос администраторов образовательных учреждений.
определение весовых коэффициентов показателей. Показатели одного статуса несут разный вклад в общую оценку объекта, поэтому мы их различаем по весовым коэффициентам. Метод определения весового коэффициента показателя – экспертный опрос администраторов образовательных учреждений.

Разработка системы оценки показателей, входящего в номенклатуру:

единичные показатели рассчитываются по формам относительных статистических величин. Виды относительных величин, используемых при расчете единичных показателей:

относительная величина структуры – характеризует долю отдельных частей в общем объеме совокупности и выражаются в долях единицы или процентах,
относительная величина интенсивности – представляет собой результат сопоставления разноименных статистических показателей, характеризует распределение явления в определенной среде (насыщенность каким-либо явлением);

все оценки делятся на 3 категории: возрастающие, убывающие, локальные. Оценки первых двух категорий возрастают или убывают, соответственно, с ростом показателя, а локальные оценки достигают наивысшего значения, когда показатель принимает некоторое оптимальное значение и убывает по мере удаления от него.

Примером возрастающего показателя может быть, например, количество выпускников школы, поступивших в вуз, убывающего показателя – количество правонарушений, локального – оснащение образовательного учреждения техническими средствами обучения.

Все единичные показатели получают численные оценки из интервала от 0 до 1. Для определения конкретных значений оценок принята следующая модель зависимостей оценки от значения показателя (на примере возрастающих оценок).

Оценка минимального (наихудшего) значения показателя P_min равна 0. При изменении показателя от P_min до некоторого значения Р₁ (принцип его определения изложен ниже) его оценка растет с небольшой скоростью до уровня 0,2. То есть изменение показателя в интервале от P_min до P₁ не дает существенного повышения качества.

Изменение показателя от P₁ до P₂ (Р₂ определяется по тому же принципу, что и Р₁) влечет активный рост качества. При этом оценка показателя изменяется от 0,2 до 0,8 со скоростью, большей, чем в интервале от P_min до P₁. Дальнейшее увеличение показателя до уровня P_max влечет повышение оценки до 1, но с меньшей скоростью, чем на предыдущем интервале.

Для убывающих показателей график изменения оценки строится зеркально по тому же принципу, что и для возрастающих.

Выбор конкретных значений P₁, P_min, P₂, P_max для единичных показателей производится экспертным путем.

Свертка оценок показателей в комплексную оценку.

Интеграция единичных показателей в комплексную оценку производится по уровням номенклатуры показателей качества образовательного учреждения, начиная с самого низшего уровня, на котором расположены единичные показатели. При этом доминирующие и компенсируемые показатели в пределах одной группы сворачиваются по разным формулам с учетом весовых коэффициентов.

Схематически методическое обеспечение региональной системы оценки качества образования можно проиллюстрировать следующим образом.

В зависимости от объекта оценивания различаются шесть видов инструментов оценивания:

Инструмент оценивания готовности воспитанников дошкольных образовательных учреждений к обучению в школе (тестовая технология).
Инструмент оценивания индивидуальных достижений учащихся образовательных учреждений (технология ЕГЭ, технология новой формы итоговой аттестации выпускников 9-х классов, тестовая технология оценки общеобразовательных достижений учащихся 3-х классов).
Инструмент оценивания качества деятельности образовательных учреждений (аттестационные, аккредитационные технологии, технология комплексной оценки качества деятельности образовательного учреждения)
Инструмент оценивания профессиональных компетенций выпускников УНПО, УСПО, УВПО (независимая сертификация профессиональных компетенций в ресурсных центрах).
Инструмент оценивания качества функционирования муниципальной образовательной системы.
Инструмент оценивания образовательных программ - поэлементное соответствие государственным образовательным стандартам в аттестационных и аккредитационных технологий.

Глава 6. Описание системы подготовки кадров и повышения квалификации для региональных систем оценки качества образования

6.1. Описание системы подготовки кадров и повышения квалификации для региональных систем оценки качества общего образования

Система подготовки кадров и повышения квалификации для РСОКО

Существующие в настоящее время в субъектах Российской Федерации системы подготовки кадров для РСОКО скорее представляют совокупности отдельных направлений работ, обеспечивающих решение текущих задач оценки качества образования, чем полноценно функционирующие системы.

Системы подготовки кадров для РСОКО могут сложиться как системы после того, как будут приняты на уровне органов управления образованием субъектов РФ программы развития региональных систем оценки качества образования. В этих программах должны быть отражены не только направления оценки качества образования, но и конкретные результаты, которые ожидаются в качестве продукта деятельности структур, входящих в РСОКО. Должны быть указаны сроки выполнения работ и объемы финансирования для каждого направления деятельности РСОКО. С этого момента вопросы подготовки кадров для обеспечения деятельности соответствующих структур приобретут системный характер.

В настоящее время в системе общего образования можно указать следующие основные направления оценки качества образования:

итоговая аттестация выпускников общеобразовательных учреждений, включая единый государственный экзамен;

лицензирование и аккредитация образовательных учреждений;

аттестация педагогических и руководящих кадров;

мониторинг и диагностика образовательных достижений обучающихся, включая международные исследования в этой сфере;

мониторинг качества деятельности образовательных систем различного уровня (региональный, муниципальный, школьный);

проведение смотров, конкурсов, олимпиад и других соревнований как для обучающихся, так и для учреждений образования и образовательных систем;

социологические исследования в системе образования;

инспекционные и другие проверки качества деятельности образовательных учреждений и состояния образовательных систем.

Указанные направления деятельности РСОКО обеспечиваются работой специалистов как информационно-диагностической подсистемы, так и экспертно-аналитической подсистемы РСОКО, которые в настоящее время, как правило, являются подведомственными структурами системы образования субъекта РФ. Повышение квалификации специалистов этих подсистем осуществляется в рамках специальных программ обучения, организуемых на уровне региона (как правило, на базе институтов повышения квалификации) или проводящихся на базе федеральных образовательных структур.

Подготовка специалистов в сфере педагогических измерений

Существует ряд образовательных программ, которые предоставляют всем желающим повысить свою квалификацию в сфере педагогических измерений. Так на кафедре тестологии Российского университете дружбы народов организовано обучение (в соответствии с лицензией № 24Г-0339 от 1 апреля 1999 г.) специалистов по программе дополнительного профессионального образования «Тестолог (специалист в области педагогических измерений)». Занятия проводятся ведущими специалистами в области теории и практики педагогических измерений, работниками Минобразования России, профессорами российских вузов.

Форма обучения - очно-заочная (объемом 1250 часов).
Программа обучения строится по следующим направлениям:
1) педагогика и психология, управление образовательными системами;

2) теоретические основы педагогических измерений;

3) измерения в образовании, педагогические измерения в системе управления качеством образования;

4) российская и зарубежная теория и практика конструирования педагогических тестов;

5) применение тестов в образовании, психологические проблемы тестирования;
6) программно-педагогические и программно-инструментальные средства для разработки и применения педагогических тестов;

7) математико-статистические методы в педагогических измерениях, основы математического моделирования;

8) адаптивное тестирование в образовании.

По окончании обучения проводятся государственные экзамены, защищается квалификационная работа, выдается диплом, удостоверяющий получение дополнительной квалификации «Тестолог (специалист в области педагогических измерений)».

Аналогичные курсы предлагаются желающим Томским государственным университетом и другими образовательными организациями. Как правило, курсы рассчитаны на подготовку специалистов по разработке педагогических измерительных материалов.

В качестве примера можно привести систему повышения квалификации, созданную в «Институте повышения квалификации» г. Новокузнецка. В частности, на сайте института представлена следующая информация: «Для повышения качества общего образования одним из условий является создание независимых от органов управления образованием государственной системы оценки качества образования, которая должна стать действенным и надежным инструментом повышения эффективности образовательной деятельности. Осуществление независимой экспертизы основано на использовании педагогических тестов, так как только тесты дают возможность получить объективную оценку качества обучения.

В связи с указанными выше изменениями в образовании необходимо изменять контроль качества обучения в учебном процессе и на ряду с традиционными формами контроля знаний, умений и навыков использовать педагогическое тестирование. Как объективный инструмент качества обучения педагогическое тестирование призвано не только оценить качество обучения, но и осуществлять функции обратной связи.

Но существует множество различных проблем, которые не позволяют в полной мере использовать новые формы контроля знаний в учебном процессе. С 1998 года в г.Новокузнецке изучаются проблемы использования новых форм контроля в учебном процессе - педагогических тестов. С помощью анкетирования, наблюдений и бесед, нами были выявлены следующие проблемы:

1) неумение отобрать качественный тест, что приводит к низким результатам;

2) нежелание использовать тесты в свой педагогической практике из-за недоверия к результатам тестирования, эта причина вызвана, как правило, отсутствием компетентности в области педагогического тестирования.

3) эпизодическое использование педагогических тестов в учебном процессе, что не способствует приобретению навыков работы учащихся с тестовыми заданиями;

4) несоблюдение требований к процедуре тестирования;

3) использование своих тестов в качестве контроля знаний и умений учащихся, без определения показателей качества тестовых заданий и теста.

Все эти проблемы приводят либо к отказу от использования новых форм контроля, либо результаты тестирования являются необъективными.

Из выше сказанного можно сделать вывод о неготовности школы к независимой экспертизе качества обучения и проведению единого государственного экзамена. Причина проблемы кроется в теоретической и практической неподготовленности преподавателей и администрации образовательных учреждений к новым формам контроля качества обучения.

Решить проблему теоретической и практической подготовки учителей и администрации образовательных учреждений к использованию в учебном процессе новых формам контроля качества обучения возможно через курсовую подготовку в системе повышения квалификации.

В МОУ ДПО «Институте повышения квалификации» г. Новокузнецка разработаны три направления решения данной проблемы.

1. В курсы совершенствование педагогического мастерства «Психолого-педагогические основы, теория и методика преподавания предметов», «Психолого-педагогические основы, теория и методика преподавания предметов в профильной школе», курсы «Информационные технологии в преподавании химии и диагностика качества знаний» включен блок «Основы педагогического тестирования». Цель блока – дать представление о новой форме контроля знаний - педагогическом тестировании, его проблемах и перспективах развития, а также мотивация и формирование образовательной потребности в новой области знаний.

2. Разработана дополнительная профессиональная образовательная программа «Конструирование педагогических тестов средствами информационных технологий» в основе которой лежит «Обязательный минимум профессиональной образовательной программы для подготовки лиц с целью получения дополнительной квалификации «Тестолог (специалист в области педагогических измерений)» Целью дополнительной профессиональной образовательной программы является подготовка лиц, проходящих обучение, к следующим видам деятельности:

применять педагогические тесты в учебном процессе;

проводить экспертизу тестовых измерителей (оценивание теста для пригодности его использования в своей профессиональной деятельности);
разрабатывать педагогические тесты различных видов для профессиональной деятельности педагога;

На данных курсах мы не планируем обучить специалиста в области педагогического тестирования, а даем необходимые знания, умения и навыки необходимые для работы с педагогическими тестами и современными средствами диагностики качества обучения. Полученные знания, умения и навыки помогут не только эффективно использовать имеющиеся педагогические тесты, оценивать тест для пригодности его использования в своей профессиональной деятельности, но и при необходимости разработать собственные педагогические тесты.

Содержание структурируется таким образом, чтобы повысить эффективность обучения. Содержание разбито на модули компетентности. Их освоение позволяет поэтапно и наглядно достичь определенной задачи обучения и приобрести определенный уровень овладения знаниями, умениями и навыками. При переходе от одного модуля к другому знания, умения и навыки педагогов углубляются и расширяются, переходя на новый уровень. Модульное построение программы позволяет расширить вариативность образования, предоставляя право выбора. Обучающийся в начале курсовой подготовке на стадии планирования учебного процесса определяет для себя цель обучения. Затем в соответствии с выбранной целью обучения обучающийся выбирает модули для изучения, на данном этапе идет построение индивидуальной траектории обучения.

В ходе курсовой подготовке формируется потребность в разработке педагогических тестов для профессиональной деятельности учителя.

3. После завершения курсовой подготовки по программе «Конструирование педагогических тестов средствами информационных технологий» совместно с научно-методическим центром создаются творческие группы по предметам, цель которых – исследовательская работа в области педагогических измерений.»

Ещё одним примером может служить деятельность Московского института открытого образования, который обеспечивает повышение квалификации педагогических кадров в московском регионе уже более 8 лет, ежегодно проводя занятия по курсу ««Педагогические измерения и образовательные стандарты». Программа курса представлена в Приложении 1.

Подготовку специалистов в сфере педагогических измерений обеспечивают также периодические издания соответствующей направленности. В частности, журнал «ОКО. Оценка качества образования». Основные задачи журнала: освещение вопросов теории, методологии и практики оценки качества образования, в том числе путем проведения ЕГЭ (создание и изменение демоверсий, тестовых заданий, подготовка к ЕГЭ, оценивание результатов и подготовка экспертов, организация проведения тестирования, опыт регионов), а также итоговых аттестаций в основной школе; знакомство с международным опытом аттестации знаний и оценки качества образования; публикация официальных документов, информационных материалов о деятельности ФИПИ.

Основные рубрики журнала:

Вопросы теории и методологии (обсуждение актуальных проблем выявления и оценки уровня подготовки учащихся, управление качеством образования)

Практика: анализ и рекомендации
Подготовка к ЕГЭ
Организация единого экзамена: опыт регионов
ЕГЭ — аттестация и вузы
Итоговая аттестация в основной школе
Международный опыт аттестации знаний и оценки качества образования
Информация Министерства образования и науки РФ и библиография

Сюда же можно отнести серию журналов «Физика в школе», «Химия в школе» и др.

Подготовка и повышение квалификации кадров РСОКО осуществляется на конференциях, посвященных вопросам оценки качества образования. В частности, этому служат ежегодные конференции, проводимые Федеральным центром тестирования. В ноябре 2007 года прошла IХ Всероссийская научно-методическая конференция «Развитие тестовых технологий в России».

Федеральный институт педагогических измерений ежегодно проводит международные конференции, посвященные развитию систем оценки качества образования. На сайте fipi.ru представлена следующая информация:

Федеральная служба по надзору в сфере образования и науки, Национальный фонд подготовки кадров и Федеральный институт педагогических измерений (ФИПИ) - член Европейской Ассоциации специалистов по оценке в области образования (AEA-Europe), проводили с 26 по 28 сентября 2006 г. международную конференцию «Оценка качества образовательных достижений в системе общего образования».
В работе конференции приняли участие российские и международные эксперты в области педагогических измерений, ведущие специалисты таких организаций, как CITO (Нидерланды), ACTR/ACCELS (США), представители Министерств образования, центров тестирования стран СНГ и Балтии, руководящие работники Министерства образования и науки Российской Федерации, Федеральной службы по надзору в сфере образования и науки, представители регионов РФ, участвующих в эксперименте по введению единого государственного экзамена (ЕГЭ).
В рамках конференции проводилась работа следующих секций:

Секция 1 Направление совершенствования контрольных измерительных материалов для ЕГЭ 2009 г. по предметам естественно-математического цикла (математика, физика, химия, биология, география, информатика)

Руководитель: Спирин Геннадий Георгиевич, проф., д. тех. н., заведующий кафедрой физики Московского авиационного института, председатель научно-методического совета по физике.

Секция 2 Направление совершенствования контрольных измерительных материалов для ЕГЭ 2009 г. по предметам гуманитарного цикла (русский язык, литература, история, обществознание, иностранные языки)

Руководители: Милославский Игорь Григорьевич, д.филол.н., профессор, заведующий кафедрой сопоставительного изучения русского и других языков факультета иностранных языков МГУ им. М.В. Ломоносова, Академик Международной академии наук высшей школы, председатель научно-методического совета по русскому языку; Рутковская Елена Лазаревна, к.п.н., вед. науч. сотр. лаборатории обществоведческого образования Института содержания и методов обучения Российской академии образования, председатель федеральной предметной комиссии разработчиков контрольных измерительных материалов ЕГЭ по обществознанию.

Секция 3 Оценка образовательных достижений в рамках национальных программ оценки качества образования (структура национальных систем оценки качества образования, основное содержание работы, опыт повышения эффективности функционирования системы и др.)

Руководитель: Ершов Андрей Геннадиевич, к.филос. н., директор ФИПИ.

Секция 4 Эквивалентность содержания экзаменов различных стран (Анализ содержания экзаменов, сравнение экзаменов разных стран с точки зрения их эквивалентности, учет экзаменов других стран при поступлении в образовательные учреждения данной страны и др.)

Руководитель: Ленская Елена Анатольевна, к.п.н., заместитель директора по образованию и преподаванию английского языка Британского Совета.

Секция 5 Образовательные стандарты и оценка их достижения (разработка тестов, ориентированных на оценку достижения требований стандарта, операционализация требований стандартов, критерии достижения требований стандарта, опыт стран и др.)

Руководитель: Ковалева Галина Сергеевна, к.п.н., заместитель директора ФИПИ, заведующая Центром оценки качества образования Института содержания и методов обучения Российской академии образования.

Секция 6 Психометрические аспекты оценки образовательных достижений (обеспечение объективности и точности измерения, формирование параллельных тестов на основе банка калиброванных заданий, шкалирование результатов и др.)

Руководитель: Белобородов Владимир Николаевич, к.физ-мат.н., руководитель отдела математического моделирования педагогических измерений ФИПИ.

Секция 7 Современные аспекты компьютерного тестирования (расширение возможности педагогических измерений в интерактивной среде, созданной с помощью компьютера; разработка заданий нового типа, моделирующих лабораторный практикум, новые формы представления результатов тестирования с помощью компьютеров и др.)

Руководитель: Станченко Сергей Владимирович, к. физ-мат. н., заместитель директора ФИПИ, директор Учебно-издательского центра «Интерактивная линия»

Секция 8 Оценка образовательных достижений за курс основной школы (статус экзамена (обязательный или по выбору), предметы, выносимые на экзамен, содержание экзаменов, организация и проведение, шкалирование результатов, представление результатов и др.)

Руководитель: Рослова Лариса Олеговна, к.п.н., гл. редактор газеты «Математика» («Первое сентября»), ст.научн. сотрудник лаборатории математического образования Института содержания и методов обучения Российской академии образования

В ходе работы конференции был проведен круглый стол «Справедливый экзамен» с участием российских и зарубежных специалистов, а так же преподавателей и учащихся.»

Направления деятельности РСОКО, требующие подготовки и переподготовки кадров

РСОКО включает три уровня оценки качества образования:

региональный уровень;
муниципальный уровень;
уровень образовательного учреждения (организации), независимо от его организационно-правовой формы (имеющего лицензию на осуществление образовательной деятельности).

Оценка качества образования должна строится на основе общественно-профессиональной экспертизы. Общественно-гражданские институты должны участвовать в оценке качества образования на всех уровнях и в рамках всех существующих оценочных процедур в целях осуществления общественной экспертизы, подготовки информации об общественной удовлетворённости деятельностью образовательных учреждений, педагогов, системы образования в целом.

Для обеспечения грамотного проведения соответствующих процедур должны быть подготовлены необходимые инструктивные материалы и проведено обучение организаторов и участников этих процедур.

Процедуры оценки качества образования на всех уровнях должны взаимодополнять друг друга. В частности, на указанных уровнях образовательной деятельности в них могут быть включены:

(на региональном уровне):

государственная (итоговая) аттестация выпускников аккредитованных образовательных учреждений, включая единый государственный экзамен;
лицензирование образовательной деятельности;
государственная аккредитация образовательных учреждений (организаций);
аттестация педагогических и руководящих кадров на высшую квалификационную категорию;
региональный мониторинг и диагностика образовательных достижений обучающихся;
международные, региональные олимпиады, конкурсы и другие интеллектуальные соревнования обучающихся;
международные и федеральные исследования образовательных достижений обучающихся;
общественно-государственная экспертиза в рамках конкурсов Приоритетного национального проекта «Образование»;
профессиональные конкурсы, региональные конкурсы в области науки и технологий образования;
региональные социологические исследования в области образования;
контроль и надзор за соблюдением образовательными учреждениями (организациями) действующего законодательства в сфере образования;
плановые и внеплановые проверки содержания и качества подготовки обучающихся, уровня и направленности образовательных программ, реализуемых в аккредитованных образовательных учреждениях (организациях).

(на муниципальном уровне):

аттестация педагогических и руководящих кадров на первую квалификационную категорию;
муниципальный мониторинг и диагностика образовательных достижений обучающихся;

муниципальные олимпиады, конкурсы и другие интеллектуальные соревнования обучающихся;

муниципальные профессиональные конкурсы;
контроль и надзор за соблюдением образовательными учреждениями (организациями) действующего законодательства в сфере образования, осуществляемого в рамках компетенции окружных управлений образования.

(на уровне образовательного учреждения):

промежуточная и итоговая аттестация обучающихся;
аттестация педагогических и руководящих кадров на вторую квалификационную категорию;
мониторинг и диагностика образовательных достижений обучающихся;
олимпиады, конкурсы и другие интеллектуальные соревнования обучающихся;
социологические исследования в области образования;
мониторинг безопасности жизни и здоровья обучающихся, воспитанников и работников образовательного учреждения (организации) во время образовательного процесса;
общественная аккредитация в различных российских, иностранных и международных общественных образовательных, научных и промышленных структурах;
самоаудит (для составления публичного отчёта о деятельности образовательного учреждения).

Среди указанных направлений особо следует выделить проведение государственной (итоговой) аттестации выпускников в форме единого государственного экзамена.

Подготовка кадров для единого государственного экзамена

При проведении единого государственного экзамена в каждом субъекте Российской Федерации формируется Государственная экзаменационная комиссия, на которую возлагается ответственность за проведение ЕГЭ в регионе. В состав ГЭК входят представители органов исполнительной власти, органов местного самоуправления, органов управления образованием различных уровней, педагогической общественности, учреждений профессионального образования и общеобразовательных учреждений.

Порядок организации и проведения единого государственного экзамена определяется утверждаемыми Федеральной службой по надзору в сфере образования и науки инструктивными материалами, основные из которых представлены в Приложениях 2, 3, 4.

Для проведения ЕГЭ в субъекте РФ кроме ГЭК формируются следующие организационные структуры:

предметные комиссии ГЭК субъекта Федерации (далее – предметные комиссии);
конфликтная комиссия субъекта Федерации (далее – конфликтная комиссия);
региональный центр обработки информации (далее - РЦОИ) и пункты первичной обработки информации (далее - ППОИ);
пункты проведения ЕГЭ (далее – ППЭ);
система общественного наблюдения и контроля за проведением ЕГЭ.

Специалисты для работы в указанных организационных структурах должны пройти курс обучения, который организуется Федеральным центром тестирования (для специалистов РЦОИ, ППОИ, ППЭ) и Федеральным институтом педагогических измерений (для предметных комиссий).

С целью подготовки экспертов региональных предметных комиссий ежегодно проводиться семинар, организуемый Федеральным институтом педагогических измерений. На сайте fipi.ru можно получить информацию об этих семинарах. В частности, о семинаре 2005 года сказано:

«С 29 по 31 марта в Москве на базе Российского нового университета состоялся семинар по обучению председателей региональных предметных комиссий единого государственного экзамена (ЕГЭ). Организаторами семинара выступили Федеральная служба по надзору в сфере образования и науки (Рособрнадзор) и Федеральный институт педагогических измерений (ФИПИ).

В течение трех дней представители 52 регионов знакомились с критериями проверки заданий Единого государственного экзамена с развернутым ответом (часть «С»). Всего в работе семинара приняли участие 227 человек.

Как заявил директор ФИПИ Андрей Ершов, что за этот год сотрудники ФИПИ, в частности члены федеральных предметных комиссий, приложили все усилия, чтобы содержательно изменить учебу экспертов.

Специалистами ФИПИ специально для этого семинара были подготовлены учебно-методические материалы для организации работы региональной предметной комиссии и аттестации экспертов по 10-ти общеобразовательным предметам.

Во время семинара представители региональных предметных комиссий познакомились с методическими рекомендациями по оцениванию заданий с развернутым ответом в структуре контрольных измерительных материалах (КИМ) единого экзамена, с типологией этих заданий и подходами к их проверке.

С помощью комплекта ответов учащихся за 2004 год, наиболее объективно отражающих самые типичные ошибки, а также общие подходы к выставлению баллов, эксперты получили возможность практически освоить систему оценивания, которая принята в отдельном общеобразовательном предмете. По словам одного из участников семинара, заведующего кафедрой физической химии Казанского государственного технологического университета Юрия Галяметдинова, благодаря этому семинару сформирован единый подход к проверке заданий с развернутым ответом.

Подобный семинар проводится уже в четвертый раз, но только в этом году будущие эксперты получили возможность впервые пройти компьютерное обучение с помощью разработанной ФИПИ программы подготовки экспертов. По словам директора ФИПИ, к моменту проведения семинара творческий коллектив института под руководством заместителя директора Галиной Ковалевой подготовил демонстрационные версии этой программы по русскому языку, математике, обществознанию, химии и географии.

В течение 2005 года, уточнил Андрей Ершов, будут разработаны программы по остальным предметам: биологии, истории России, литературе, физике, иностранным языкам и информатике.

В комплект компьютерной программы входят работы выпускников 2004 года по разным вариантам, тексты заданий и критериев оценивания, бланки протоколов экспертной проверки по процедуре 2005 года, таблицы с реальными экспертными оценками заданий всех работ, включенных в программу, а также нормативные документы, регламентирующие работу экспертов.

Создание подобного электронного пособия позволит экспертам региональных предметных комиссий ЕГЭ проходить обучение как в очной, так и в заочной форме.

Отдельно проходили семинары по обучению членов региональных предметных комиссий по иностранным языкам: в Москве, в Московском городском педагогическом университете, занимались специалисты по немецкому языку, в Санкт-Петербурге были организованы занятия для экспертов, участвующих в проверке ЕГЭ по французскому языку.

По итогам всех семинаров прошедшие аттестацию специалисты предметных комиссий получили сертификаты. В общей сложности, сертификаты экспертов ЕГЭ–2005 получили около 300 специалистов.»

Подготовка кадров для проведения мониторинга образовательных достижений обучающихся

Проведение мониторинга образовательных достижений обучающихся на региональном и муниципальных уровнях предусматривает организацию обучения специалистов (организаторов тестирований, экспертов-предметников и экспертов-наблюдателей), которые смогут провести диагностические тестирования. С этой целью должны организовываться специальные курсы по обучению указанных специалистов. В качестве примера в Приложении 5 представлены программы курсов по подготовке организаторов и экспертов-наблюдателей.

Технологические аспекты подготовки специалистов в Московском центре качества образования (МЦКО) реализуются в следующем порядке. За 3-4 недели до начала проведения диагностического тестирования специалисты отдела мониторинга и диагностики МЦКО проводят совещание с методистами окружных научно-методических центров, ответственных за проведение тестирований, по согласованию количества школ и классов, принимающих участие в тестировании. Методисты получают образцы инструктивно-методических материалов, которые впоследствии будут выданы организаторам диагностических тестирований.

Для подготовки организаторов диагностических и аттестационных тестирований на сайте МЦКО (www. mcko.ru) размещаются инструктивно-методические материалы, содержащие порядок подготовки образовательных учреждений к тестированию, инструкции для организаторов тестирований, протоколы проведения тестирований, спецификации тестов и образцы заданий.

За 2-3 недели до начала проведения диагностических и аттестационных тестирований проводится обучение организаторов тестирований, на котором подробно рассматриваются как подготовительный этап, так и сама процедура тестирования. Организаторам выдается пакет инструктивных материалов, демонстрируются конверты с тестами и бланками с предыдущих тестирований, показывается, каким образом должны быть заклеены конверты и заполнены наклейки на них.

На каждом тестировании в школе присутствует эксперт-наблюдатель для проверки соблюдения технологии тестирования. Эксперт-наблюдатель направляется в школу от МЦКО. Так же как и организаторы тестирований, эксперты-наблюдатели проходят обучение в МЦКО. Во время обучения подробно рассматриваются вопросы проведения тестирования, требования, предъявляемые наблюдателям во время и после тестирования, даются рекомендации по работе экспертов-наблюдателей.

Приложение 1 к главе 6

Московский институт открытого образования

СОГЛАСОВАНО УТВЕРЖДАЮ

Проректор по учебной работе Ректор МИОО

___________Н.И. Яковлева ____________А.Л. Семенов

УЧЕБНО-ТЕМАТИЧЕСКИЙ ПЛАН

курсов «Педагогические измерения и образовательные стандарты» АТ1

Цель: повышение квалификации.

Категория слушателей: заместители руководителей общеобразовательных учреждений, методисты, учителя.

Срок обучения: 72 ч, сентябрь – май 2007/08 уч. г.

Форма обучения: без отрыва от работы

Режим занятий: среда (по особому расписанию), 15.00

№	Наименование разделов, тем	Всего час.	В том числе:
№	Наименование разделов, тем	Всего час.	Лекции	Семинары, практичес-кие занятия	Форма контроля
I	Психологические аспекты проведения тестирования. Деловая межличностная этика	6	4		зачет 2
I	Методика отбора заданий для организации контроля с учетом психологических факторов	6	2		зачет 2
II	Стратегия развития российского образования в начале ХХI века.	4	2		зачет 2
II	Методологические проблемы современного образования, обучения и воспитания	4	2		зачет 2
III	Педагогические измерения в современном образовании		4
	Тестовые технологии в международных исследованиях образовательных достижений учащихся		2
	Образовательные стандарты и контрольные измерительные материалы		2
	Обшая технология создания контрольных измерительных материалов, ее основные этапы и специфика		4
	Классификация тестов. Формы предтестовых и тестовых заданий		2
	Характеристики тестовых заданий		2
	Содержание теста. Общие принципы отбора содержания теста		2
	Анализ образовательных программ и отбор учебного материала, выносимого на контроль в тестовой форме			2
	Разработка спецификации теста			2
	Экспертиза качества теста		2
	Разработка тестовых заданий			2
	Валидность. Этапы валидизации теста. Методы повышения валидности тестов		2
	Формирование авторского варианта теста и сопроводительной документации			2
	Система формирования банка тестовых заданий		2
	Оценка надежности теста			2
	Создание банка авторских тестовых заданий			2
	Апробация тестовых заданий и отработка их характеристик			2
	Проведение экспертизы авторского теста и его доработка			2
	Основные теории педагогической таксонометрии		2
	Стандартизация теста		2
	Математико-статистическая обработка и шкалирование результатов тестовых измерений		2
	Формы представления и методы интерпретации результатов тестирования			2	Зачет (2); зачет индив. (6,25); контрольные работы (10).
	Особенности проведения тестирования для различных групп учащихся			2
	Сбор эмпирических результатов тестирования			2
	Апробационное тестирование как этап повышения качества теста		2
	Использование результатов тестирования в учебном процессе и во внутришкольном контроле			2
	Проведение тестирования в соответствии с технологией ЛАТ			2
	Вопросы организации тестовых систем		2
	Перспективы развития тестовых систем		2
Всего по III разделу		62	36	26
Итого		72	46	26
** -итого c учетом деления на подгруппы		90**	46	44**

Приложение 2 к главе 6

Blog