Отчет о деятельности федерального государственного научного учреждения

Вид материала

Отчет

Содержание 1. Выполнение Тематического плана работ, проводимых по заданию Федеральной службы по надзору в сфере образования и науки в 2006 Анализ результатов Тестологический анализ Рекомендации по совершенствованию структуры и содержания КИМ ЕГЭ 2007 1.9. Выборочный анализ экзаменационных работ единого государственного экзамена 2006 года. (отв. Бисеров А.Ю., к.филол.н., зам. д В 2006 году в соответствии с п. 4.6. Устава ФИПИ работал коллегиальный орган управления институтом – Ученый совет ФИПИ, созданны Первое заседание Второе заседание Третье, расширенное, заседание Четвертое заседание 3. Деятельность научно-методических советов ФИПИ

Подобный материал:

• Отчет о результатах самообследования Федерального государственного образовательного, 4331.93kb.
• Отчет федерального государственного образовательного учреждения среднего профессионального, 2073.13kb.
• Отчет о результатах самообследования деятельности Томского сельскохозяйственного института, 1077.15kb.
• Отчет о результатах самообследования деятельности федерального государственного образовательного, 1673.22kb.
• Отчет о результатах самообследования филиала федерального государственного автономного, 704.88kb.
• А. С. Данилов отчет, 3429.56kb.
• Отчет по результатам самообследования филиала федерального государственного образовательного, 445.33kb.
• Отчет по показателям деятельности образовательного учреждения, необходимых для определения, 909.7kb.
• Отчет о прохождении преддипломной производственной практики в ОАО «Дорисс» г. Чебоксары, 93.98kb.
• Отчет по результатам самообследования направления подготовки 080100. 68 «Экономика», 726.97kb.

1. Выполнение Тематического плана работ, проводимых по заданию Федеральной службы по надзору в сфере образования и науки в 2006 году


Тематический план работ ФИПИ, проводимых по заданию Федеральной службы по надзору в сфере образования и науки в 2006 году, включал 9 тем, реализация которых была направлена на проведение прикладных научных исследований и разработок по вопросам выполнения Рособрнадзором государственных функций по контролю качества образования с использованием измерительных технологий (в части федеральных компонентов государственных образовательных стандартов).

Ниже представлены результаты работы института по каждой теме в порядке их включения в Тематический план.


1.1. Разработка методических материалов и вариантов контрольных измерительных материалов для проведения пробного единого государственного экзамена по русскому языку и математике в 2006 году (отв. Татур А.О., к.ф-м.н., зам. директора ФИПИ)


Для проведения пробного ЕГЭ в 2006 году были разработаны методические материалы и варианты контрольных измерительных материалов по русскому языку (2 варианта) и математике (2 варианта). Работа выполнена по технологии, принятой для разработки контрольных измерительных материалов для ЕГЭ в соответствии со спецификациями и демоверсиями экзаменационных работ по русскому языку и математике для выпускников ХI (XII) классов общеобразовательных учреждений 2006 г., утвержденными Рособрнадзором.


1.2. Анализ структуры банка тестовых заданий единого государственного экзамена, систематизация и поддержание банка тестовых заданий единого государственного экзамена с учетом статистических характеристик заданий по 13 предметам (русскому языку, математике, физике, химии, биологии, географии, истории, обществознанию, литературе, английскому, немецкому, французскому языкам и информатике), включающего более 110 тысяч тестовых заданий (отв. Татур А.О., к.ф-м.н., зам. директора ФИПИ Станченко С.В., к.ф.-м.н., зам. директора ФИПИ)


В 2006 году проведен анализ и экспертиза структуры банка тестовых заданий ЕГЭ 2001-2006 годов по 13 общеобразовательным предметам (117115 действующих тестовых заданий). Для экспертов Федеральных предметных комиссий были подготовлены все необходимые материалы, содержащие технические, содержательные и статистические характеристики банка тестовых заданий ЕГЭ.

В процессе анализа и экспертизы были выявлены:

• задания с хорошими характеристиками, которые можно использовать в ЕГЭ будущих лет;
  
• фасетные задания, которые имеют одинаковые контролируемые элементы содержания, но немного отличаются по формулировкам;
  
• проблемные тестовые задания, которые не в полной мере соответствуют требованиям, предъявляемым к качеству тестовых заданий (эти задания были доработаны по замечаниям экспертов);
  
• задания, которые не могут быть использованы в ЕГЭ будущих лет как не соответствующие требованиям, предъявляемым к тестовым заданиям ЕГЭ (такие задания (7132) переведены в разряд недействующих заданий).
  

Методический анализ тестовых заданий позволил выявить потребности банка ЕГЭ в новых заданиях, которые были представлены в документах конкурса 2006 года «Контрольные измерительные материалы и тестовые задания для единого государственного экзамена» (Приложениях 10).

Результатом проведенной работы является структурированный банк тестовых заданий единого государственного экзамена 2001-2006 годов по 13 предметам, включающий в настоящее время 121993 тестовых задания. Увеличение числа заданий банка произошло за счет приобретения новых заданий, отобранных в результате проведенной содержательной и тестологической экспертизы.


1.3. Разработка методики структурирования открытого сегмента Федерального банка тестовых заданий единого государственного экзамена по русскому языку и математике и подготовка плана-графика работ по открытию части Федерального банка тестовых заданий единого государственного экзамена по 13 предметам (русскому языку, математике, физике, химии, биологии, географии, истории, обществознанию, литературе, английскому, немецкому, французскому языкам и информатике) (отв. Татур А.О., к.ф-м.н., зам. директора ФИПИ)


Для ознакомления с содержанием контрольных измерительных материалов единого государственного экзамена, а также расширения возможности подготовки к экзамену предусматривается постепенное открытие части Федерального банка тестовых заданий ЕГЭ. Открытие доступа к заданиям, используемым в ЕГЭ, позволит всем заинтересованным лицам ознакомиться с разработанной системой объективной оценки образовательных достижений, что, в конечном счете, будет способствовать формированию доверия к единому государственному экзамену.

Основными целями создания открытого сегмента Федерального банка тестовых заданий являются повышение качества подготовки к единому государственному экзамену всех его участников, а также развитие системы педагогических измерений в Российской Федерации.

Разработанная методика структурирования открытого сегмента Федерального банка тестовых заданий ЕГЭ по русскому языку и математике включает описание порядка формирования открытого сегмента, принципы отбора заданий по тестологическим характеристикам, описание процедуры подготовки заданий для опубликования, а также описание модели использования заданий открытого сегмента¹. Методика структурирования открытого сегмента Федерального банка тестовых заданий ЕГЭ утверждена Ученым советом ФИПИ (протокол от 31.01.06).

В 2006 году в соответствии с подготовленным планом-графиком проведены работы по открытию части Федерального банка тестовых заданий ЕГЭ по 13 предметам (русскому языку, математике, физике, химии, биологии, географии, истории, обществознанию, литературе, английскому, немецкому, французскому языкам и информатике).


1.4. Создание модели информационной системы формирования, хранения и использования открытого сегмента банка тестовых заданий по 13 предметам (русскому языку, математике, физике, химии, биологии, географии, истории, обществознанию, литературе, английскому, немецкому, французскому языкам и информатике) (отв. Татур А.О., к.ф-м.н., зам. директора ФИПИ Станченко С.В., к.ф.-м.н., зам. директора ФИПИ)


В рамках данного проекта решались следующие задачи:

• публикация типовых образцов заданий ЕГЭ в соответствии с нормативными документами, определяющими структуру и содержание контрольных измерительных материалов;
  
• публикация критериев оценивания заданий с развернутым ответом;
  
• обеспечение для широкого круга пользователей возможности ознакомления с открытым сегментом банка и выполнения заданий (с выбором ответа и с кратким ответом) в тренировочном режиме.
  

В соответствии с планом создана и реализована модель информационной системы формирования, хранения и использования открытого сегмента банка тестовых заданий по 13 предметам. Модель информационной системы включает следующие модули: базы данных, программное обеспечение, банк заданий и сопроводительных документов, тренировочный модуль, справочно-поисковый модуль.

База данных, программное обеспечение составляют технологическую основу для функционирования ОС ФБТЗ.

Тренировочный модуль предназначен учащимся и абитуриентам и обеспечивает возможность выполнения заданий с выбором ответа и с кратким ответом, представленных в виде набора заданий по одному или нескольким пунктам тематического рубрикатора, в тренировочном режиме, включающем чтение задания, ввод ответа в поле ввода ответа, получение и просмотр результатов выполнения теста по каждому заданию.

Для заданий с развернутым ответом тренировочный модуль позволяет осуществлять просмотр критериев оценивания ответа и образец возможного ответа.

Для учителей и методистов создается справочный модуль, обеспечивающий следующие возможности: получение информации о числе заданий по каждой позиции кодификатора элементов содержания по данному общеобразовательному предмету; поиск заданий по перечню проверяемых элементов содержания (тематическому рубрикатору), по характеристикам; компоновка заданий в виде комплектов и вывод комплекта на печать.

Открытый сегмент Федерального банка тестовых заданий формируется на основе заданий, использовавшихся в едином государственном экзамене и отвечающих критериям качества.

Процедура формирования открытого сегмента банка включает следующие этапы:

• Распечатка действующих заданий ФБТЗ с их характеристиками.
  
• Отбор заданий для открытого сегмента банка тестовых заданий.
  
• Анализ и корректировка заданий открытого сегмента банка тестовых заданий на основе статистических данных.
  
• Ввод заданий и их характеристик в программный модуль открытого сегмента банка тестовых заданий.
  
• Сверка предъявляемых на сайте данных специалистами-предметниками.
  

Действующая система ОС ФБТЗ, размещенная на сайте ФИПИ, включает в общей сложности более 13 000 заданий Федерального банка по 13 предметам.


1.5. Анализ результатов единого государственного экзамена 2006 года по 13 предметам (русскому языку, математике, физике, химии, биологии, географии, истории, обществознанию, литературе, английскому, немецкому, французскому языкам и информатике). (отв. Ковалева Г.С., к.п.н., зам. директора ФИПИ, Татур А.О., к.ф-м.н., зам. директора ФИПИ).

Анализ результатов единого государственного экзамена в 2006 году включал анализ результатов выполнения всех заданий и вариантов контрольных измерительных материалов по всем предметам в 2006 году; тестологический анализ качества заданий и вариантов КИМ 2006 года, анализ проведения ЕГЭ в регионах по результатам командировок членов Федеральных предметных комиссий разработчиков КИМ, анализ замечаний и предложений по совершенствованию КИМ, поступивших из субъектов РФ.

По результатам данного анализа подготовлены:

• Аналитический отчет «Результаты единого государственного экзамена 2006 года (май-июнь 2006 года)». Отчет опубликован и размещен на сайте ФИПИ (ссылка скрыта.fipi.ru);
  
• отчеты по тестологическому анализу по 13 предметам;
  
• рекомендации по совершенствованию структуры и содержания КИМ ЕГЭ 2007 по 13 предметам.
  

Анализ результатов единого государственного экзамена, проводимого в мае-июне 2006 года, (состава экзаменуемых, качества контрольных измерительных материалов, результатов выполнения экзаменационных работ, результатов перепроверки выполнения заданий с развернутым ответом 100-балльниками и др.) показал следующее:

• В 2006 году более 60% выпускников общеобразовательных учреждений страны сдавали единый государственный экзамен, а именно 830415 человек из 1306996 выпускников 2006 года. ЕГЭ проводился в 78 субъектах РФ. Всего 939153 человека сдавали хотя бы один экзамен в форме ЕГЭ, учитывая вузовскую сдачу экзаменов в июле. В региональных центрах обработки информации и Федеральном центре тестирования было обработано 1935913 экзаменационных работ.
  
• В целом ЕГЭ позволяет получить объективную картину состояния общеобразовательной подготовки выпускников средней школы, сдававших экзамен, и осуществить дифференциацию экзаменуемых по уровню и качеству их подготовки для осуществления итоговой аттестации выпускников средней школы, а также проведения вступительных испытаний и зачисления в учреждения среднего и высшего профессионального образования.
  
• Как и в прошлые годы, наиболее значительная часть выпускников, выбравших экзамен в форме ЕГЭ, проживает в населенных пунктах сельского типа (около 30%). Вместе с выпускниками, проживающими в населенных пунктах городского типа и малых городах населением до 100 тыс. человек, они по-прежнему составляют более половины участников экзамена. По сравнению с 2005 годом заметно увеличилось число участников ЕГЭ, проживающих в наиболее крупных городах. Этот факт может рассматриваться как следствие повышения общественного доверия к ЕГЭ как форме итоговой аттестации выпускников.
  

4. По сравнению с 2005 годом значительно увеличилось число регионов, в которых экзамен по математике и русскому языку сдавало более 90% выпускников общеобразовательных учреждений 2006 года (по математике с 22 до 29, по русскому языку с 12 до 24). Результаты этих регионов уже можно сравнивать между собой для выявления качества образования по основным обязательным предметам. В этих регионах можно проводить сравнение качества подготовки выпускников по общеобразовательным учреждениям.

Таким образом, единый государственный экзамен становится основным звеном в системе оценки качества образования, дающим независимую объективную оценку образовательных достижений выпускников средней школы.

5. Учитывая, что в 2006 году охват выпускников средней школы даже по таким предметам, как математика и русский язык составил около 50%, а по другим предметам от 0,02% до 7%, количественные результаты ЕГЭ по предметам с достаточным основанием нельзя распространять на всю совокупность выпускников средней школы страны. Однако некоторые выявленные характерные тенденции (позитивные и негативные) в состоянии общеобразовательной подготовки, присущие данной совокупности выпускников, целесообразно учитывать при совершенствовании преподавания отдельных предметов.

6. В соответствии с рекомендациями Минобрнауки России контрольные измерительные материалы 2006 года стали учитывать образовательные стандарты 2004 годов. Это отразилось в увеличении числа заданий на выявление степени понимания основных элементов содержания общего образования и оценку сформированности умений применять полученные знания в различных ситуациях.

7. При сравнении результатов экзамена, в 2006 году в целом получены результаты близкие к результатам прошлого года. По некоторым предметам отмечается тенденция небольшого улучшения результатов по отдельным знаниям и умениям.

По результатам ЕГЭ появилась возможность не только обоснованно дифференцировать выпускников по уровню и качеству общеобразовательной подготовки, но и описывать особенности подготовки различных групп учащихся с учетом требований образовательных стандартов. Можно говорить о том, что в целом экзаменуемые, показавшие на ЕГЭ «отличный» и «хороший» уровни подготовки, овладели основными проверяемыми требованиями стандарта на базовом и повышенном уровнях. Общеобразовательная подготовка выпускников с «удовлетворительным» уровнем подготовки характеризуются фрагментарностью, несформированностью системы основных знаний и умений, соответствующих требованиям образовательных стандартов, неспособностью применять даже имеющиеся отдельные знания в измененной.

В целом при незначительно изменяющихся КИМ наметилась тенденция стабилизации результатов ЕГЭ. При этом по большинству предметов выявляются повторяющиеся из года в год типичные ошибки экзаменуемых при выполнении заданий одинаковой тематики.

Полученные результаты позволяют сделать вывод о необходимости целенаправленных усилий педагогического сообщества по повышению качества образования. ЕГЭ является инструментом, позволяющим выявить особенности общеобразовательной подготовки выпускников, но не изменить сложившуюся ситуацию. Следует обратить внимание учителей, авторов учебников и разработчиков методических пособий, специалистов системы повышения квалификации работников образования на необходимость совершенствования учебного процесса с учетом результатов ЕГЭ. Особенно следует сконцентрировать усилия на формировании базовых умений, необходимых для продолжения образования и профессиональной деятельности.

Основные проблемы в подготовке выпускников и рекомендации по их разрешению рассмотрены в методических письмах, подготовленных сотрудниками ФИПИ не основе результатов ЕГЭ, а также в методических пособиях по подготовке к ЕГЭ по отдельным предметам, представленных в открытой печати.

8. Результаты ЕГЭ постоянно показывают различия в уровне подготовки выпускников общеобразовательных учреждений, различающихся их типом и видом, а также местом расположения. Выпускники общеобразовательных школ имеют более высокие результаты, чем учащиеся вечерних школ и образовательных учреждений начального профессионального образования. Более высокие результаты показывают выпускники лицеев, гимназий, а также школ с углубленным изучением отдельных предметов. Выпускники образовательных учреждений, расположенных в сельской местности, в среднем показывают более низкие результаты, чем выпускники образовательных учреждений, расположенных в городской местности.

Эти результаты необходимо учитывать при создании системы оценки качества образования на федеральном и региональном уровнях и разработке показателей, на основе которых может проводиться сравнение общеобразовательных учреждений. Нельзя корректно проводить сравнение общеобразовательных учреждений без их разделения по выше указанным характеристикам.

Использование результатов ЕГЭ может помочь в выявлении образовательных учреждений, нуждающихся в методической помощи, и своевременном ее оказании для обеспечении равного доступа к качественному образованию.

9. Одним из направлений использования результатов ЕГЭ является разработка образовательных стандартов общего среднего образования (уточнение содержания образования и требований к уровню подготовки с учетом реального состояния обучения, выявленного в ходе единого государственного экзамена; ориентация системы оценивания достижения образовательных стандартов на складывающуюся систему единого государственного экзамена).

Проверка в рамках ЕГЭ 2006 года достижения на базовом уровне выделенных требований стандарта 2004 года позволила получить образцы заданий, конкретизирующих эти требования, а также достоверные количественные показатели, характеризующие овладение этими требованиями не только всеми участниками ЕГЭ, но и учащимися, продемонстрировавшими различные уровни общеобразовательной подготовки. В итоге выделены требования, которые достигаются или, наоборот, не достигаются большинством выпускников общеобразовательной школы. Эти данные необходимо учитывать при совершенствовании обязательных требований стандарта 2004 года и при разработке стандарта нового поколения, чтобы они более адекватно отвечали социальному заказу современного российского общества и в то же время были посильными для большинства школьников.

Тестологический анализ результатов ЕГЭ выполняется ежегодно с целью выявления качества контрольных измерительных материалов, определения специальных групп проблем, типичных для каждого предмета, и определение направлений совершенствования качества заданий и контрольных измерительных материалов для ЕГЭ на основе статистических данных, полученных в результате обработки результатов ЕГЭ в ФИПИ и ФЦТ.

Тестологический анализ в 2006 году проводился на основе усовершенствованной системы обработки результатов ЕГЭ. Как и в 2005 году он включал:

• анализ качества заданий КИМ (выявление доли качественных заданий по каждому варианту КИМ; анализ качества заданий по отдельным частям КИМ; анализ качества заданий по отдельным уровням сложности (базовому, повышенному и высокому); анализ особенностей выполнения заданий разного формата и типа; анализ причин наличия заданий с ошибками и некорректными формулировками в КИМ; предложения по совершенствованию качества заданий);
  
• анализ качества отдельных вариантов КИМ (анализ статистических данных по тесту в целом по каждому варианту /средние показатели, надежность и т.д./ параллельность вариантов; процентильные характеристики выполнения каждого варианта; сравнение шкал, полученных на основе первичных и тестовых баллов; анализ выполнения якорных заданий; соответствие результатов выполнения КИМ используемым математическим моделям обработки; время выполнения экзаменационной работы; анализ информационных кривых и кривых ошибок измерения по всем вариантам, на которые отвечали не менее 400 тестируемых; предложения по совершенствованию качества экзаменационной работы.
  

Тестологический анализ проводился при наличии данных об особенностях выполнения каждого варианта КИМ (регион, пункт сдачи экзаменов, расположение пункта (город, сельская местность и т.д.,), присутствовали ли общественные наблюдатели и т.д., а также о контингенте учащихся, выполнявших данный вариант.

По всем позициям тестологического анализа давалось сравнение с 2005 годом. Анализ показал, что по сравнению с 2005 годом повысилось качество контрольных измерительных материалов. Средняя надежность (коэффициент альфа, Кронбах) контрольных измерительных материалов по всем предметам находится в пределах от 0,85 до 0,93. Средняя дифференцирующая способность заданий по всем предметам кроме математики колеблется от 30 до 60% (25- 57% в 2005 году). Причем для заданий с выбором ответа она составляет 30-51% (25-51), для заданий с кратким ответом – 36-58% (31-55) и для заданий с развернутым ответом – 25-60% (21-57).

По итогам тестологического анализа 2006 года были составлены Протоколы согласования рекомендаций тестологов и работы Федеральных предметных комиссий по обеспечению качества КИМ по всем предметам, в которых были перечислены все рекомендации тестологов по совершенствованию КИМ для ЕГЭ 2007 года, которые нужно было учесть в спецификации и демонстрационном варианте КИМ 2007 года, и зафиксированы действия специалистов–предметников.

После проведения ЕГЭ в 2006 году были проанализированы все замечания по качеству контрольных измерительных материалов, поступившие во время и после экзамена из 36 регионов страны. Суммарное число замечаний к заданиям КИМ, поступивших в ФИПИ во время экзаменов, составило 7, что в 2,5 раза меньше, чем в 2005 году; из них 4 – не повлекли изменений в оценке участников ЕГЭ, а по 3 замечаниям (по русскому языку, математике и истории России) была произведена корректировка итогового балла у 1 % от общего числа сдавших ЕГЭ по данным предметам в пользу участников эксперимента. Из 273 замечаний по содержанию КИМ, поступивших из регионов, было принято 93. По результатам анализа подготовлены рекомендации по совершенствованию технологии разработки КИМ, которые реализованы в практике работы Федеральных предметных комиссий при подготовке КИМ для ЕГЭ 2007 года.

В период проведения ЕГЭ в мае-июле 2006 года 23 сотрудника ФИПИ, члены 10 Федеральных предметных комиссий посетили 12 регионов с целью контроля процедуры проведения экзамена в пунктах проведения экзамена (ППЭ), анализа работы региональных предметных комиссий по проверке ответов экзаменуемых на задания с развернутым ответом, выявления возможности регионов в разработке тестовых заданий (для формирования целевого заказа) и проведении апробационных исследований.

По результатам командировок были сформированы предложения по совершенствованию проведения ЕГЭ и представлены отчеты в Рособрнадзор. Предложения включали рекомендации по совершенствованию технологии проведения экзаменов, подготовки экспертов по проверке результатов выполнения заданий с развернутыми ответами и по сотрудничеству с ФИПИ.

В рамках этой же темы подготовлены Рекомендации по совершенствованию структуры и содержания КИМ ЕГЭ 2007 по 13 общеобразовательным предметам. В 2007 году не предполагается вносить существенных изменений в структуру и содержание КИМ по всем предметам. Такие изменения будут возможны в 2009 году после их экспериментальной проверки и широкого обсуждения с педагогическим сообществом.

Небольшие изменения, улучшающие измерительные качества экзамена, должны быть проведены по следующим направлениям: расширение числа объектов проверки в соответствии с образовательными стандартами 2004 года, увеличение удельного веса заданий, проверяющих умения применять знания и умения, в том числе анализировать информацию, предлагаемую в разной форме и др.


1.6. Разработка технологической схемы, создание и апробация программных модулей для формирования контрольных измерительных материалов на основе банка калиброванных заданий (отв. Ковалева Г.С., к.п.н., зам. директора ФИПИ Станченко С.В., к.ф.-м.н., зам. директора ФИПИ).


Работа проводилась при сотрудничестве со специалистами Института педагогических измерений Нидерландов в рамках программы CROSS, утвержденной Минобрнауки России и Мининстерством образования Нидерландов. Она направлена на создание системы компьютерных средств, обеспечивающих качество производства КИМ (создание параллельных равноценных по трудности вариантов КИМ в режиме автоматической сборки).

В соответствии с поставленной задачей – созданием математических моделей и действующих алгоритмов сборки параллельных вариантов КИМ на основе банка калиброванных заданий была разработана технологическая схема и описание результата апробации программных модулей формирования КИМ на основе банка калиброванных заданий. Апробация программных модулей тестировалась при различных значениях параметров заданий теста по физике для дихотомических заданий на модельном банке (около 8000 заданий). Определены направления дальнейшей работы в связи со сборкой политомических заданий.

В качестве тестологической модели, определяющей взаимные трудности отдельных заданий и характеристики вариантов, выбрана однопараметрическая модель Раша.

В качестве основы построения базовых вариантов была разработана модельная сборочная спецификация, определяющая количественные и качественные требования к набору вариантов, к самим вариантам и к отдельным заданиям, в том числе: число вариантов; число заданий в варианте; число заданий каждого типа; ожидаемое время выполнения варианта; степень покрытия разделов кодификатора по предмету; трудность варианта; число и расположение заданий, обеспечивающих связь вариантов. Осложняющим задачу фактором является требование соблюдения численного баланса между опробованными ранее заданиями и новыми заданиями, статистические характеристики которых неизвестны.

Выполнение данной работы тесно связано с решением проблем шкалирования результатов тестирования. Условие параллельности вариантов исключает возможность инверсии между набранным первичным баллом и полученным тестовым баллом, поскольку информационные функции параллельных вариантов совпадают или, по крайней мере, близки. Таким образом, решение задачи сборки параллельных вариантов обеспечивает монотонность функциональных зависимостей оценок внутри совокупности тестируемых не только по одному варианту, но и по всему тесту.

Если обеспечена параллельность тестовых вариантов за несколько лет в ходе связанных тестирований или одного тестирования, то тем самым обеспечена сопоставимость результатов тестирований разных лет, при этом большему первичному баллу соответствует больший тестовый балл.

Важными направлениями дальнейшего исследования должны стать разработка и исследование критериев параллельности вариантов, а также изучение возможности получения параллельных вариантов с помощью методов клонирования отдельных заданий варианта. В этом случае задачей автоматической сборки является получение одного варианта-прообраза, наилучшим образом удовлетворяющего требованиям спецификации.

1.7. Разработка научно-методических подходов к оценке образовательных достижений выпускников основной школы в рамках итоговой аттестации (отв. Ковалева Г.С., к.п.н., зам. директора ФИПИ)


В соответствии с задачами исследования подготовлен обзор подходов к оценке образовательных достижений выпускников основной школы и разработке измерительных материалов, принятых в России и в зарубежных странах. Проведенный анализ показал, что в большинстве европейских стран переход учащихся из неполной средней в полную среднюю школу происходит по результатам внешнего экзамена, проводимого централизованно. Только в небольшом числе стран этот переход происходит на основе внутреннего оценивания: текущей успеваемости школьников или внутришкольных итоговых оценок.

В большинстве стран процесс экзаменов на национальном уровне направляется обязательным для выполнения сводом правил и инструкций, составленным агентствами, отвечающими за квалификационные испытания. Свод правил разработан с целью обеспечения необходимого качества экзамена и его соответствие принятым нормам. Своды правил регламентируют отбор содержания, определение схем оценивания и стандартизацию выставления отметок. Проводится также экзаменационный мониторинг в форме 'исследований', в ходе которых проверяется качество отдельных экзаменов, проводится сопоставление их материалов, исследование стандартов оценки.

При разработке научно-методических подходов к оценке образовательных достижений выпускников основной школы в рамках итоговой аттестации особое внимание уделено обеспечению валидности и надежности оценки. В ходе исследования обоснованы научно-методические подходы к определению структуры и содержания измерительных материалов.

Необходимыми условиями проведения объективной оценки образовательных достижений выпускников основной школы является разработка измерительных материалов, включая систему оценки и шкалирования результатов, на основе теории педагогических измерений. Формат и структура подготовленных экзаменационных материалов должны соответствовать технологии обработки результатов тестирования.


1.8. Разработка методических материалов по 13 предметам (русскому языку, математике, физике, химии, биологии, географии, истории, обществознанию, литературе, английскому, немецкому, французскому языкам и информатике) для подготовки членов предметных комиссий в субъектах Российской Федерации. (отв. Ковалева Г.С., к.п.н., зам. директора ФИПИ, Бисеров А.Ю., к.филол.н., зам. директора ФИПИ)


Для подготовки членов региональных предметных комиссий для проверки заданий с развернутым ответом были разработаны методические материалы по 13 предметам. Использование данных методических материалов должно способствовать формированию у экспертов умений осуществлять стандартизированную оценку результатов выполнения заданий с развернутыми ответами в ходе ЕГЭ с целью повышения точности оценки результатов выполнения заданий данного типа. Это достигается за счет уменьшения расхождений в оценках независимых экспертов, проверяющих одну и ту же работу, а также уменьшения систематических ошибок при работе экспертов.

Методические материалы по подготовке членов региональных предметных комиссий представляют собой комплект из трёх книг:

• Методические рекомендации по оцениванию заданий с развёрнутым ответом.
  
• Материалы для самостоятельной работы экспертов по оцениванию заданий с развернутым ответом
  
• Материалы для проведения зачёта.
  

Методические рекомендации по оцениванию заданий с развёрнутым ответом включают типологию основных элементов содержания и учебной деятельности, проверяемых заданиями с развернутым ответом; оптимальную систему критериев для оценки заданий данного типа; методику оценки ответов экзаменуемых на основе разработанных критериев с примерами типичных ответов, ошибок и рекомендациями по принятию мер в нестандартных ситуациях.

Указанные материалы опубликованы и размещены на сайте ФИПИ (ссылка скрыта). По данным, полученным из регионов, они широко использовались в практике обучения членов региональных предметных комиссий в период подготовки к ЕГЭ 2006 года.


1.9. Выборочный анализ экзаменационных работ единого государственного экзамена 2006 года. (отв. Бисеров А.Ю., к.филол.н., зам. директора ФИПИ)


В целях обеспечения контроля за проведением ЕГЭ в субъектах Российской Федерации и оценки качества проверки заданий с развёрнутым ответом региональными предметными комиссиями был разработан регламент проведения выборочного анализа экзаменационных работ единого государственного экзамена 2006 года, который включал все виды выборочных статистических наблюдений и устанавливал порядок организационного взаимодействия при проведении выборочного обследования на федеральном уровне, распределение функций по уровням организации, а также определял порядок подведения итогов обследования и оформления результатов анализа.

Для проведения выборочной перепроверки были разработаны процедура и методика перепроверки экзаменационных работ ЕГЭ.

Членами Федеральных предметных комиссий проведен анализ большинства экзаменационных работ ЕГЭ 2006 года с оценкой в 100 баллов (408 из 478), присланных из 63 регионов, и 21 работы, направленной в адрес ФИПИ Управлением контроля и оценки качества образования, а также отдельных работ, отобранных по специально разработанным критериям. По результатам анализа был подготовлен «Отчет о результатах выборочного анализа экзаменационных работ единого государственного экзамена 2006 года», который передан в Управление контроля качества образования Рособрнадзора для принятия соответствующих решений.


2. Деятельность Ученого совета ФИПИ (отв. Ковалева Г.С., к.п.н., зам. директора ФИПИ)

В 2006 году в соответствии с п. 4.6. Устава ФИПИ работал коллегиальный орган управления институтом – Ученый совет ФИПИ, созданный в 2005 году.

С

остав Ученого совета ФИПИ в 2006 году расширился с 24 до 28 членов. Они представляют 17 разных учреждений. В их число входит 11 преподавателей вузов, 17 сотрудников государственных структур и научных учреждений, в том числе 2 представителя Рособрнадзора; 13 докторов наук и 14 кандидатов наук (информация о составе Ученого совета ФИПИ дана в приложении 2).

В 2006 году состоялось 4 заседания Ученого совета, которые проводились в соответствии с планом работы, утвержденным на Ученом совете (все заседания являлись правомочными: на каждом из них присутствовало не менее половины членов совета). В трех заседаниях принимал участие руководитель Рособрнадзора В.А. Болотов.

Первое заседание Ученого совета состоялось 31 января. На нем были рассмотрены и одобрены итоги работы ФИПИ в 2005 г., приняты решения о включении новых членов в состав Ученого совета ФИПИ:

Тягунова Т.Н. – к. техн. Н., директор Центра образовательных коммуникаций и тестирования профессионального образования;

Киринюк А.А. – д.ист., заместитель начальника Управления лицензирования, аттестации и аккредитации Рособрнадзора;

Ленская Е.А. – к.п.н., заместитель директора по вопросам английского языка и образования Британский Совет в Москве;

Зверев В.В. – д.ист. н., проф. Кафедры истории российской государственности Российской академия государственной службы при Президенте РФ.


На заседании также были утверждены следующие документы:

• Структура ФИПИ;
  
• План работы ФИПИ на 2006 г.;
  
• План работы Ученого совета на 2006 г.;
  
• Методика структурирования открытого сегмента Федерального банка тестовых заданий (по русскому языку и математике);
  
• План-график работ по открытию части Федерального банка тестовых заданий по предметам;
  
• Методические письма о преподавании 10 учебных предметов с учетом результатов единого государственного экзамена 2005 г. (по математике, русскому языку, физике, химии, биологии, географии, истории России, обществознанию, литературе, иностранным языкам).
  

Члены Ученого совета ФИПИ поручили дирекции ФИПИ в срок до 1 декабря 2006 года создать журнал ФИПИ.

Второе заседание Ученого совета ФИПИ состоялось

28 апреля 2006 г.. На нем были одобрены основные направления совершенствования контрольных измерительных материалов для ЕГЭ 2007-09 гг., в связи с чем приняты следующие решения:

• Организовать работу научно-методических советов и федеральных предметных комиссий разработчиков КИМ для ЕГЭ по реализации предложенных направлений совершенствования КИМ в 2007-09 гг. Представить проекты кодификаторов элементов содержания по предметам для составления КИМ единого государственного экзамена 2007 года, спецификаций экзаменационных работ для выпускников XI (XII) классов общеобразовательных учреждений 2007 г. и демонстрационных вариантов КИМ 2007 года для обсуждения на расширенном заседании Ученого совета ФИПИ 26.09.06 – 27.09.06 и в широких кругах профессиональной общественности с использованием сайта Рособрнадзора и ФИПИ.
  
• Организовать работу с Минобрнауки и Рособрнадзором по согласованию содержания и процедуры совершенствования КИМ для ЕГЭ в соответствии с государственными образовательными стандартами 2004 г. Подготовить вопросы по каждому предмету, требующими разъяснения или уточнения.
  
• Организовать работу по созданию кодификаторов элементов содержания по предметам для составления КИМ ЕГЭ в соответствии с образовательным стандартом 2004 г.
  
• Организовать интернет-конференцию с представителями региональных предметных комиссий после проведения ЕГЭ 2006 г.
  
• Поручить дирекции ФИПИ выйти с предложением в РАО о совместной работе над государственным образовательным стандартом нового поколения.
  

В соответствии с повесткой дня второго заседания Ученого совета ФИПИ была обсуждена и одобрена в целом технология разработки КИМ ЕГЭ на 2007 год. После обсуждения программы апробационных исследований по обеспечению качества тестовых заданий и контрольных измерительных материалов ЕГЭ в 2007-2009 гг. приняты следующие решения:

• Принять за основу программу апробационных исследований по обеспечению качества тестовых заданий и контрольных измерительных материалов ЕГЭ в 2007-2009 годы (прилагается), доработать ее по высказанным замечаниям и направить ее членам Ученого совета в срок до 30.05.06.
  
• Поручить дирекции ФИПИ рассмотреть вопрос о реализации программы апробационных исследований по обеспечению качества тестовых заданий и контрольных измерительных материалов ЕГЭ в 2007-2009 годы в срок до 30.05.06.
  
• Поручить дирекции ФИПИ рассмотреть вопрос о возможности использования процедуры аттестации общеобразовательных учреждений для проведения апробационных исследований по обеспечению качества тестовых заданий и контрольных измерительных материалов ЕГЭ.
  

Третье, расширенное, заседание Ученого совета состоялось 26 сентября. Его проведение было совмещено с ІІІ международной конференцией “Оценка качества образовательных достижений в системе общего образования”, которую организовал Национальный фонд подготовки кадров, Федеральная служба по надзору в сфере образования и науки, Федеральный институт педагогических измерений. В повестку дня заседания были включены два вопроса: Об итогах единого государственного экзамена 2006 года; об утверждении проектов документов, регламентирующих разработку КИМ ЕГЭ 2007 г. В заседании приняли участие как члены Ученого совета ФИПИ, так и В.А. Болотов, руководитель Федеральной службы по надзору в сфере образования и науки, другие представители Рособрнадзора, председатели научно-методических советов ФИПИ, федеральных предметных комиссий разработчиков КИМ для ЕГЭ, а также другие участники конференции.

Все члены Ученого совета получили аналитический материал «Результаты единого государственного экзамена 2006 года» и проекты документов, регламентирующих разработку КИМ ЕГЭ 2007 г (кодификаторы, спецификации и демонстрационные версии по 13 предметам).

Члены Ученого совета ФИПИ единогласно одобрили основные направления работы по подготовке аналитического отчета ФИПИ «Результаты единого государственного экзамена 2006 года», а также поручили ФИПИ завершить работу над ним до 15 октября и направить его в Рособрнадзор для предоставления на заседание Коллегии Минобрнауки России (25.10.06). Решением Ученого совета также стало поручение подготовить методические письма о преподавании отдельных предметов с учетом результатов единого государственного экзамена 2006 года до 15 ноября 2006 г. и направить их в Департамент государственной политики в образовании Министерства образования и науки РФ.

На заседании были одобрены проекты кодификаторов элементов содержания по 13 предметам для составления контрольных измерительных материалов единого государственного экзамена 2007 г., спецификаций экзаменационных работ для выпускников XI (XII) классов общеобразовательных учреждений 2007 г. и демонстрационных вариантов КИМ 2007 г. ФИПИ было поручено:

• организовать обсуждение указанных проектов документов научно-педагогической общественностью в срок до 14 октября 2006 г.;
  
• доработать указанные проекты документов с учетом поступивших замечаний в срок до 21 октября 2006 г.;
  
• согласовать с научно-методическими советами ФИПИ изменения, внесенные в указанные проекты документов по итогам их обсуждения в профессиональном сообществе, и представить указанные документы в дирекцию ФИПИ для представления на утверждение в Рособрнадзор в срок до 28 октября 2006 г.
  

Четвертое заседание Ученого совета состоялось 15 декабря. На нем за основу были приняты Основные направления научно-исследовательских работ ФИПИ на 2007-2010 годы и утвержден ряд документов:

• План работы Ученого совета ФИПИ на 2007 год;
  
• методические письма «Об использовании результатов единого государственного экзамена 2006 года в преподавании учебных предметов в средней школе».
  
• тарифы на проведение экспертизы контрольных измерительных материалов, учебных, методических, учебно-методических пособий с целью присвоения грифа «Допущено ФИПИ», тарифы на подготовку экспертных заключений для Экспертного совета ФИПИ.
  

Члены Ученого совета одобрили Основные направления работы ФИПИ с профессиональной общественностью и организациями-партнерами; Краткий отчет о выполнении научно-исследовательских работ в рамках Тематического плана работ ФИПИ, проводимых по заданию Федеральной службы по надзору в сфере образования и науки в 2006 году.

Дирекции ФИПИ было дано поручение переструктурировать и обновить составы Научно-методических советов до 02.02.07 в соответствии с задачами проведения аттестации выпускников IX классов общеобразовательных учреждений по новой форме, а также разработать план подготовки диссертаций на соискание ученой степени кандидата и доктора наук сотрудниками ФИПИ по специальностям, соответствующим научной тематике института.

Члены Ученого совета поддержали предложение дирекции ФИПИ о проведении ежегодной конференции ФИПИ: «Оценка качества образования и национальные экзамены».

Все решения Ученого совета исполнялись в соответствии с намеченными сроками.


3. Деятельность научно-методических советов ФИПИ


Научно-методические советы действуют в соответствии с Уставом института и Типовым положением о научно-методическом совете ФИПИ, утвержденным приказом ФИПИ от 28.12. 2004 г. № 46-П. Главная цель работы НМС – обеспечение высокого качества контрольных измерительных материалов. Научно-методические советы являются одной из форм участия научно-педагогической общественности в совершенствовании технологий и методик в области педагогических измерений. Являясь совещательным органом института, НМС координируют работу, связанную с созданием документов, регламентирующих разработку КИМ по общеобразовательным предметам в текущем учебном году, а также выстраивают перспективную стратегию по обновлению концептуальных подходов к созданию КИМ.

Члены НМС представляют 69 учреждений из 17 субъектов РФ:

• г. Москва – 47 организаций (68%) 113 человек;
  
• г. Санкт-Петербург – 6 организаций (8%) 16 человек;
  
• другие регионы – 15 организаций (21%) – 16 человек.
  

Члены НМС представляют более 70 различных организаций и учреждений, в число которых входят крупнейшие вузы Москвы (МГУ им. М.В.Ломоносова, Высшая школа экономики (ГУ-ВШЭ), МАИ, МГПУ, РУДН, РГГУ, Московской государственной академии тонкой химической технологии им. М.В.Ломоносова и др.), Санкт-Петербурга (СпбГУ, РПГУ им. Герцена) и вузы других крупных городов России, научно-исследовательские институты (Институт содержания и методов образования РАО, Институт российской истории РАН, Государственный институт русского языка им. А.С. Пушкина и др.), редакции журналов и издательств, государственные архивы и общественные центры, учреждения общего образования.