Авторефераты по всем темам  >>  Авторефераты по педагогике  

На правах рукописи

Третьякова Татьяна Васильевна

СИСТЕМА ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ И ЕЕ

ПОСТРОЕНИЕ В РЕГИОНАХ С ТЕРРИТОРИАЛЬНЫМИ И НАЦИОНАЛЬНЫМИ ОСОБЕННОСТЯМИ

(на материалах системы полного среднего образования в Республике Саха (Якутия)

Специальность 13.00.01 - общая педагогика,

история педагогики и образования

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

доктора педагогических наук

Якутск - 2010

Работа выполнена на кафедре педагогических измерений ГНУ Исследовательский центр проблем качества подготовки специалистов Национального исследовательского технологического университета (МИСиС).

Научный консультант:  доктор педагогических наук, профессор

Звонников Виктор Иванович, ГОУ ВПО

Государственный университет управления,

г. Москва.

Официальные оппоненты: доктор педагогических наук, профессор

Шаулин Валентин Николаевич,

Федеральная служба по надзору в сфере образования и науки, г. Москва;

доктор педагогических наук, профессор

Ефремова Надежда Федоровна,

Донской государственный технический университет, г. Ростов-на-Дону;

доктор социологических наук

Винокурова Ульяна Алексеевна, Арктический государственный институт искусств и культуры,

г. Якутск.

Ведущая организация: Педагогический институт ФГОУ ВПО Южный федеральный университет.

Защита состоится л 26 ноября 2010 года на заседании диссертационного совета Д 212.306.02 при ФГАОУ ВПО Северо-Восточный федеральный университет им. М.К. Аммосова по адресу: 677000, г. Якутск, пр. Ленина, 2, ауд. 215.

С диссертацией можно ознакомиться в научной библиотеке Северо-Восточного федерального университета им. М.К. Аммосова

Автореферат разослан л___ ______________ 2010 г.

Ученый секретарь

диссертационного совета Петрова С.М.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Политические и социальные тенденции, доминирующие в России XXI в., привели к резкому возрастанию значения проблем, связанных с повышением качества образования в условиях поиска новых подходов к росту эффективности управления образовательными системами. Понятие качество образования из сферы обсуждения в рамках узкого круга специалистов переместилось в сферу государственной политики, стало предметом общественных и научных дискуссий представителей самых разных профессий.

Проблемы качества непосредственно смыкаются со стратегией развития науки и инноваций в Российской Федерации на период до 2015 г., в соответствии с которой в государственный сектор образования должны войти укомплектованные квалифицированными кадрами учебные заведения, способные обеспечить построение экономики России, основанной на знаниях. Сходные приоритеты обозначены в выступлениях Президента России, руководителей Министерства образования и науки, а также ведущих ученых и педагогов, где с нарастающей интенсивностью звучит проблема повышения качества отечественного образования.

На фоне роста актуальности общих проблем качества образования повысилась потребность в современных контрольно-оценочных системах, необходимость создания которых заложена в приоритетных направлениях развития образовательной системы нашей страны. В документах, ориентированных на эти направления, отмечается, что необходимо Есформировать общенациональную систему оценки качества образования, получаемого гражданином, и реализуемых образовательных программ. Составляющими такой общенациональной системы должны быть региональные системы оценки качества образования, обеспечивающие комплексный подход к анализу всех аспектов процессов и результатов функционирования образовательных систем в условиях высокой объективности и обоснованности выводов о качестве образования.

Таким образом, развитие региональных оценочных систем становится одним из приоритетных направлений модернизации отечественного образования. В новых условиях эти системы должны опираться на общенаучные принципы, гарантирующие эффективность их функционирования, базироваться на современных научных разработках в области педагогических измерений, обеспечивать информационный базис для повышения качества результатов образования и прогнозирования динамики его изменения, а также учитывать стратегические приоритеты и особенности развития региональных систем образования.

На протяжении всей истории развития отечественной педагогики многие ученые внесли свой значимый вклад в совершенствование контрольно-оценочных систем в образовании. К этим исследованиям можно отнести работы по общим проблемам контроля и диагностики, выполненные рядом отечественных (Т.Э. Ав-рукина, В.П. Беспалько, Д.Н. Богоявленский, П.П. Борисов, В.И. Гинецинский, В.И. Звонников, Н.Ф. Ефремова, А.В. Иванова, И.И. Легостаев, И.Я. Лернер, Н.А. Мен-чинская, Е.И. Михайлова, В.М. Полонский, М.Н. Скаткин, Т.И. Степанова, Н.Ф. Та-лызина, М.Б. Челышкова и др.) и зарубежных ученых (Б. Блум, Р. Гронлунд, К. Ингенкамп, В. Оконь и др.). Сюда же примыкают работы по индивидуализации обучающих и контрольно-корректировочных воздействий со стороны педагога (М.К. Акимова, С.В. Алек-сеев, С.К. Боголюбов, Е.В. Бондаревская, В.И. Гладких, А.С. Границкая, В.В. Давыдов, Л.В. Занков, А.А. Кирсанов, В.В. Краевский, И.Я. Лернер, А.Н. Леонтьев, О.Б. Лошнова, В.Я. Ляудис, Н.А. Менчинская, В.М. Монахов, П.И. Пидкасистый, Л.Н. Рожинова, Г.К. Селевко, В.В. Сериков, М.Н. Скаткин, Т.И. Степанова и др.).

Необходимой составляющей научного фундамента современных контрольно-оценочных систем являются исследования по компьютеризации оценочных процессов, проведенные Н.В. Апатовой, М.Ф. Королевым, В.Н. Крюковым, П.Д. Лебедевым, В.И. Нардюжевым, В.В. Петрусинским, Л.М. Поддубной, А.О. Сер-геевым, А.Н. Тихоновым, А.О. Татуром, А.Г. Шмелевым и др. Несомненно, важен контекст оценивания, связанный с мониторингом качества образования, представленный в трудах Н.Н. Булынского, Н.Ф. Ефремовой, В. А. Кальней, Г.С. Ковалевой, Э.Л. Красновского, А.А. Макарова, Е.И. Михайловой, Н.А. Селезневой, А.И. Субетто, С. Е Шишова и др. Особенности развития оценочных систем, характерные для ряда регионов России, нашли свое частичное отражение в трудах ученых по проблемам национальных школ (В.Ф. Афанасьев, У.А. Винокурова, Г.Н. Волков, А.А. Григорьева, Д.А. Данилов, П.П. Кондратьев, А.Г. Корнилова, А.В. Мордовская, Н.Д. Неустроев, Е.П. Жирков, А.Д. Семенова).

Таким образом, вопросы научного обоснования систем оценки качества образования привлекают внимание большого числа ученых, управленцев и преподавателей, в трудах которых к настоящему моменту накоплен значительный научный арсенал для совершенствования оценочных систем в образовании. Тем не менее, на сегодняшний день остается нерешенным целый круг проблем, связанных с созданием концептуально-методологических основ систем оценки качества образования, функционирование которых, с опорой на эти основы, должно протекать в условиях высокой объективности (надежности), обоснованности (валидности) и сопоставимости обеспечиваемой ими информации. Решение этих проблем осложняется в регионах, обладающих значительной территориальной разобщенностью, школами с национальными или социокультурными особенностями, где развитие оценочных систем предполагает использование специальных методик, исключающих возможное влияние дискриминирующих факторов для принятия административно-управленческих решений на основе анализа данных о качестве образования.

В частности, такие условия функционирования оценочных систем характерны для Республики Саха (Якутия), которая обладает значительной территориальной разобщенностью учебных заведений и большим числом малокомплектных национальных школ. Несмотря на трудности, связанные с этими особенностями, в системе образования Якутии широко ведется экспериментальная работа в области совершенствования современных систем оценки качества образования. Анализируются различные аспекты участия выпускников школ Якутии в Едином государственном экзамене, идет процесс развития системы государственной аккредитации образовательных учреждений, совершенствуются процедуры контроля и надзора в сфере образования, создаются инновационные модели школьных оценочных систем.

Однако необходимо отметить, что на фоне значительных практических успехов модернизация оценочной системы республики на сегодняшний день носит эклектический характер в силу отсутствия концептуально-методологической базы, определяющей научные подходы к развитию оценочных систем. В связи с этим, была выбрана тематика данного исследования Система оценки качества образования и ее построение в регионах с территориальными и национальными особенностями (на материалах системы полного среднего образования в Республике Саха Якутия) и определена ведущая исследовательская проблема, которая состоит в том, чтобы разработать адекватные современной теории, практике образования и региональной специфике концептуально-методологические и методические подходы к построению системы оценки качества образования, функционирующей в условиях высокой надежности, валидности, двухуровневости (сочетания количественных и качественных данных о качестве образования), динамичности, сопоставимости и прогностичности информации о качестве результатов образования. В соответствии с исследовательской проблемой была поставлена цель исследования, выбраны его объект и предмет.

Цель исследования Ц разработка концептуально-методологических и методических основ научной организации региональной системы оценки качества образования с учетом современных научных достижений теории образовательных систем, теории педагогических измерений, бипарадигмальной методологии эвалюации в образовании, требований компетентностного подхода к трактовке качества результатов образования и особенностей функционирования системы образования в ряде регионов России.

Объект исследования Ц региональная оценочная система, включающая компоненты различного предназначения и уровня управления и создающая информационную среду образовательной системы для реализации ее функций.

Предмет исследования - теоретико-методологическое и методическое обоснование оценки качества результатов образования, обеспечивающее рост эффективности функционирования региональной оценочной системы на основе надежной, валидной, динамичной, сопоставимой и прогностичной информации о качестве результатов образования, в том числе в условиях регионов, обладающих территориальными и национальными особенностями образовательной среды.

Аналитическая работа, проведенная в процессе работы над диссертацией применительно к ее предмету, по изучению трудов ученых в сфере фундаментальных исследований, показала, что в отечественной педагогической науке недостаточно представлены возможности методологии педагогических измерений, не исследован ряд ее положений, способствующих научной организации оценивания в образовании. Остались неразработанными теоретические основы построения эффективных оценочных процессов в образовании, не определены научные требования к качеству компонентов оценочных систем и к качеству обеспечиваемой ими информации. Не решены проблемы, связанные с определением места и роли эвалюации в современной концептуальной модели оценочной системы на различных уровнях управления. Недостаточно полны классификационные схемы видов измерителей. Существуют значительные пробелы в понятийном аппарате той области педагогической науки, которая связана с построением и развитием оценочных систем.

В сфере прикладных исследований отсутствует должное обоснование совокупности измеряемых показателей качества результатов обучения для системы полного среднего образования с учетом требований современного компетентностного подхода. Существующий методический аппарат, разработанный вне связи с методологией и теорией педагогических измерений, не позволяет с высокой достоверностью определять воздействующие на качество образования факторы и не обеспечивает эффективную информационную поддержку управленческих решений в образовании. Не разработаны научные подходы к определению критериев сформированности компетенций в рамках количественных и качественных уровней измерения. Отсутствуют методики шкалирования в условиях интеграции количественных и качественных результатов оценочных процессов, ориентированные на компетентностный подход.

Остались вне внимания исследователей вопросы научного и методического обеспечения систем оценки качества образования в регионах, обладающих значительной территориальной разобщенностью, малокомплектными или национальными школами (Республика Саха (Якутия), Красноярский край, Хабаровский край, Чукотка и т.д.). Эти нерешенные проблемы методологического, теоретического и методического характера были положены в основу выбора гипотезы и формулировки задач данного диссертационного исследования, результаты которого строятся с опорой на имеющиеся отечественные и зарубежные наработки.

Гипотеза исследования. В основе исследования лежит предположение о том, что эффективность функционирования региональной оценочной системы увеличится, если теоретико-методологические и методические основы ее построения будут:

- обеспечивать высокую информативность результатов оценочных процессов, что предполагает выполнение требований высокой надежности, валидности, двухуровневости, динамичности, сопоставимости и прогностичности информации о качестве образования;

- учитывать возможность совмещения педагогических измерений с традиционными оценочными процессами в пропорциях, необходимых для успешной реализации функций по управлению качеством образования;

- отражать общую направленность современного обучения на компетентностную трактовку качества результатов образования;

- опираться на операционализируемую совокупность показателей качества результатов обучения;

- включать преимущественную ориентацию средств измерения на проверку продуктивного уровня усвоения, интеллектуальных умений обучающихся за счет использования инновационных видов измерителей, аутентично отражающих требования компетентностного подхода;

- включать научно-методический аппарат для обеспечения справедливости результатов оценочных процессов, в том числе в условиях ряда регионов России, обладающих спецификой образовательных систем.

Поставленная цель и сформулированная гипотеза реализуются в ходе решения следующих задач исследования:

- анализ и обобщение результатов научных исследований (отечественных и зарубежных) по рассматриваемой в диссертации проблеме с целью выявления позитивных тенденций и перспективных направлений для совершенствования региональных систем оценки качества образования;

- развитие методологических основ научной организации региональных систем оценки качества образования на основе бипарадигмальной методологии измерений, классической и современной теории тестов, теории генерализации и эвалюации в контексте современных подходов к обеспечению высокой эффективности оценивания для принятия обоснованных решений в управлении качеством образования;

- разработка концептуальных основ региональных систем оценки качества образования, предполагающих ориентацию на приоритет инновационных технологий обучения; инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности обучающихся;

- формирование совокупностей показателей качества процесса и результатов обучения, адекватных задачам функционирования региональных систем оценки качества образования;

- создание классификации видов современных измерителей и требований к их характеристикам для аутентичного оценивания и реализации научных подходов к совершенствованию измерителей в контексте современных трактовок качества учебных достижений;

- разработка научно-методического аппарата для формирования полного информационного базиса образовательной системы в условиях высокой надежности и валидности, двухуровневости, динамичности, сопоставимости и прогностичности результатов оценочных процессов с учетом контекстных характеристик образовательной среды региона при оценке качества результатов обучения;

- разработка методического аппарата для обеспечения справедливости оценок учебных достижений обучающихся в регионах, обладающих территориальной, социокультурной или национальной спецификой;

- разработка научных методов шкалирования результатов оценивания в условиях многомерности, высокой сопоставимости и корректной интеграции количественных и качественных данных о качестве результатов обучения в рамках компетентностного подхода.

Методологической основой исследования послужили:

- синергетический подход, предполагающий интеграцию и использование связей между элементами структуры региональной оценочной системы, благодаря которым достигается согласованное поведение ее подсистем, возрастает степень ее упорядоченности и уровень самоорганизации;

- системный подход, позволяющий осуществлять анализ качества обучения, рассматривая его как совокупность свойств образовательной системы, протекающего в ней образовательного процесса и результатов обучения;

- бипарадигмальная методология эвалюации в образовании, закладывающая научный базис теоретических подходов к интеграции количественных и качественных данных о качестве образования;

- методология педагогических измерений, включающая классическую, современную теории тестов и теорию генерализации;

- методология социально-педагогического проектирования, служащая научной базой для проведения научно-практических исследований в области управления качеством образования.

Теоретическую базу исследования составляют:

- теория педагогических измерений (Алгина Дж., Анастази А., Крокер Л., Н.Ф.Ефремова, В.И.Звонников, А.С.Масленников, Е.А.Михайлычев, В.Г.Наводнов, Ю.М.Нейман, М.Б.Челышкова, Berk R.A. Birnbaum А., Campbell R.N., Hambleton R., Keeves J. P., Lord F., Rasch G., Swaminathan Н., Thorndike E.L., Thurstone L.L., Weiss D.J.);

- педагогические концепции построения оценочных систем в образовании (Т.Э. Аврукина, В.П. Беспалько, Д.Н. Богоявленский, И. П. Волков, В.И. Гинецинский, В.В. Давыдов, И.Я. Лернер, В.М. Полонский, М.Н. Скаткин, Н.Ф. Та-лызина, И. С. Якиманская, Е. А. Ямбург);

- общая теория управления педагогическими системами (Борк Дж., Букович У., А.В. Вебер, А.Д. Данилов, Джексон П., В. П. Панасюк, Уильямс Р.);

- фундаментальные и прикладные теоретические исследования в области качества образования (В.И. Байденко, А.В. Вроейнстийн, Н.А. Селезнева, Спенсер Л., Спенсер М., Ю.Г. Татур, А.В. Хуторской, А.Н. Чекмарев).

Методы исследования. В работе использовались общенаучные методы теоретического и эмпирического исследования и специальные методы, нацеленные на педагогические измерения и статистическое обоснование результатов исследования.

В число методов теоретического исследования вошли классификация, сравнение, объяснение, индукция и дедукция, научное доказательство, абстрагирование. К группе общенаучных методов эмпирического исследования можно отнести наблюдение, экспертизу, моделирование, измерение. К группе специальных методов следует отнести математическое моделирование в рамках теории IRT, дисперсионный анализ, линейное иерархическое моделирование.

Исследование осуществлялось на протяжении трех этапов:

1 этап (2003 - 2004 гг.) - подготовительный и аналитико-поисковый, который включал анализ практических проблем, сложившихся в области оценки качества образования на примере эксперимента по введению ЕГЭ и развития региональных систем оценки качества образования в России, анализ литературных источников (свыше 400 источников), постановку и обоснование проблемы диссертационного исследования; определение круга задач исследовательской работы, моделирование объектов исследования.

2 этап (2005 - 2008 гг.) - аналитико-синтетический, который был нацелен на обобщение практического опыта, разработку концептуальной и методологической части результатов исследования, проведение развернутого статистического анализа данных ЕГЭ по тематике исследования в контексте его проблемы и смежной проблематике в рамках республиканских проектов в Якутии по мониторингу результатов ЕГЭ с привлечением соисполнителей для обработки данных из числа сотрудников Якутского государственного университета, Института повышения квалификации работников образования, сотрудников Регионального центра обработки информации и Республиканского центра аттестации и контроля качества образования. Под руководством автора диссертации в отделе контроля качества образования Государственной службы по контролю и надзору в сфере образования и науки при Президенте Республики Саха (Якутия) велась разработка анкет и проводилось широкомасштабное анкетирование школьников в Республике Саха (Якутия).

Автором исследования анализировались и обобщались статистические данные для подтверждения правдоподобности гипотезы исследования, в соответствии с полученными решениями задач исследования. По результатам второго этапа были подготовлены две монографии, опубликованы статьи, проведена апробация результатов исследования на конференциях, симпозиумах и совещаниях, а также при проведении занятий в системе повышения квалификации работников образования.

3 этап (2009 - 2010 гг.) исследования - заключительный. На этом этапе велось обобщение данных анализа, разрабатывались выводы, подводились итоги исследования, осуществлялось внедрение его результатов в практику отечественного образования. Были опубликованы новые статьи и одна монография, содержащая окончательные результаты исследования, оформлена диссертация, разработаны методики и рекомендации по использованию результатов исследования при построении региональных систем оценки качества образования.

Экспериментальная база исследования включала представительную выборку образовательных учреждений системы общего образования Республики Саха (Якутия). В частности, в эксперимент вошли школы Абыйского улуса (Белогорская средняя школа), г. Алдана (средние школы №1 и №2), Аллаиховского улуса (Чокурдахская средняя школа), Верхнеколымского улуса (Зырянская средняя школа, Нелемнинская средняя школа), Вилюйского улуса (Вилюйская сменная очно-заочная школа), Горного улуса (Бердигестяхская школа № 2, Дикимдинская средняя школа), г. Ленска (средняя школа № 1, 1 Нерюктяйинская школа), Мегино-Кангаласского улуса (Нижнебестяхская средняя школа № 1), г. Мирного (средняя школа № 3), г. Нерюнгри (средняя школа №1, муниципальная гимназия № 2), Намского улуса (Намская средняя школа № 2), Нюрбинского улуса (Нюрбинская средняя школа № 2), Сунтарского улуса (Сунтарский лицей), Таттинского улуса (Ытык-Кюельская средняя школа № 1), Усть-Алданского улуса (Мюрюнская средняя школа № 2), Чурапчинского улуса (Диринская агрошкола), Эвено-Бытантайского улуса (Саккырырская средняя школа), г. Якутска (средние школы №2, № 5, № 7, № 26, Тулагинская, Хатасская). Всего в эксперименте участвовали 503 учащихся, 76 учителей.

Научная новизна исследования заключается в том, что:

- разработаны концептуальные основы региональных систем оценки качества образования, которые представлены в соответствии с классифицированными в диссертации разноуровневыми моделями оценочных систем. Построена типологическая схема моделей региональных оценочных систем, в соответствии с которой предложены различные модели для ее функционирования;

- разработаны фундаментальные методологические положения теории научной организации оценочных систем, включающие, в том числе, новые принципы и функции, ориентированные на задачи эвалюации и мета-эвалюации, и гарантирующие качество результатов оценочных процессов на основе бипарадигмальной методологии измерений;

- получены результаты сравнительного анализа методологических подходов к осуществлению педагогических измерений (классическая теория, современная параметрическая теория IRT и непараметрическая теория IRT), на основе которого разработаны рекомендации по выбору доминирующей методологии измерений в региональной системе оценки качества образования. Сформулированы условия применимости параметрических и непараметрических моделей IRT в региональной системе оценки качества образования;

- разработаны методологические подходы к генерализации данных педагогических измерений, необходимые для распространения результатов выборочных исследований на генеральные совокупности обучаемых, и обоснованного выбора управленческих решений в региональной системе оценки качества образования. Предложены дизайны генерализации, сочетающие различные фасеты для решения задач региональной системы оценки качества образования, в том числе, в условиях существования территориальных и национальных особенностей образовательной системы;

- предложены научные подходы к обеспечению высокой объективности и обоснованности оценок качества результатов обучения в региональной оценочной системе, базирующиеся на теории валидности и надежности в рамках классической и современной теории тестов. Разработаны дидактические и технологические требования к качеству педагогических измерений, рассматриваемых как основополагающий подход к оцениванию в региональных системах оценки качества образования, необходимый для формирования полного информационного базиса образовательной системы;

- предложена совокупность измеряемых (на качественном или количественном уровнях) показателей качества образования в регионе, необходимая для выработки управляющих воздействий на стадии проектирования и функционирования региональных оценочных систем;

- дополнен понятийный аппарат педагогической науки путем ввода ряда определений (региональная система оценки качества образования, оценивание, полный информационный базис, антидискриминационная валидность, фасетный дизайн генерализации, операционализируемость конструкта, образовательный эффект, эвалюация, уровневая шкала, компетенция, аутентичное оценочное средство, конструктная валидность, содержательная валидность, прогностическая валидность и др.), адекватных современным направлениям совершенствования контрольно-оценочных систем в образовании;

- разработаны научные требования к осуществлению комплексного системного подхода в эвалюации, рассматриваемой как основная научно обоснованная составляющая процесса оценивания в образовании и обязательный функциональный компонент современных региональных оценочных систем. Среди предложенных требований важнейшим является требование обязательного сочетания целевой парадигмы и динамического подхода к трактовке качества образования;

- предложены и апробированы методики (линейного иерархического моделирования, дисперсионного анализа ANOVA) учета контекстных характеристик (демографических, социально-экономических, в районах расположения школ и др.) в процессе анализа оценок подготовленности учащихся, эффективности деятельности образовательных учреждений, педагогического состава учебных заведений и прогнозирования изменения качества образования. Применение методик позволит обоснованно выявлять наибольшие отклонения от средних значений по группам объектов (учебных заведений, учащихся, учителей) с учетом различных факторов влияния для принятия управленческих решений и осуществления бенчмаркинга;

- разработан и апробирован (на данных ЕГЭ 2009 г. по русскому языку и математике для представительной выборки выпускников школ республики) подход к обеспечению справедливости оценок учебных достижений обучающихся в регионах, обладающих территориальной и национальной спецификой, на основе нивелирования влияния дискриминирующих факторов и систематических ошибок измерения на оценки качества результатов обучения. Введено понятие лантидискриминирующая валидность задания, предложена формула для ее оценки;

- предложена совокупность показателей качества процесса и результатов обучения, адекватных различным уровням функционирования систем оценки качества образования. В частности, предложен набор ключевых компетенций для выпускников системы полного среднего образования;

- создана логически исчерпывающая типология видов современных измерителей, ориентированных на преимущественную проверку компетенций, продуктивного уровня усвоения, интеллектуальных умений и приоритеты когнитивного обучения;

- разработана методика шкалирования результатов оценивания в условиях компетентностного подхода к трактовке качества учебных достижений, обеспечивающая сопоставимость результатов оценочных процессов в региональной системе оценки качества образования.

Теоретическая значимость исследования обеспечивается решением ряда инновационных теоретических задач общенаучного и специального характера. В частности, в результате исследования:

- систематизированы представления о категории качество образования, обоснованы наиболее перспективные подходы к выбору ключевых компетенций для системы полного среднего образования,

- разработаны концептуальные основы региональных систем оценки качества образования и модели оценочных систем, в соответствии с созданной в исследовании типологической схемой;

- разработаны требования к осуществлению комплексного системного подхода в эвалюации, классифицированы ее виды, предложены модели, введено требование сочетания целевой парадигмы и динамического подхода к трактовке качества образования;

- проведена систематизация и дополнение понятийного аппарата педагогической теории и ее методологических основ;

- предложены современные подходы к трактовке качества результатов педагогических измерений, объединяющие в единую систему теории надежности и валидности, сформулированы требования, обеспечивающие их повышение в процессе измерений;

- выделены и структурированы совокупности показателей качества результатов обучения для региональной системы оценки качества образования;

- предложены теоретические подходы к снижению действия дискриминирующих факторов в условиях регионов с территориальной или национальной спецификой при использовании оценок для сравнительных исследований в управлении качеством обучения и принятия административных решений в образовании;

- разработаны теоретические подходы к шкалированию результатов педагогических измерений в условиях компетентностного подхода, обеспечивающие сочетание количественного и качественного уровня измерений и высокую сопоставимость данных о результатах обучения.

Практическая значимость исследования достигается за счет значительных методических наработок, апробированных на представительной выборке выпускников школ республики (методика линейного иерархического моделирования, методика дисперсионного анализа ANOVA, методика оценки систематических ошибок измерения для обеспечения справедливости оценок учебных достижений обучающихся, методика шкалирования результатов оценивания в условиях компетентностного подхода к трактовке качества учебных достижений, обеспечивающая сопоставимость результатов учащихся по годам и внутри одного года).

Достоверность и обоснованность новых научных результатов исследования обеспечивалась путем использования современных источников информации в области педагогики, теории педагогических измерений, теории управления образовательными системами, теории генерализации, теории надежности и валидности, бипарадигмальной методологии эвалюации и методологии IRT, получивших признание научной общественности. Достижению должного общенаучного уровня диссертационного исследования и обоснованности его результатов способствовало использование системного подхода, соблюдение логики общенаучного подхода с опорой на методологию педагогической науки.

Повышению обоснованности методических подходов, предлагаемых в диссертационном исследовании для решения ряда поставленных в нем проблем, содействовало проведение эмпирических проверок инновационных методических разработок, апробированных на результатах ЕГЭ 2009 года, полученных выпускниками школ Якутии по русскому языку и математике. Результаты эмпирических проверок приведены в приложениях к диссертационному исследованию.

Апробация и внедрение результатов исследования. Основные положения диссертационного исследования отражены в публикациях автора в виде статей в журналах, входящих в перечень изданий, рекомендуемых ВАК МО и Н РФ. Основные идеи диссертации докладывались и были представлены в форме обсуждения на научных конференциях и семинарах разного уровня, в том числе:

на международных конференциях: Republic of Sakha and International Education: Development prospectsФ (Якутск, 2000 г.), Республика Саха и международное образовательное пространство: перспективы развития (Якутск, 2001 г.), Оценка образовательных достижений в рамках национальных экзаменов (Москва, 2004 г.), Национальные экзамены в системе оценки качества образования (Москва, 2005 г.), Этнос. Образование. Личность (Якутск, 2005, 2007 г.г.);

на Всероссийских конференциях, совещаниях и семинарах: III Всероссийская научно-практическая конференция Управление качеством (Москва, 2004 г.), XIV Всероссийское совещание Проблемы качества образования (Москва, 2004 г.), IV Всероссийская научно-практическая конференция Управление качеством (Москва, 2005 г.), II Межрегиональный семинар Построение общероссийской системы оценки качества образования (Москва, 2005 г.), Межрегиональная научно-практическая конференция Организация и задачи эксперимента по введению единого государственного экзамена (Санкт-Петербург, 2004 г.), Межрегиональная научно-практическая конференция Мониторинг качества образования: опыт, модели и проблемы (Санкт-Петербург, 2005 г.), Межрегиональное совещание Проблемы разработки общероссийской системы оценки качества образования (Москва, 2006), Всероссийская научно-практическая конференция Управление инновациями в образовании (Санкт-Петербург, 2006 г.), V Всероссийская научно-практическая конференция (Сочи, 2001 г.), VIII Всероссийская научно-методическая конференция Федерального центра тестирования Развитие тестовых технологий в России (Москва, 2006 г.), IX Всероссийская научно-методическая конференция Федерального центра тестирования Развитие тестовых технологий в России (Москва, 2007 г.), Межрегиональный семинар Создание и апробация организационных систем оценки качества общего и профессионального образования на региональном уровне (Москва, 2007 г.); Всероссийская научно-практическая конференция (Сочи, 2009 г.);

на региональных конференциях: научно-практическая конференция Качество высшего образования (Якутск, 1999 г.), научно-практическая конференция Информационные технологии в науке, образовании и экономике (Якутск, 2001 г.), научно-практическая конференция Новые технологии в образовании. Тестирование и аттестация качества образования (Вилюйск, 2002 г.), научно-практическая конференция Единый государственный экзамен, его роль в системе оценки качества образования (Якутск, 2002 г.), научно-практическая конференция Физика и окружающий мир (Якутск, 2005 г.), региональная межвузовская конференция Организационно-методические аспекты управления качеством образовательного процесса в вузе (Якутск, 2007 г.).

В ходе работ по подготовке диссертационного исследования проведены учебно-методические семинары для учителей математики (2007, 2010 г.), русского языка (2008 г.), физики (2007 г.), обучающие семинары для тестологов, в содержании которых апробировались результаты проведенной научно-исследовательской работы.

Результаты исследования легли в основу создания и функционирования Центра аттестации и контроля качества образования при Правительстве РС (Я), Государственной службы по контролю и надзору в сфере образования и науки при Президенте РС (Я), разработки и функционирования системы оценки качества образования в РС (Я). Диссертационное исследование является результатом многолетней научно-педагогической работы автора в системе общего, начального и среднего профессионального образования республики.

Основные положения, выносимые на защиту:

1. Под системой оценки качества образования понимается структурированная целостность научных, методических, нормативно-правовых, организационных, технологических, функциональных и материально-технических компонентов, обеспечивающих оптимальное выполнение оценочных функций, действующих на единой концептуально-методологической основе и способствующих повышению эффективности управления качеством образования. Результаты анализа систем оценки качества образования в регионах России, проведенного в историческом и сравнительном контекстах, показали их эклектичность и отсутствие научных составляющих, что позволило сделать вывод об актуальности темы исследования. Научный базис оценочных систем в регионах, обладающих значительной территориальной разобщенностью, национальными школами или другими социокультурными особенностями, требует создания специальных методик и технологий оценивания для исключения влияния дискриминирующих факторов для принятия обоснованных административно-управленческих решений на основе анализа данных о качестве образования.

2. Основой научно обоснованного оценивания в образовании и обязательным функциональным компонентом современных региональных оценочных систем является эвалюация. Современная теория проектной и программной эвалюации должна опираться на бипарадигмальную методологию, методологию мета-эвалюации, теорию педагогических измерений (современную и классическую), и обеспечивать три главных направления деятельности: поддержку конкурентоспособности образовательной системы, проведение научных разработок для осуществления оценочных процессов, обеспечение информационной базы качества образования. Модели эвалюации (целевая модель, ресурсно-потенциальная модель, модель вход - выход и модель вход - процесс - выход) определяют приоритеты в оценке результатов образовательных воздействий и строятся на основе четко очерченного дизайна и иерархии показателей функционирования. Результаты эвалюации определяются образовательными эффектами, оценка которых должна базироваться на сочетании количественных и качественных уровней анализа для получения обоснованных данных по приросту качества и прогнозирования тенденций его изменения, проверки гипотез относительно взаимного влияния показателей качества образования, построения иерархии показателей, разделения компонент дисперсии и ковариации для углубленного анализа факторов влияния на эффективность образовательного процесса.

3. Построение эффективной контрольно-оценочной системы и научных подходов к ее функционированию на различных уровнях управления должно опираться на сочетание целевой и динамической трактовок качества результатов образования при условии преимущественной ориентации на последнюю в силу того, что она позволяет осуществить модернизацию контрольно-оценочных систем в направлении повышения объективности и обоснованности результатов оценивания, является наиболее адекватной компетентностной трактовке качества результатов образования и обеспечивает полный информационный базис оценочных систем, необходимый для их эффективного функционирования.

4. Методологический базис теории педагогических измерений должен быть пополнен теорией валидизации, актуальность которой резко возрастает в связи с введением компетентностно-ориентированного подхода к трактовке качества результатов образования. Оценка качества результатов образования в рамках компетентностного подхода требует анализа содержательной, конструктной и прогностической валидности. При функционировании оценочных систем в регионах с высокой территориальной разобщенностью, национальными школами или другими особенностями, необходима оценка антидискриминантной валидности отдельных заданий и измерителя.

5. Процесс оценивания регламентируется рядом общих принципов (принципов релевантности и доступности, научности, полноты и всесторонности информации, систематичности оценивания, сочетания внешней и внутренней оценок качества образования, прогностической направленности оценивания, сочетания количественных и качественных уровней измерения, информационной безопасности) и специфическими принципами, ориентирующими на эффективное функционирование контрольно-оценочных систем. К числу важнейших специфических принципов следует отнести принцип функционально-структурного строения целостной региональной системы оценки качества образования, принцип повышения управляемости качеством образования на основе прогнозирования, принцип репрезентативности состава и данных оценочных процессов, принцип динамичности при оценивании показателей качества образования, принцип минимакса и контроля дисперсии результатов оценочных процессов, принцип систематического роста числа функций региональной системы оценки качества образования, принцип высокой надежности и валидности оценок, принцип учета специфичности объектов эвалюации и запросов пользователей, принцип контекстного анализа при интерпретации результатов эвалюации.

6. Концепция региональной системы оценки качества образования основывается на приоритете педагогических измерений, инновационных технологий обучения, операционализируемых показателей качества обучения, инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности. Такой концептуальный подход должен носить комплексный характер и строиться на сочетании динамического (включение временного фактора в обработку и интерпретацию результатов измерения), сравнительного (сопоставление результатов измерения по отдельным показателям качества), дифференцирующего (соотнесение баллов учащихся со среднестатистическими нормами и последующая качественная интерпретация для установления причин смещения личностных показателей относительно статистических норм) и прогностического (выявление тенденций в изменении качества образования) анализа на различных уровнях управления качеством образования.

7. Для эффективного функционирования систем оценки качества образования необходимо формирование полного информационного базиса, обеспечиваемого выполнением требований высокой надежности результатов оценивания, высокой валидности (содержательной, конструктной, прогностической, антидискриминантной (для отдельных регионов)) результатов оценивания, аутентичности методов и средств оценивания в соответствии с доминирующей парадигмой качества результатов обучения. Формирование полного информационного базиса основано на применении аппарата теории педагогических измерений, используемого для обоснования качества оценок, минимизации ошибок измерения и перехода в количественную шкалу типа интервальной на базе вероятностных моделей современной теории тестов (Item Response Theory). Для оценки уровня объективности результатов оценочных процессов в региональной системе оценки качества образования необходимо применение теории генерализации и учет ряда смещающих факторов, ориентированных на специфику региона.

В регионах с высокой территориальной разобщенностью учебных заведений необходимо обращение к адаптивному тестированию, обеспечивающему высокую эффективность, высокий уровень секретности, индивидуализацию темпа выполнения оценочных процедур, повышение уровня мотивации к оценочным процедурам у учащихся, высокую сопоставимость результатов оценивания, исключение неоправданных временных, организационных и финансовых затрат, возникающих при традиционном оценивании.

В регионах с национальными школами должны обеспечиваться специальные требования, направленные на выполнение принципа справедливости оценочных процедур и связанные с минимизацией негативного влияния систематических ошибок и повышением валидности измерителей.

Структура диссертации. Диссертация состоит из введения, четырех глав, выводов, заключения, списка литературы и 5 приложений, содержащих результаты обработки данных ЕГЭ 2009 г. по компьютерным программам (SPSS, ANOVA, ConQuest и HLM).

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность выбранной темы, сформулированы цель, объект, предмет, гипотеза и задачи исследования, раскрыты его научная новизна, теоретическая и практическая значимость, приведены сведения об апробации и внедрении результатов исследования, изложены основные положения, выносимые на защиту.

Глава I. Развитие научно-обоснованных подходов к построению систем оценки качества образования в России и в мировой образовательной практике, теоретические, дидактические и организационные аспекты содержит обсуждение проблем научного обоснования систем оценки качества организационного, информационного и научного обеспечения региональных систем оценки качества образования, исторический и сравнительный анализ их развития в отечественном и зарубежном образовании во второй половине ХХ - начале ХХI вв. Данные анализа сопровождаются моделями построения региональных систем оценки качества образования, обобщающими опыт различных регионов России и оптимизирующими состав компонентов в структуре моделей.

Наличие единой концептуально-методологической основы при функционировании оценочной системы предполагает получение информации, обладающей высокой объективностью (надежностью), обоснованностью (валидностью), двухуровневостью (объединением данных количественного и качественного уровня), динамичностью (учет фактора времени), сопоставимостью (в пределах выделенных групп сравнения), прогностичностью (пригодностью для построения вероятностных прогнозов в образовании) и четкой структурированностью (иерархичностью). Процесс выполнения оценочной деятельности, удовлетворяющий этим требованиям и приводящий к получению полного информационного базиса, был определен как лэффективное оценивание.

Получение полного информационного базиса осложняется в регионах, обладающих значительной территориальной разобщенностью (Республика Саха (Якутия), Красноярский край, Хабаровский край, Чукотка и т.д.) или национальными школами, где преподавание до 9-го класса, включительно. ведется на родном, не русском языке. Для эффективного оценивания результатов обучения в подобных регионах необходимо применение специальных методик, основанных на современном концептуально-методологическом базисе и исключающих возможное влияние дискриминирующих факторов для принятия административно-управленческих решений на основе анализа данных о качестве образования. При отсутствии учета специфики регионов функционирование оценочной системы может привести к нарушению социальных приоритетов политики нашего государства, определяющих целевую ориентацию системы образования для обеспечения гарантий прав граждан на получение качественного образования.

Применительно к проблеме данного исследования были выделены региональные системы оценки качества образования, включающие пять уровней организации оценивания:

- индивидуальный уровень (оценка учебных достижений учащихся, оценка динамики показателей качества образования, анализ развития обучающихся и состояния их здоровья, диагностика проблем в обучении и т.д.), включающий две информационные компоненты: восходящую и горизонтальную составляющие;

- уровень класса или отдельных групп обучающихся (оценка групповых показателей в виде дескриптивной статистики (среднее, дисперсия и т.д.), диагностика проблем отстающих групп обучающихся, оценка эффективности деятельности учителя и реализации программ обучения и т.д.), включающий три информационные компоненты: нисходящую, восходящую и горизонтальную составляющие;

- уровень образовательного учреждения (оценка качества учебного процесса, его результатов внутри учебного заведения, диагностика учебных, кадровых и других проблем, препятствующих повышению качества обучения, оценка условий для обеспечения образовательного процесса, сохранения и укрепления здоровья обучающихся, выявление и прогнозирование динамики развития учебного заведения и т.д.), включающий три информационные компоненты: нисходящую, восходящую и горизонтальную составляющие;

- муниципальный уровень (оценка качества образования в отдельных районах города и в целом, а также условий для функционирования и развития образовательных учреждений, диагностика проблем, препятствующих повышению качества обучения в районах, сравнительное оценивание результатов образования, прогнозирование тенденций развития образования в городских районах и т.д.), включающий три информационные компоненты: нисходящую, восходящую и горизонтальную составляющие;

- уровень региона (сравнительная оценка уровня достижений муниципальных образовательных систем, диагностика проблем развития образования в регионе, прогнозирование тенденций в изменении результатов образования и динамики изменения качества образования и т.д.), также включающий три информационные компоненты, поскольку информация передается на федеральный уровень управления качеством образования.

В целом, по результатам анализа состояния региональных систем оценки качества образования в России был сделан вывод о наличии ряда нерешенных проблем, которые, в основном, связаны с отсутствием единых концептуально-методологических основ оценочных систем в образовании, учитывающих в сфере методического обеспечения специфику ряда регионов России.

Анализ современного зарубежного опыта, представленный в первой главе, свидетельствует о многообразии систем оценки качества, обладающих сходными ключевыми характеристиками. В числе ключевых характеристик необходимо выделить приоритет динамического подхода к трактовке качества результатов образования, преимущественную опору на педагогические измерения в оценочных процессах, широкое развитие эвалюации в образовании, обязательное применение мета-анализа и статистики, методов факторного, дисперсионного и корреляционного анализа, значительное внимание к качеству результатов измерения, их сопоставимости, справедливости и прозрачности для общественности.

С учетом отечественного и зарубежного опыта в первой главе исследования вводится представление о концептуальной модели региональной оценочной системы, показывающей иерархические связи между структурами, входящими в систему, и строится типология моделей: организационно-структурные, функциональные, информационные и модели научного обеспечения систем оценки качества образования. Модель научного обеспечения региональной системы оценки качества образования приведена на рис. 1.

Предлагается 8 фаз функционирования региональных структур в рамках выполнения проектов по оценке качества образования: разработка концептуальной модели проекта и программ и установление основных принципов их реализации, постановка основных задач, разработка совокупности операционализируемых показателей и критериев по ним, разработка технологий и схем получения оценок по показателям, сбор эмпирических данных на представительных выборках испытуемых, обработка, анализ и интерпретация собранных данных, эвалюация качества процесса и результатов выполнения проектов и программ, генерализация данных для формулирования выводов, административных указаний либо прогнозов для обеспечения информацией заинтересованных лиц.

Рис. 1. Модель научного обеспечения региональной системы оценки качества образования.

Ведущая задача региональной системы оценки качества состоит в обнаружении объективных рассогласований, разрывов (например, между общественными ожиданиями и реальными результатами деятельности системы), в комплексном анализе данных по региону и создании условий, в том числе и научно-методической базы, для осуществления внутрисистемного и внесистемного анализа результатов образования, позволяющего на основе эвалюации выйти на проектно-программные варианты решений и разработку политики в сфере качества образования.

Реализация всех предлагаемых в главе моделей позволит в рамках целевых программ развития региональной системы образования увязать в единый комплекс мониторинг и оценку состояния развития образовательных систем, аттестацию учащихся, лицензирование, аккредитацию образовательных учреждений, аттестацию педагогических и руководящих кадров, подготовку кадров для системы оценки качества образования, мониторинг индивидуальных достижений учащихся, а также реализацию различных функций контроля, надзора и инспектирования в образовании. Комплексность подходов и требования к качеству информации, накапливаемой в системе оценки качества образования, обеспечивает эвалюация, под которой понимается процесс систематического целенаправленного исследования качества объектов, основанный на сочетании взаимодополняющих друг друга количественных и качественных методов оценивания на базе тех стратегий, которые обеспечивают высокую надежность и валидность информации об исследуемых характеристиках качества. Становление эвалюации в образовании рассматривается в исследовании как следствие современной парадигмы теории управления, включающей системный подход, стратегическое управление, управление развитием социально-экономических систем, мониторинг и бенчмаркинг, постепенно входящей в образование во всем мире и позволяющей регулировать процессы модернизации в образовании, оценивать риски принятия управленческих решений, эффективно распределять человеческие ресурсы и внедрять новые технологии в образование.

Многообразие видов эвалюации в исследовании сводится к множеству моделей (целевая модель, ресурсно-потенциальная модель, модель вход - выход и модель вход -процесс-выход) с четко очерченным дизайном и иерархией показателей функционирования. Дизайн модели задает комплексные условия ее функционирования в виде совокупности факторов влияния, показателей и результатов образования, включая прогнозируемые последствия управленческих или образовательных воздействий. Ключевым понятием, определяющим результаты эвалюации, предлагается считать образовательный эффект. Результаты эвалюации проявляются во множестве эффектов, которые не следует отождествлять ни с результатами педагогических или управленческих воздействий, ни, тем более, с показателями, по которым ведется оценивание качества программы или проекта, а с оценкой прироста по совокупности показателей качества образования.

Системный подход к эвалюации должен регламентироваться рядом требований, приведенных в главе. В системном подходе особое внимание уделяется оценке качества процессов и результатов оценивания, т.е. мета-эвалюации, которая должна осуществляться в соответствии с сформулированными в диссертации принципами, сопровождая и завершая проектную и программную эвалюации, обеспечивая информацию о возможности использования результатов эвалюации и их генерализации для принятия управленческих решений в образовании. В соответствии с определением, введенным в исследовании, под оцениванием понимается результат вместе со сложным операциональным процессом получения оценки, с сопутствующим процедурами анализа и интерпретации данных о качестве образования. В контексте этого определения эвалюация в образовании является обобщающим понятием, отражающим современные процессы интеграции дидактики, теории педагогических измерений и управления качеством образования с опорой на единую бипарадигмальную методологию и динамические методы анализа изменений характеристик обучаемых в сочетании с построением логических и математических моделей для оптимизации управленческих процессов.

В конце первой главы помещены выводы, содержащие обобщенное представление материала.

В главе II Теоретико-методологические основы региональных систем оценки качества образования предлагаются результаты сравнительного анализа работ отечественных и зарубежных исследователей по компетентностному подходу к трактовке качества результатов образования, проведенного с позиций проблем оценивания качества результатов образования. Приводятся основные цели, функции и принципы научной организации оценочных систем, даются основные положения классической и современной теорий педагогических измерений, дается научное обоснование подходов к интеграции данных, полученных на количественном и качественном уровнях измерения в условиях формирования полного информационного базиса образовательной системы, предлагаются инновационные подходы к анализу качества результатов оценочных процессов на основе оценки их надежности, валидности и генерализуемости.

В начале главы обозначены основные факторы влияния на процесс модернизации контрольно-оценочных систем и сформулированы цели региональной системы оценки качества образования, рассматриваемой как составная часть общероссийской системы оценки качества образования. Хотя часть функций носит традиционное название, но в условиях модернизации они приобретают новые оттенки. В частности, на внутришкольном уровне оценка превращается из средства принуждения к обучению со стороны педагога в побудительный мотив для самосовершенствования учащегося, характерный для развивающего обучения, в процессе которого также активизируется обучающая функция в режиме самооценки.

Наиболее эффективно самооценивание организуется на основе адаптивного тестирования, поскольку оптимизация трудности заданий в данных тестах приводит к позитивным тенденциям в развитии личности обучающегося, способствуя закреплению установок на самообразование, самоутверждение и самоактуализацию. Существенным признаком доминирования обучающей и развивающей функций оценивания является то, что оно протекает в зоне ближайшего развития обучаемого, методологические и технологические основы определения границ которой осуществляется с помощью аппарата современной теории тестов (IRT). В целом, в наши дни происходит переосмысление роли контрольно-оценочной системы в образовании, когда контроль, оценка и обучение рассматриваются как взаимосвязанные и взаимопроникающие составляющие единого образовательного процесса.

К числу новых функций оценочных систем в исследовании отнесены информационная, сравнительная и прогностическая, рассмотрена их реализация на различных уровнях управления образованием. При анализе выполнения этих функций необходимо учитывать входные характеристики в обучение, связанные с начальными способностями учащихся, квалификацией преподавателей, размерами финансирования, средней наполняемостью классов по школам внутри района и т.д.

К методологическим основам построения и функционирования систем оценки качества образования в исследовании отнесен ряд принципов, способствующих эффективному осуществлению оценочных процессов. Среди них ведущая роль отводится принципу научности, в соответствии с которым функционирование систем оценки качества образования должно опираться на бипарадигмальную методологию эвалюации, теорию педагогических измерений, методологию мета-эвалюации, теорию генерализации, современную и классическую теории тестов и концептуальные подходы к трактовке качества образования. При проведении оценивания количественного и качественного характера принцип научности предписывает учитывать уровень измерений и производить с результатами только те операции, которые адекватны выявленному типу шкалы.

Принцип эффективности оценивания регламентирует выбор определенной методики, обеспечивающей полноценную реализацию всех функций оценочных процессов при минимальных затратах времени, усилий и средств со стороны педагога. В исследовании формулируется набор требований, способствующих повышению эффективности функционирования систем оценки качества образования, даются обобщенные критерии эффективности в рамках теории педагогических измерений с формальных позиций руководителей учебных заведений или органов управления образованием, либо с позиций финансовых затрат и трудозатрат на оценочные процессы.

Согласно принципу высокой объективности, при оценивании необходимо принятие всех возможных мер, обеспечивающих минимизацию ошибок измерения. В исследовании анализируются случайные и систематические ошибки измерения. Последние связываются с факторами, характерными для системы образования в Республике Саха (Якутия). Для снижения влияния систематических ошибок измерения в данном исследовании предлагаются методики идентификации заданий, которые дискриминируют одни группы испытуемых по отношению к другим и подлежат удалению из измерителей. Как одна из наиболее эффективных мер повышения объективности оценок учащихся, рассматривается переход от качественных к количественным измерениям. Результаты оценивания могут быть представлены в интервальной метрической шкале при выполнении совокупности условий: используются стандартизированные тесты, состоящие из калиброванных заданий только с выбором ответов; разработка тестов основана на теории IRT; результаты тестирования при шкалировании представляются в логитах.

Помимо основных принципов, вводится ряд специфических новых принципов: принцип функционально-структурного строения целостной региональной оценочной системы, принцип систематического повышения управляемости качеством образования; принцип минимакса и контроля дисперсии оценок, принцип динамичности при оценивании показателей качества образования, принцип постепенного роста числа функций оценочной  системы, принцип высокой сопоставимости оценок и др.

Для осуществления мета-эвалюации в исследовании введены дополнительные новые принципы: приоритетность операционализируемых показателей качества образования, достижение высокой аутентичности измерителей, высокая надежность и валидность данных эвалюации; сопоставимость данных внутри однородных групп сравнения; учет специфичности объектов эвалюации (региональные, территориальные, национальные или социокультурные аспекты и запросы пользователей) при выборе модели эвалюации, контекстный анализ при интерпретации результатов эвалюации.

Сравнительный анализ подходов к трактовке качества образования, проведенный в исследовании, показал, что требования к качеству образования и само его понимание находятся под воздействием эволюционных процессов. Современная система образования должна обеспечивать формирование свободной личности, способной к активной и экономически эффективной деятельности, самостоятельно и успешно ориентирующейся в информационных средах, готовой к осознанному и ответственному выбору в условиях динамичной рыночной экономики. В соответствии с этими приоритетами, в настоящее время наибольшее распространение имеет компетентностный подход, получивший свое развитие во многих странах мира.

Во второй главе приводится обзор отечественных и зарубежных взглядов на компетенции, анализируется взаимосвязь терминов компетенция и компетентность, вскрывается ряд недостатков и проблем компетентностного подхода, частичное преодоление которых предлагается в данном исследовании. В частности, в нем проведено уточнение ряда определений понятийного аппарата компетентностного подхода, предложена классификационная схема инновационных аутентичных измерителей для оценки уровня сформированности компетенций, разработаны подходы к эмпирической валидизации критерия сформированности компетенций. Также в исследовании введены определения ключевых, общепредметных, инструментальных и предметных компетенций, которые включаются в четырехуровневую схему, предназначенную для построения компетентностно-ориентированной системы оценки качества образования в регионе. Для выпускников полной средней школы предложена совокупность из 10 ключевых компетенций. Приводится анализ возможностей, достоинств и недостатков инновационных измерителей и даются алгоритмы их разработки, подчеркивается роль методов многомерного шкалирования и специальных моделей интеграции оценок отдельных компетенций обучающихся на основе современных достижений теории педагогических измерений.

Оценка компетенций может проводиться на основе классической или современной теории тестов, возможности которых рассматриваются во второй главе в сравнительном контексте. Обе теории вводятся как компоненты методологического базиса педагогических измерений. Приводится краткий исторический анализ развития классической теории тестов и ее основные аксиомы, в которых основополагающим является понятие истинного балла. Рассматриваются цели использования статистических данных, связанные с описанием результатов измерения и получением выводов для проверки статистических гипотез. Анализ классической теории завершается перечнем ее недостатков, сформулированных с позиций современных потребностей оценочных систем.

Как альтернатива классической теории тестов, в главе рассматривается современная методология педагогических измерений, в роли которой выступает теория Item Response Theory (IRT), интенсивно развиваемая преимущественно в трудах зарубежных ученых с 80-х годов ХХ века. В IRT вводятся специальные математические модели, на основе которых, благодаря специальным алгоритмам, удается реализовать свойство инвариантности оценок испытуемых от трудности заданий тестов, получить оценки параметра испытуемых в метрической шкале логитов вместе с дифференцированными ошибками измерения и оценить эффективность заданий различной трудности вдоль оси переменной измерения на основе информационных функций заданий и теста.

В IRT исходят из основного предположения о существовании некоторой функциональной связи между наблюдаемыми результатами тестирования и латентными параметрами испытуемых, выполняющих тест. Наблюдаемые результаты связывают с вероятностью правильного выполнения задания группой испытуемых, либо с вероятностью правильного выполнения испытуемым различных по трудности заданий теста. Сам по себе латентный параметр появляется в результате концептуализации оцениваемой истинной величины измеряемого качества испытуемого и в этом смысле может быть отождествлен с истинными компонентами измерения классической теории тестов.

Число параметров, входящих в аналитическое задание функций IRT, является основанием для их подразделения на классы. Среди логистических функций основное место принадлежит однопараметрической модели G. Rasch. Она имеет вид

или

или  ,

где - параметр испытуемого, - параметр трудности заданий, являющимися независимыми переменные для первой и второй функций, соответственно, а результаты по каждому заданию оцениваются дихотомически, как 0 или 1. График первой функции получил название характеристической кривой задания и широко используется при разработке тестов. В приложении 3 к диссертации приведены характеристические кривые заданий контрольных измерительных материалов ЕГЭ по русскому языку и математике, построенные по данным 2009 года для выпускников национальных школ и для выпускников русскоязычных школ с помощью программы ConQuest.

Многолетний анализ согласованности статистик с требованиями однопараметрической модели привел исследователей к мысли о необходимости введения дополнительных параметров, в результате чего появилась двухпараметрическая и трехпараметрическая модели A. Birnbaum, возможности которых анализируются в главе в контексте проблемы исследования. В главе также рассматриваются другие классы моделей (грейдерная модель Samejima, номинальная модель Bock, модели частичного вклада Masters и Andrich, обобщенная или генерализованная модель частичного вклада Muraki), разработанные в XXI веке. Важным фактором для выбора оптимальной модели для использования в региональных оценочных системах является компетентностный подход, определяющий специфику содержания и виды измерителей. Эта специфика, подробно рассмотренная в исследовании, приводит к выводу о необходимости преимущественного обращения к однопараметрической модели частичного кредитования Андриха при использовании IRT в региональной системе оценки качества образования.

Последнее десятилетие ХХ века характеризовалось интенсивным развитием непараметрической статистики, расширением применения непараметрических методов в различных приложениях к задачам оценивания качества результатов обучения. В непараметрических моделях подготовленность оценивается по дискретной шкале, а в качестве математического аппарата используется нелинейная регрессия. Среди непараметрических подходов в IRT можно выделить теорию оценивания дихотомических заданий, известную как Moккен-шкалирование (порядковые шкалы). В главе анализируются возможности непараметрических моделей IRT, применительно к задачам использования компетентностно-ориентированных оценочных средств.

В параметрической теории IRT анализ взаимного расположения оценок параметров и на единой оси позволяет вычленить задания, не пригодные для данной выборки испытуемых в силу избыточной или недостаточной трудности. Подобное распределение, построенное при обработке результатов тестирования с помощью моделей IRT для данных ЕГЭ по русскому языку и по математике по представительной выборке выпускников русскоязычных и национальных школ в Республике Саха (Якутия) 2009 года, приводится в приложении 3 к диссертации. Для обработки результатов ЕГЭ также использовалась программа ConQuest.

Углубленный анализ результатов ЕГЭ проводится в главе на основе информационных функций, которые в современной теории тестирования IRT для теста имеют вид , где символом I() обозначена информационная функция теста, состоящего из n заданий. Информационные функции (прил. 3) позволяют планировать заранее желаемую надежность теста, которая вместе с генерализуемостью результатов оценочных процессов рассматривается подробно во второй главе.

Анализ методологических проблем обоснования надежности, валидности и генерализуемости результатов оценочных процессов позволил сформулировать совокупность требований к инструментарию для оценивания и самим оценочным процедурам в региональной системе оценки качества образования. На основе анализа формул для коэффициента надежности получены выводы о факторах, влияющих на надежность теста.

Ситуация с ростом надежности может радикально измениться в сторону улучшения при использовании теории IRT и банка калиброванных заданий для моделирования измерителя запланированной надежности. В диссертации предлагается подход, связывающий информационные функции теста с моделированием измерителя при его генерации из банка калиброванных заданий для оценки качества результатов обучения и включающий ряд шагов, приведенных в главе.

В связи с введением в тесты значительного числа заданий со свободно конструируемыми ответами, в наши дни большое внимание стали уделять внутрирейтерной надежности, показывающей меру отличия разброса экспертных оценок по каждому заданию от средней оценки разброса, полученной на представительной выборке. В главе рассматривается связь внутрирейтерной надежности с традиционной надежностью, предлагаются диапазоны оценок надежности для различных задач измерения в региональной системе оценки качества образования.

Теория генерализации является одной из методологических основ принятия управленческих решений в образовании на основе результатов измерений. Процесс генерализации состоит в переходе от выборочных оценок к генеральным оценкам и получении выводов о возможности обобщения выборочных данных на генеральную совокупность объектов измерения на основе однофакторного дисперсионного анализа - ANOVA (Аnalysis of variance).

Генерализация в региональной оценочной системе позволяет проводить анализ стабильности ответов тестируемых на некотором временном промежутке, эквивалентности оценок испытуемых по различным вариантам теста, внутренних связей отдельных подшкал для оценок испытуемых или характеристик заданий, возможностей переноса оценок по отдельным шкалам на единую шкалу в случае многомерности конструкта и решать другие проблемы измерения (оценка надежности тестов и инструкций для тестирования, устойчивости рейтинговых шкал и уровневых шкал, адекватности моделей измерения эмпирическим данным и т.д.).

Генерализация сводится к формированию фасетов, определению модели исследования, подсчету сумм квадратов степеней свободы и среднего квадратического для каждого из фасетов в дизайне исследования. В главе строятся фасетные дизайны для ряда ситуаций, когда множество испытуемых пересекается с множеством заданий теста, множество испытуемых размещается внутри множества объектов муниципальных систем образования и оба фасета (испытуемые и муниципальные системы образования) пересекаются со множеством заданий КИМ ЕГЭ и т.д. В целом, выбор конкретного фасетного дизайна определяется задачами управления и связывается с направлениями региональных исследований для повышения качества образования. Приводятся формулы для оценки коэффициента генерализации, отражающего степень, в которой можно обобщить полученные результаты измерения.

Особую важность приобретает теория генерализации в региональных системах с территориальными или национальными особенностями, например, в Якутии, где необходимо комплексное исследование генерализуемости данных о качестве результатов обучения в силу существования систематических ошибок измерения, вызванных влиянием фактора территориальной разобщенности школ, проблемами в кадровом обеспечении школ в удаленных улусах, наличием национальных школ с родным языком обучения до 10 класса. В главе предлагаются дизайны генерализации для анализа влияния фактора территориальной разобщенности на обобщаемость оценок качества результатов обучения в школах Якутии, расположенных в крупных населенных пунктах и в местах, отдаленных от центра региона, а также дизайны для анализа влияния фактора принадлежности школы к группе национальных школ на генерализуемость оценок учебных достижений.

Значительное внимание в главе уделяется развитию научных методов анализа валидности результатов оценивания, актуальность которых значительно повышается в связи с введением компетентностного подхода, который приводит к дополнительным трудностям при валидизации за счет мета-латентного характера переменных измерения - компетенций. К наиболее важным видам валидности предлагается отнести конструктную, содержательную и прогностическую валидность. В главе подробно рассматривается процесс содержательной валидизации и связанные с ним различные подходы к выбору таксономии целей обучения, проводится их сравнительный анализ в контексте проблемы оценивания уровня сформированности компетенций. Для планирования содержания измерителей предлагается трехмерная модель, включающая характеристики содержания, техники измерения и кластеры компетенций. Связь между кластерами предлагается осуществлять путем построения структурно-описательных моделей. Для повышения качества содержания измерителя приведены критерии для работы экспертов. Столь же подробно рассматривается проблема конструктной валидности, для анализа которой предлагается оценивать корреляцию между результатами по новым и уже существующим признанным тестам, применять теоретический анализ содержания тестов, использовать факторный анализ, анализировать внутреннюю согласованность теста методами корреляционного анализа и т.д. Приводятся рекомендации по повышению валидности результатов измерений.

Связь надежности и валидности теста представляет собой определенную проблему, которая по-разному интерпретируется учеными по мере развития теории педагогических измерений. Примерные границы оценок надежности и валидности, позволяющие исследователям ориентироваться при оценке качества результатов измерений и основанные на опыте анализа результатов ЕГЭ за годы его проведения в Республике Саха (Якутия), представлены в таблице 1.

Табл. 1.

Границы оценок надежности и валидности теста.

Значения коэф. корреляции	Надежность	Валидность
0,90 - 0,99	Отличная	Отличная
0,85 - 0,89	Очень хорошая	Отличная
0,80 - 0,84	Хорошая	Отличная
0,75 - 0,79	Удовлетворительная	Отличная
0,70 - 0,74	Неудовлетворительная	Хорошая
0,60 Ц0,69	Совсем неудовлетворительная	Хорошая
0,50 Ц0,59		Хорошая
0,40 - 0,49		Удовлетворительная
0,30 - 0,39		Малоудовлетворительная
Менее 0,30		Неудовлетворительная

На результаты обучения, главным образом, оказывают влияние два фактора, один из которых - качество преподавания, а второй - прирост меняющихся способностей обучаемого, где второй фактор находится под влиянием первого.

Табл 2.

Оценка факторов, влияющих на валидность.

Определение конструкта	Фактор качества преподавания, в соответствии с которым построена гипотеза о его влиянии на развитие способностей	Способность, в соответствии с которой к построена гипотеза о влиянии на нее качества преподавания
Оценка проявления конструкта	Мера качества преподавания, оценка которой должна отражать конструкт качества преподавания	Мера способности, оценка которой должна отражать конструкт способности
Валидизация конструкта	Обе меры коррелированны между собой. Размер этой корреляции может использоваться как доказательство, среди других доказательств, показывающих, что качество преподавания влияет на развитие способности.

Поэтому для обеспечения высокой конструктной валидности в процессе измерений оценка этих факторов должна проводиться в соответствии с определенными этапами, как показано в таблице 2. В целом, необходимо использовать множественные измерения, чтобы более адекватно отразить все характеристики  каждого конструкта, предназначенного к оцениванию.

Таким образом, валидность представляет собой интегративное понятие, поскольку при оценке валидности приходится принимать во внимание всевозможные доказательства, связанные с характеристиками теста, процедурами его применения, обработкой, шкалированием и интерпретацией результатов его выполнения.

В конце главы помещены выводы, содержащие обобщенные результаты исследования.

Глава III. Методические и организационные аспекты построения системы оценки качества образования в регионах с территориальными и национальными особенностями содержит методику оценивания систематической ошибки заданий (дифференцированного функционирования заданий) в региональных оценочных системах, обладающих специфичными условиями функционирования. Также приводится методика иерархического линейного моделирования. Апробация методик показана на данных ЕГЭ 2009 г. для представительной выборки выпускников национальных и русскоязычных школ Республики Саха (Якутия). Приводится методика шкалирования оценок качества результатов обучения в рамках компетентностного подхода.

В регионах с территориальными и национальными особенностями, рассматриваемыми в данном исследовании на примере Республики Саха (Якутия), крайне важно проводить статистический, эмпирический и процедурный анализ дифференцированного функционирования заданий. В этой связи в исследовании предлагается ввести новую характеристику качества заданий - антидискриминирующую валидность, характеризующую способность задания измерять заявленный конструкт вне зависимости от действия различного рода факторов, не связанных с конструктом. При этом справедливость оценок обучающихся понимается как отсутствие преимуществ у одних групп обучающихся, по сравнению с другими, при выполнения заданий теста.

В главе приводится сравнительный и исторический анализ развития методов для идентификации дифференцированного функционирования заданий, которые приводят к систематической ошибке и заведомо имеют меньшую вероятность правильного выполнения для отдельных групп испытуемых с одинаковым уровнем подготовки (подход, основанный на дисперсионном анализе, анализ систематической ошибки заданий тестов на основе теории IRT, метод, подобный хи-квадрат, полный метод хи-квадрат, метод стандартизации и др).

При выявлении заданий, приводящих к систематической ошибке, в региональной системе образовании предлагается анализировать ряд факторов, к которым отнесены: региональный фактор (экономические, социокультурные, демографические, территориальные, национальные особенности школьного образования в регионе), гендерный фактор, муниципальный фактор (внешняя социальная среда окружения школ, экономические характеристики района, расположения школ), школьный фактор (социально-педагогический фон, вид школы, кадровые характеристики, социальная активность педагогов), педагогические факторы, личностные факторы (психологические и педагогические характеристики учащихся, образование родителей, социально-экономический статус семьи).

В данном исследовании подробно рассматриваются алгоритмы метода, основанного на теории IRT, и показывается его применение для выявления заданий КИМ ЕГЭ по русскому языку и математике, ставящих в неравные условия выпускников национальных школ и школ с русским языком обучения в Якутии. Метод основан на оценивании трудности заданий для двух стратифицированных выборок выпускников с одинаковым уровнем подготовленности в национальных и русскоязычных школах. Наличие значимого расхождения (рис. 2, слева) в оценках трудности задания является свидетельством существования систематической ошибки, которую оно вносит в результаты ЕГЭ, нарушая его справедливость.

Рис.2. Пример гипотетических характеристических кривых двух заданий для двух групп испытуемых.

Численно эффект дифференцированного функционирования задания можно выразить в виде площади области между двумя его характеристическими кривыми (площади ) по формуле для однопараметрической модели теории IRT.

.

С появлением второго и третьего параметра в моделях IRT возникают определенные трудности, которые подробно анализируются в главе. Там же приводится анализ соотношения параметра дифференцирующей способности задания в контексте его влияния на рост систематической ошибки. Апробация метода на результатах выпускников школ Якутии по русскому языку и математике позволила выявить ряд заданий (прил. 3), приводящих к систематическим ошибкам измерения и подлежащим удалению из КИМ для обеспечения справедливости результатов ЕГЭ. Очевидно, что в России, которая является многонациональной, поликультурной страной, необходимо проведение подобного анализа на федеральном и региональном уровнях для обеспечения равенства прав отдельных категорий обучающихся на справедливую оценку учебных достижений.

Другой аспект методического обеспечения региональной системы оценки качества образования, представленного в главе, был связан с иерархическим анализом данных педагогических измерений. Он проводится с помощью определенных моделей, для использования которых были выбраны адекватные единицы измерения и методы выявления изменений переменных измерения по уровням. В главе представлен краткий анализ развития линейных иерархических моделей, которые в зарубежной научной литературе получили название HLM. Использование моделей HLM в региональной системе оценки качества образования возможно c тремя целями: повышение точности оценок учебных достижений учащихся; формулировка и проверка гипотез, связанных с предположениями о взаимодействии факторов разного уровня анализа; выделение доли вариации, объясняемой выявленными факторами на различных уровнях анализа. В целом, HLM предоставляет эффективные методы анализа данных с учетом различных факторов и поэтому интерес к иерархическому моделированию постоянно растет в научном мире.

В данном исследовании была поставлена задача выявления влияния различных факторов с иерархической структурой на качество учебных достижений выпускников школ Республики Саха (Якутия), оцениваемое в ЕГЭ по двум обязательным предметам - русскому языку и математике. Применение аппарата HLM потребовало серьезной работы по обеспечению представительности выборки данных, поэтому проведение многоуровневого анализа на основе HLM в данном исследовании результатов ЕГЭ предварялось верификацией данных по формату представления, анализом репрезентативности выборки и ее структурной представительности, выбором подходов к ее стратификации, планированием учета факторного влияния в условиях возможной перекодировки уровней фактора.

Результаты обработки данных приведены в диссертации в приложении 4. Проведение иерархического анализа предваряла проверка выборочных данных по русскому языку и математике на нормальность, по критерию Колмогорова-Смирнова, которая показала, что оба данных распределения вполне соответствует нормальному закону, то есть можно принять гипотезу о существовании нормального распределения. Для отбора факторов с целью их включения в модель HLM вводился дисперсионный анализ ANOVA (метод Бонферрони), по результатам которого устанавливалось наличие статистически значимого влияния отдельных факторов на средние результаты выпускников по двум предметам.

Результаты дисперсионного анализа ANOVA показали, что статистической значимости между влиянием фактора зоны на средние результаты выпускников школ Якутии в ЕГЭ по двум предметам по методу Бонферрони не обнаружено. Поэтому можно сделать вывод о том, что во всех школах, расположенных в различных зонах Якутии, обеспечивается одинаковое качество результатов обучения по математике и русскому языку, что характеризует образование в Якутии очень положительно. Одним из главных международных критериев по оценке качества образования является равный доступ к качественному школьному образованию вне зависимости от региона внутри страны. Можно констатировать, что этот критерий внутри Республики Саха (Якутия) полностью выполняется.

Также в главе приводятся результаты анализа влияния демографического фактора (места расположения школы) на данные ЕГЭ по обязательным предметам, собранные на представительной выборке выпускников школ Якутии. Результат применения ANOVA по математике не обнаруживает статистически значимых различий в средних результатах в зависимости от места расположения школы. Но результаты применения ANOVA для данных ЕГЭ по русскому языку позволяют сделать вывод о наличии статистически значимых различий между средними баллами выпускников школ г. Якутска, крупных (в данном случае г. Нерюнгри) и средних городов (г. Алдан, г. Ленск, г. Мирный), и сельских школ. Средние баллы намного выше в крупных городах и в Якутске, чем в сельских школах, а особенно низки в малых городах. Полученный результат говорит о необходимости включения в модель HLM фактора местоположения школы при анализе данных ЕГЭ по русскому языку.

В отличие от математики, по которой в Якутии обеспечивается сравнительно однородное по результатам подготовки выпускников обучение, по русскому языку равный доступ к качественному школьному образованию вне места расположения школы не достигается. Для этой негативной тенденции есть вполне логичное объяснение, которое связано с тем, что в сельской местности и в малых городах дети и учителя чаще говорят на родном, якутском, языке, который является для них основным языком общения. Ситуация несколько выравнивается в малокомплектных школах, характерных для сельской местности, за счет высокой индивидуализации обучения. Поэтому в региональной системе образования Якутии необходимо обратить самое пристальное внимание на меры по улучшению преподавания русского языка в небольших городах, расположенных на значительном удалении от центра региона. В самом Якутске результаты обучения по русскому языку оказались значительно лучше, по сравнению с сельскими школами и школами малых и средних городов.

На следующем этапе рассматривались школьные факторы по методу ANOVA. Как и в предыдущем случае, в русском языке наблюдается статистически значимое различие в результатах выпускников школ различных видов. При анализе влияния фактора наполняемости школы оказалось, что его необходимо включить в модель HLM, поскольку он вызывает значимые различия между средними результатами выпускников якутских школ по математике и русскому языку. Результаты дисперсионного анализа ANOVA, проведенного для выборок выпускников школ Якутии, сформированных по признаку принадлежности к национальной или русскоязычной школе, не показали значимых различий ни по математике, ни по русскому языку. Второй фактор, связанный с национальностью учительского состава в школе, показывает значимые различия в результатах ЕГЭ по математике русскому языку. В целом, анализ данных ЕГЭ с помощью модели HLM позволил уточнить влияние различных факторов на качество обучения выпускников школ Якутии по русскому языку и математике и сделать вывод о том, что уровень образования Якутии по этим двум предметам соответствует общероссийскому уровню.

Третья методика, рассмотренная в главе, ориентирована на шкалирование оценок учебных достижений в региональной системе оценки качества образования. Методику предваряет определение процесса шкалирования и описание четырех основных этапов построения измерительных шкал в образовании. Приведены различия в понимании процедуры шкалирования при нормативно-ориентированном подходе и критериально-ориентированном подходе к интерпретации результатов измерения. Дан обзор шкал, рассмотрены их достоинства и недостатки, применительно к задачам региональной системы оценки качества образования. Обсуждены проблемы неверного построения рейтинговой шкалы, весьма распространенного в отечественном образовании.

Значительное внимание в главе уделено выравниванию результатов шкалирования. Предлагается подход к выравниванию результатов измерений, полученных учащимися по разным вариантам тестов и разным годам в региональной системе оценки качества образования. Рассматривается традиционный подход к сопоставимости норм тестов, основанный на использовании якорного теста для составления таблиц эквивалентности баллов по разным тестам. Приводится разработанная инновационная методика установления связи результатов тестирования по годам внутри региональной системы оценки качества образования.

Другая подробно рассматриваемая проблема, получающая свое методическое решение в главе, связана с построением шкал для компетентностных тестов. Поскольку компетентностные тесты всегда разрабатываются в рамках критериально-ориентированного подхода, то основная трудность при таком шкалировании заключается в установлении порогового балла для отсечения группы учащихся, не показавшей достаточного уровня освоения компетенции. В главе рассматриваются методики установления порогового балла и его эмпирическая валидизация для случая минимизации вероятностей ошибочной классификации в условиях, когда все ложные позитивные и все ложные негативные ошибки одинаково серьезны, и в условиях, когда ложные позитивные и ложные негативные ошибки отличаются по степени серьезности друг от друга. Методика шкалирования завершается анализом этапов построения уровневой шкалы, которая определяется как оптимальная для интерпретации результатов выполнения компетентностных тестов. Завершается глава сравнительным анализом методов шкалирования результатов тестирования, проведенным в контексте проблем сопоставления оценок учащихся в региональной системе оценки качества образования.

В конце главы помещены выводы, содержащие итоговые рекомендации и обобщения.

В главе IV Система оценки качества образования в Республике Саха (Якутия), ее особенности в структуре и организации представлены региональные особенности системы образования Республики Саха (Якутия), рассматривается роль региональной системы оценки качества образования в развитии человеческого потенциала (системы образования) республики, социально-педагогические факторы, обеспечивающие эффективность оценивания на региональном уровне, и предлагается модель региональной системы оценки качества образования в Республике Саха (Якутия) вместе с перспективными направлениями ее развития. На основе рассмотрения построена перспективная функционально-структурная модель региональной системы оценки качества образования в Республике Саха (Якутия), приведенная на рис. 3.

В основу функционирования модели положены единое законодательное и нормативное поле, системный подход к организации оценочных действий на разных уровнях региональной системы образования, единый инструментарий для оценки и совокупность показателей качества образования, утвержденная на региональном уровне и доведенная до сведения не только участников образовательного процесса, но и потребителей образовательных услуг.

Рис. 3. Функционально-структурная модель региональной системы оценки качества образования в Якутии.

Принципиальное институциональное изменение - создание независимого от органов управления образованием органа, осуществляющего оценку качества образования.

Приведен анализ практики создания региональных органов, реализующих контрольно-оценочную деятельность в России через формулирование и систематизацию четырех вариантов создания таких структур (территориальный орган - структурное подразделение федерального органа контроля и надзора в сфере образования, независимая от органов управления образованием служба контроля и надзора при региональном органе государственной власти или губернаторе (президенте), независимое рейтинговое агентство, ведомственная служба контроля при органе управления системой образования).

Выработан ряд требований к оценочным системам, имеющим территориальные и национальные особенности системы образования на примере Республики Саха (Якутия), функционирование которых должно с высокой надежностью и валидностью обеспечивать информационную основу для получения обоснованных управленческих выводов, принятия решений, установления тенденций и прогнозирования образовательных перспектив.

Анализ результатов исследования, положенных в основу построения региональной системы оценки качества образования республики, показан через описание направлений деятельности и итоги практической деятельности Государственной службы по контролю и надзору в сфере образования и науки при Президенте РС (Я), а также разработку показателей качества образования, представленных в приложениях к диссертации.

В разделе Заключение интегрируются основные выводы по главам диссертации и перечисляются результаты работы, полученные в соответствии с задачами исследования. Специфической чертой данного диссертационного исследования являлась его междисциплинарность, поэтому область полученных результатов базируется на отдельных положениях педагогики, теории и методологии педагогических измерений, теории управления образовательными системами, методах математического моделирования, статистики, теории вероятности. Результаты исследований прилагаются к практике построения систем оценки качества образования в регионах с территориальными, национальными или социокультурными особенностями, рассматриваемых на примере Республики Саха (Якутия).

Фундаментальная теоретическая часть результатов, связанная с проблемами измерений, преимущественно ориентирована на современную методологию педагогических измерений, а прикладные теоретические аспекты результатов лежат в сфере эвалюации. Совокупность методик, разработанных в диссертации, ориентирована на практику массового тестирования в региональной системе оценки качества образования. Две из представленных методик предназначены для систем оценки качества образования в регионах с территориальными, национальными или социокультурными особенностями.

В целом, в диссертации решены все задачи, поставленные на этапе замысла работы, а гипотеза исследования получила свое полное подтверждение, в частности:

- проведен анализ результатов научных исследований по рассматриваемой в диссертации проблеме с целью выявления позитивных тенденций и перспективных направлений для совершенствования региональных систем оценки качества образования;

- получили свое развитие методологические основы научной организации региональных систем оценки качества образования на основе бипарадигмальной методологии измерений и эвалюации;

- разработаны концептуальные основы региональных систем оценки качества образования, предполагающих ориентацию на приоритет инновационных технологий обучения, инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности обучающихся;

- сформированы совокупности показателей качества процесса и результатов обучения, адекватные задачам функционирования региональных систем оценки качества образования;

- создана классификация видов современных измерителей и требований к их характеристикам для аутентичного оценивания в контексте компетентностного подхода;

- разработан научно-методический аппарат для формирования полного информационного базиса образовательной системы в условиях высокой надежности и валидности, двухуровневости, динамичности, сопоставимости, справедливости и прогностичности результатов оценочных процессов, в том числе, в регионах, обладающих территориальной и национальной спецификой;

-разработаны научные методы шкалирования результатов оценивания в условиях многомерности, высокой сопоставимости данных о качестве обучения и корректной интеграции количественных и качественных результатов измерения в рамках компетентностного подхода.

Особенностью полученных результатов исследования является отсутствие альтернативного характера его выводов, которые не отрицают существующие традиционные оценочные средства качественного уровня измерений, а лишь дополняют их, создавая необходимые предпосылки для эффективного информационного обеспечения и выполнения всех функций оценочных систем, учитывая специфику их развития в отдельных регионах России.

Основное содержание и результаты исследований по теме диссертации отражены в работах, среди которых:

Монографии

1. Третьякова, Т.В. Организационно - педагогические основы государственной (итоговой) аттестации выпускников общеобразовательных школ Республики Саха (Якутия) в форме единых государственных экзаменов: монография / Т.В. Третьякова. - Якутск: Издательство Якутского научного центра Сибирского отделения РАН, 2007. - 240 с. (15,0 п.л.).
2. Третьякова, Т.В. Научные основы региональной системы оценки качества образования и ее организационные особенности в Республике Саха (Якутия): монография / Т.В. Третьякова. - Якутск: Издательство Якутского научного центра Сибирского отделения РАН, 2008. - 285 с.(17,7 п.л.).
3. Третьякова, Т.В. Теория и методология построения региональных оценочных систем (на материалах Республики Саха (Якутия): монография / Т.В. Третьякова. - Якутск, Издательство Дани Алмас, 2010. - 352 с.(22,0 п.л.).

Методические пособия, аналитические сборники

4. Санникова, Т.В. Мониторинг качества образования: сб. тестов / Т.В. Санникова. - Якутск: Изд-во ДНИСПО,1999. - 106 с.(6,6 п.л.).
5. Санникова, Т.В. Анализ состояния качества образования в Республике Саха (Якутия): метод. пос. / Т.В. Санникова, В.А. Терехова. - Якутск, ЦАККО, 2001. - 16 с. (авторских - 8; 0,5 п.л.).
6. Санникова, Т.В. Выпускнику о едином государственном экзамене: метод. пос. / Т.В. Санникова, В.А. Терехова, Т.Ф. Мартынова, А.Д. Саввинов. - Якутск, Изд-во ООО РИЦ Офсет, 2002. - 104 с. (авторских - 53; 3,3 п.л.).
7. Санникова Т.В. Аналитический отчет Республики Саха (Якутия) о едином государственном экзамене в 2002 году: метод. пос. / Т.В. Санникова, А.Р. Поскачин. - Якутск, Изд-во Ардах, 2002. - 20 с. (авторских - 6; 0,4 п.л.).
8. Третьякова, Т.В. Анализ результатов государственной (итоговой) аттестации обучающихся, освоивших основные образовательные программы основного и полного (среднего) общего образования в Республике Саха (Якутия) в 2009 году. Аналитический отчет: метод. пос. / Т.В. Третьякова, Н.Е. Егорова, В.М. Саввинов, Э.Н. Павлова, С.Н. Николаева. - Якутск: Гособрнадзор, 2009. - 196 с. (авторских - 98 с.; 6,1 п.л.).
9. Третьякова, Т.В. Единые государственные экзамены в Республике Саха (Якутия) в 2009 году. Сборник статистических данных: методическое пособие / Т.В Третьякова, А.Д. Саввинов, В.А.Терехова. // Якутск: ООО Дисплей, 2009. - 198с. (авторских - 23с.; 1,4 п.л.).

Статьи

10. Третьякова, Т.В. Русский язык в национальной школе, или еще раз о равенстве возможностей. /Т.В. Третьякова, М.П. Старостина. // Высшее образование сегодня. Ц 2008. - № 5 Ц С. 105 Ц 110 (0,3 п.л.).
11. Третьякова, Т.В. Аттестация качества образования. /Т.В. Третьякова. // Наука и образование. Ц2005. - № 2 - С.130-133 (0,2 п.л.).
12. Третьякова, Т.В. О концепции качества образования. /Т.В. Третьякова. // Наука и образование. Ц 2005. Ц № 1 - С.83-86 (0,2 п.л.).
13. Третьякова, Т.В. Анализ концепции качества образования / Т.В. Третьякова. // Высшее образование сегодня. Ц 2007. - № 11 - С. 62-65 (0,2 п.л.).
14. Третьякова, Т.В. Роль единого государственного экзамена в формировании государственной системы контроля качества образования. / Т.В. Третьякова. // Наука и образование. Ц 2007. - №4 (48) Ц С. 106-110 (0,3 п.л.).
15. Третьякова, Т.В. Управление качеством образования в общеобразовательной школе на основе результатов независимого контроля индивидуальных достижений учащихся. / Т.В. Третьякова. // Наука и образование. Ц 2007. - №1 (45) Ц С. 119-120 (0.1 п.л.).
16. Третьякова, Т.В. Общие принципы проектирования региональных систем оценки качества образования. / Т.В. Третьякова, В.А. Терехова. // Наука и образование. Ц 2007. - №3 (47) Ц С. 67-70 (0,2 п.л.).
17. Третьякова, Т.В. О некоторых зарубежных моделях оценки образовательных учреждений. / Т.В. Третьякова, В.А. Терехова. // Наука и образование. Ц 2007. - №2 (46) Ц С. 123-126 (0,2 п.л.).
18. Третьякова, Т.В. Мониторинг результатов ЕГЭ по математике и его использование в регионе и в образовательном учреждении. / Т.В. Третьякова. // Вопросы образования. Ц 2007. - №2. Ц С. 188-200 (0,8 п.л.).
19. Третьякова, Т.В. Мониторинг результатов ЕГЭ по физике в Республике Саха (Якутия). / Т.В. Третьякова. //Стандарты и мониторинг в образовании. Ц 2007. - № 5 (56). Ц С. 17-22 (0,3 п.л.).
20. Третьякова, Т.В. Роль общества и личности в оценке качества образования. / Т.В. Третьякова. // Наука и образование. Ц 2008. - №1 (49) - С.57-60 (0,3 п.л.).
21. Третьякова, Т.В. Что показал ЕГЭ? (рассуждения о преподавании русского языка в национальной школе). / Т.В. Третьякова, М.П. Старостина. // Наука и образование. 2008. - №2 (50) - С 18-22 (0,3 п.л.).
22. Третьякова, Т.В. Модель региональной системы оценки качества образования в Республике Саха (Якутия). / Т.В. Третьякова. // Наука и образование. Ц 2008 г. - № 4 (52) - С.121-124 (0,3 п.л.).
23. Третьякова, Т.В. Анализ подходов к оценке качества образования за рубежом. / Т.В. Третьякова. // Вестник Якутского государственного образования имени М.К. Аммосова. Ц 2009. - Т.6, № 2. Ц С.59-64 (0,3 п.л.).
24. Третьякова, Т.В. Качество образования: от оценки к управлению. / Т.В. Третьякова. // Высшее образование сегодня. Ц 2010. -№ 6. - С. 16-22 (0,4 п.л.).
25. Санникова, Т.В. Итоги тестирования выпускников общеобразовательных школ РС (Я). / Т.В. Санникова. // Наука и образование. - 1997. - № 4. - С. 152-156 (0,3 п.л.).
26. Санникова, Т.В. К вопросу о критериях оценки эффективности деятельности образовательного учреждения. / Т.В. Санникова. // Народное образование Якутии. - 1999. - С. 98-101 (0,2 п.л.).
27. Санникова, Т.В. Мониторинг качества образования как педагогическая проблема. / Т.В. Санникова: сб. мат. республиканской научно-практической конференции. - Якутск, 1999. - С. 48-53 (0,3 п.л.).
28. Санникова, Т.В. Что показал первый год проведения федерального эксперимента по введению единого государственного экзамена? / Т.В. Санникова. // Материалы V Всероссийской научно-практической конференции. - Сочи, 2001. - С. 53-56 (0,2 п.л.).
29. Санникова, Т.В. Роль и место единых государственных экзаменов в системе модернизации современного российского образования. / Т.В. Санникова, В.А. Терехова. // Наука и образование. - 2002. - № 3 (27) - С. 86-87(0,12 п.л.).
30. Третьякова, Т.В. Профильное образование и ЕГЭ. / Т.В. Третьякова, В.А. Терехова. // Наука и образование. - 2003. - № 4 - С. 133-135 (0,2 п.л.).
31. Третьякова, Т.В. Социальные аспекты организации единых государственных экзаменов в Республике Саха (Якутия). / Т.В. Третьякова.// Народное образование Якутии. - 2004.-№ 2. - С. 81-87 (0,4 п.л.).
32. Третьякова, Т.В. Использование результатов ЕГЭ в управлении качеством в общеобразовательной школе. / Т.В. Третьякова // Организация и задачи эксперимента по введению единого государственного экзамена: материалы научно-практической конференции. - С-Пб., 2004. - С. 47 - 50 (0,2 п.л.).
33. Третьякова, Т.В. Единые государственные экзамены в Республике Саха (Якутия). Информационно-аналитический акт об итогах федерального эксперимента по введению единого государственного экзамена за 2001-2006 годы: информационно-аналитический акт. / Т.В Третьякова, В.А.Терехова, И.Г. Ларионова, Л.А. Давыдов, В.П. Старостин. - Якутск, Изд-во ООО Компания Дани Алмас, 2006. - 252 с. (авторских - 68 с.; 4,3 п.л.).
34. Третьякова, Т.В. Единые государственные экзамены в Республике Саха (Якутия). Информационно-аналитический акт об итогах федерального эксперимента по введению единого государственного экзамена за 2007 год: информационно-аналитический акт. / Т.В Третьякова, В.А.Терехова, И.Г. Ларионова, Н.М. Соловьева. - Якутск, Изд-во ООО Компания Дани Алмас, 2007. - 426 с. (авторских - 104 с.; 6,5 п.л.).
35. Третьякова Т.В. Измерение качества образования посредством единых государственных экзаменов. / Т.В. Третьякова. // Этнос. Образование. Личность: материалы научно-практической конференции. - Якутск, 2007. - С. 39-41 (1,18 п.л.).
36. Третьякова, Т.В. Некоторые подходы к организации внутришкольной системы управления качеством обучения школьников. / Т.В. Третьякова.// Развитие тестовых технологий в России: материалы IX Всероссийской научно-методической конференции Федерального Центра тестирования. - Москва, 2007. - С. 91 (0,06 п.л.).
37. Третьякова, Т.В. РСОКО: поиск оптимальной модели. / Т.В. Третьякова, Л.Б. Тен. // ОКО. Оценка качества образования. - 2008. - №1. - С. 67 - 72 (0,3 п.л.).
38. Третьякова, Т.В. Обоснование необходимости формирования региональной системы оценки качества образования. / Т.В. Третьякова. //Общее образование: императив качества и доступности: сборник статей. - 2010. - С. 63-71.(0,5 п.л.).

Авторефераты по всем темам  >>  Авторефераты по педагогике