Учебно-методический комплекс по дисциплине опд. Ф. 02 Педагогика (современные средства оценивания результатов обучения) для специальности

Вид материала

Учебно-методический комплекс

Содержание Планирование содержания теста. Определение структуры теста. Разработка спецификации теста. Составление тестовых заданий Принципы отбора содержания тестовых заданий Экспертный анализ содержания и формы тестовых заданий. Статистическая обработка полученных данных тестирования Компьютерное тестирование. Интерпретация результатов тестирования 1. Линейная модель (модель Скиннера) 2. Линейная модель с обратной связью (модель Пресси) 3. Разветвленная модель Краудера 4. Многоуровневая разветвленная модель 5. Смешанные модели Сдантартизация теста. Стандартизация - комплекс процедур, позволяющий создать для всех испытуемых равные условия. Оценка выполнения заданий и всей работы Порядок проведения ЕГЭ. Бланк регистрации Порядок проведения апелляции Контрольно-измерительные материалы (КИМы). Содержание и структура тестовых заданий по конкретному предмету Структуру и содержание КИМ регламентируют ... Полное содержание

Подобный материал:

• Учебно-методический комплекс опд ф. 09. Современные средства оценивания результатов, 251.72kb.
• Учебно-методический комплекс опд. Ф. 02 Современные средства оценивания результатов, 237kb.
• Программа учебной дисциплины современные средства оценивания результатов обучения., 288.12kb.
• Методические рекомендации студенту по изучению дисциплины «современные средства оценивания, 909.9kb.
• Учебно-методический комплекс дисциплины Бийск бпгу имени В. М. Шукшина, 1533.68kb.
• Учебно методический комплекс по дисциплине опд. Ф. 02 Педагогика (наименование) для, 1367.67kb.
• Учебно-методический комплекс по дисциплине опд. Ф. 02 Педагогика (Теория обучения., 2624.8kb.
• Учебно-методический комплекс умк учебно-методический комплекс социальная педагогика, 1268.06kb.
• Учебно-методический комплекс по дисциплине опд. Ф. 11 Уголовное право часть общая для, 925.06kb.
• Учебно-методический комплекс по дисциплине цикла опд. Ф. 17 Для студентов очной формы, 350.17kb.

Надо помнить, что для создания средств измерения необходима четкая, точная постановка целей, т.е. операционализация целей. Процесс операционализации заключается в придании содержанию и форме представления целей характеристик, позволяющих отобразить цели в содержании стандартизированных средств измерения. Идея операционализации очень близка отдельным положениям работы М. В.Кларина, где вместо слова «операционализация» используется удачный термин «конкретизация». Конкретизация, по мнению М.Кларина, должна начинаться с описания направленности воздействия обучения на ученика, прояснения характера воздействия и детализации результатов.




В случае конкретизации общих целей он рекомендует использовать глаголы:

анализировать, вычислять, высказывать, демонстрировать, знать, интерпретировать, использовать, оценивать, понимать, преобразовывать, применять, создавать ...

для конкретизации целей творческого типа:

варьировать, видоизменять, модифицировать, перегруппировать, перестроить, предсказать, поставить вопрос, синтезировать, систематизировать ...

для обозначения целей в области развития устной и письменной речи:

выделить, выразить в словесной форме, записать, обозначить, подчеркнуть (не в буквальном смысле), продекламировать, произнести, прочитать, разделить на составные части, рассказать.


Планирование содержания теста.


Анализ содержания учебной дисциплины и отбор содержания для теста

После того, как определены цели тестирования, выбран вид теста и уточнены подходы создания теста разработчики приступают к следующему этапу - отбору содержания теста.

Так как основная функция теста - это контроль за уровнем учебных достижений по определенным областям знаний, предметам и дисциплинам, то тест как измерительный инструмент должен быть адекватен по отношению к проверяемому материалу. Содержание теста должно оптимально соответствовать содержанию учебной дисциплины. Чтобы достичь этого соответствия, необходимо проанализировать содержание проверяемого предмета, раздела, темы и т.д., выделить самые важные элементы, которые требуют проверки, определить, какие знания и умения в этой области содержания будут проверяться с помощью тестовых заданий.

Определение структуры теста. Разработка спецификации теста.

Опираясь на анализ содержания дисциплины, далее разрабатывается план теста. Разработчик должен определить, из скольких частей (субтестов) будет состоять тест, планируемое количество заданий, какие формы тестовых заданий будут использоваться. Планирование теста предполагает определение соотношения элементов содержания и необходимого количества заданий для их проверки, которое определяется значимостью и количеством времени, отведенном на изучение.

Пример

№	Раздел, тема	Число заданий	Доля (%)	Номера заданий

Более эффективный способ планирования теста - когда учитываются не только элементы содержания, но и виды деятельности, которые подвергаются проверке. При этом виды деятельности в зависимости от уровня усвоения учебного материала подразделяются на репродуктивный (знание определений, формул, фактов и использование знаний по образцу) и продуктивный (применение знаний в незнакомой ситуации).

Каждый тест должен сопровождаться спецификацией, т.е. его описанием, где указываются цели тестирования, для кого этот тест предназначен, содержание проверки, процентное соотношение заданий по различным разделам и видам деятельности, используемые формы заданий, рекомендуемое время выполнения. Спецификация теста разрабатывается с учетом нормативных документов и образовательных стандартов, которые используются при планировании содержания теста.

Развернутая спецификация теста, составленная под руководством Г.С.Ковалевой (применялась в 1998 – 1999 годах для создания аттестационных центров Российского центра тестирования выпускников общеобразовательных учреждений).

Составление тестовых заданий

В зависимости от целей тестирования и содержания проверяемой дисциплины выбираются оптимальные формы тестовых заданий. Разработчик может использовать в тесте задания только одной формы, например, закрытые задания, а также сочетать в тесте несколько различных форм (например, КИМы ЕГЭ, ЦТ). Выбор форм во многом зависит от технологии проверки, сбора и обработки результатов, материального обеспечения.

Составление задания начинается с формулировки основной его части. Отечественные тестологи не пришли к единому мнению, в какой форме - в форме вопроса или утверждения - это лучше делать. В.С.Аванесов считает, что именно утверждение позволяет четко и логично сформулировать проблему перед испытуемым. «Семантическое преимущество заданий заключается в лучшем понимании их смысла и значения. Это связано, во-первых, со словесным составом задания в тестовой форме: смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса. В тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения интонации». Но зарубежный опыт использования тестов показывает, что и вопрос в задании используется часто. Так по рекомендациям Голландского института CITO при составлении тестовых заданий лучше применять прямые вопросы. Мы считаем, что формулировка может даваться как в виде утверждения, так и в виде вопроса и присоединяемся к мнению А.Н.Майорова: «Хорошо сформулированное задание в вопросительной форме ничем не уступает хорошо сформулированному вопросу в форме утверждения. ...необходимо выбирать ту форму, которая будет максимально понятна для испытуемых ...» [4].

При составлении тестовых заданий необходимо соблюдать ряд правил и требований, о которых мы говорили выше, когда анализировали различные формы заданий.

Рекомендуется начинать составление задания с формулировки правильного ответа, это помогает избежать возникновения нескольких правильных ответов на задание. В заданиях закрытого типа при подборе дистракторов надо помнить о том, что все дистракторы должны быть равно привлекательны. Подбор дистракторов - достаточно сложная задача. Иногда для их создания можно использовать неправильные ответы самих учащихся. На предварительном тестировании испытуемым даются задания в открытой форме на дополнение. Систематические ошибки учащихся при выполнении задания и будут правдоподобными дистракторами.

Составителями тестовых задания могут быть как отдельные авторы, так и коллектив разработчиков. Тестовые задания для КИМов ЕГЭ составлялись на конкурсной основе ведущими специалистами в определенной области, методистами, учителями-предметниками.

При создании тестовых заданий необходимо учитывать, что в процессе экспертной оценки и апробации теста часть заданий придется убрать как несоответствующие определенным характеристикам. Поэтому для предварительного тестирования готовят заданий в 2, а то и в 3 раза больше, чем потом войдет в конечный вариант теста.

Принципы отбора содержания тестовых заданий

1. Значимость — принцип, указывающий на необходимость включения в тест только тех элементов знания, которые можно отнести к наиболее важным, ключевым, без которых знания ста­новятся неполными, с многочисленными пробелами.
   
2. Научная достоверность — принцип, требующий включе­ния объективно истинного содержания учебной дисциплины, поддающегося рациональной аргументации. Все спорные точки зрения, вполне нормальные в науке, не рекомендуется включать в тестовые задания.
   
   
   
3. Соответствие содержания теста уровню современного со­стояния науки, вытекающее из необходимости готовить специа­листов на современном научном материале.
   
4. Репрезентативность предполагает включать в тест не толь­ко значимые элементы содержания, но и обращать внимание на полноту и их достаточность для контроля. Репрезентативность не означает обязательного включения в тест всех значимых элемен­тов содержания, так как многие элементы в структуре знаний иерархически соподчинены.
   
5. Возрастающая трудность. Этот принцип означает, что каж­дый элемент содержания образования в процессе обучения и кон­троля обладает некоторой усредненной для студентов мерой трудности, на которую и ориентируются преподаватели. Как пра­вило, трудному содержанию соответствуют и трудные задания.
   
6. Вариативность содержания. По мере изменения содержания учебной дисциплины должно варьи­роваться и содержание теста. (Содержание теста не может оставаться неизменным и независимым от развития науки, от но­вого содержания учебной дисциплины и от новых учебников).
   

7. Системность содержания означает подбор такого содержа­ния тестовых заданий, который отвечал бы требованиям систем­ности знаний. Кроме того, в тесте желательно иметь задания, свя­занные между собой общей структурой знаний.
   

8. Комплексность и сбалансированность содержания теста. Тест, разработанный для итогового контроля знаний, не может состоять из материала только одной темы, даже если эта тема яв­ляется самой ключевой в учебной дисциплине. Необходимо искать задания, комплексно отображающие основные (если не все) темы учебного курса.

9. Взаимосвязь содержания и формы. Настоящий педагогичес­кий тест можно охарактеризовать как результат взаимодействия содержания задания с наиболее подходящей формой.

Экспертный анализ содержания и формы тестовых заданий.

После того как разработчики представили множество тестовых заданий проходит процедура экспертного анализа содержания и формы экспертных заданий. Для экспертизы привлекаются независимые специалисты, компетентные в данной области, которые не имели отношения к разработке теста. По результатам экспертной оценки разработчиками проводится корректировка тестовых заданий и доработка теста в целом.

Статистическая обработка полученных данных тестирования (результатов испытуемых) позволяет определить количественные характеристики тестовых заданий и всего теста, что позволяет использовать тест как научно обоснованный, объективный инструмент педагогических измерений. Статистическая обработка результатов тестирования проводится с помощью программного обеспечения.

Для удобства обработки тестовых данных результаты заносятся в специальную таблицу - матрицу тестовых результатов. Ниже мы приводим пример такой матрицы при дихотомической системе оценивания: один балл за правильный ответ, нуль баллов - за неправильный ответ или пропуск задания.

Пусть x - результат выполнения i-тым испытуемым j-того задания, тогда x=1, если ответ на задание правильный и x=0, если ответ неправильный.

№ испытуемого i	№ задания j										Индивидуальный балл Xi
	1	2	3	4	5	6	7	8	9	10
1	1	1	1	1	1	1	0	0	0	0	6
2	1	1	0	0	0	0	0	0	0	0	2
3	0	0	0	0	0	0	0	1	0	0	1
4	1	1	0	1	1	1	1	1	1	1	9
5	1	0	1	0	1	1	0	0	0	0	4
6	1	1	1	0	0	0	0	1	0	0	4
7	1	1	1	1	0	1	0	0	0	0	5
8	1	1	1	1	0	0	0	0	0	0	4
9	1	1	1	1	1	1	1	1	1	0	9
10	1	1	1	1	1	0	1	0	0	0	6
Число правильных ответов Yj	9	8	7	6	5	5	3	4	2	1	50

В таблице в каждой строке даны результаты конкретного испытуемого, которые называются профилем ответов. В столбце занесены результаты испытуемых на каждое конкретное задание (профиль задания). В последнем столбце представлены индивидуальные баллы каждого испытуемого (индивидуальный балл - это сумма 1, которые получены за правильный ответ). В последней строке дано количество правильных ответов по каждому заданию теста.

Из матрицы удаляются строки и столбцы, содержащие только единицы или только нули. Если возникает ситуация, когда в строке ответов только единицы/нули, то это значит, что данный тест не пригоден для измерения учебных достижений данных испытуемых, потому, что он будет слишком легким (все 1) для сильного учащегося или слишком трудным (все 0) для слабого учащегося. Если же мы видим, что в столбце только единицы/ нули, то значит, данное задание является слишком легким (все 1) или слишком трудным (все 0), а соответственно не может использоваться для оценки уровня достижений испытуемых данной выборки.


Компьютерное тестирование. Интерпретация результатов тестирования


Системы компьютерного тестирования обеспечивают разработку дисциплинарных, междисциплинарных, квалификационных и других программ-тестов в различных предметных областях с использованием различных форм заданий. Для проверки знаний по техническим и другим дисциплинам применяются графические, мультимедийные задания.

Традиционный компьютеризованный тест предлагает тестируемому определенное количество вопросов. Это количество не зависит от того, насколько хорошо тестируемый отвечает на вопросы. Количество набранных баллов при использовании традиционного теста зависит от количества правильных ответов.

Адаптивный тестовый контроль, а в более широком понимании адаптивное обучение представляет собой современный компьютерный вариант реализации известного педагогического принципа индивидуализации обучения. Действительно, нет необходимости давать сильному учащемуся легкие задания, так как велика вероятность их правильного решения. Даже наоборот - слишком легкие вопросы вредны, потому что не обладают развивающим потенциалом. Точно так же из-за высокой вероятности неправильного решения нет смысла давать сложные вопросы слабым учащимся, которые к тому же снижают учебную мотивацию. Использование заданий, соответствующих уровню подготовленности, существенно повышает точность измерений и минимизирует время индивидуального тестирования. В самом широком понимании компьютерный адаптивный тест - тест, который «приспосабливается» к возможностям тестируемого.

Адаптированное тестирование позволяет учащемуся с более высоким уровнем подготовки выполнить «сложные» вопросы, и наоборот, учащемуся с более низким уровнем выполнить «легкие». При этом доли правильных ответов у тестируемых могут совпадать, но так как первый отвечал на более сложные вопросы, то он и наберет большее количество баллов. Таким образом, в адаптивном тесте количество набранных баллов менее связано с количеством правильных ответов, чем в обычном тесте. Это зависит от уровня сложности вопросов, на которые даны правильные ответы.

Сходно ведет себя и адаптивный тест. Сначала он «задает» вопрос сред­ней сложности, и полученный ответ немедленно оценивается. Если ответ правильный, то оценка возможностей тестируемого повышается. В этом случае задается более сложный вопрос.

В адаптивном тесте на каждый вопрос в среднем выделяется больше времени для обдумывания, чем в обычном тесте. Например, у сдающих адаптивный тест вместо 2 минут на каждый вопрос может получиться 3 или 4 минуты (в зависимости от того, на сколько вопросов ему понадобится ответить).

Для решения задач адаптации разработаны и используются следующие модели и методы:

1. Линейная модель (модель Скиннера): все обучающиеся проходят одну и ту же, заранее определенную последовательность образовательных фрагментов, которая не зависит от действий обучающихся. Адаптация достигается за счет индивидуального времени прохождения.

2. Линейная модель с обратной связью (модель Пресси): продвижение вперед осуществляется по линейной программе только в случае, если обучающийся выбрал правильный ответ из нескольких возможных; если ответ был неверным, то следует возврат назад на одну ступень.

3. Разветвленная модель Краудера: разные ответы определяют разные ветви; при отсутствии ошибок обучающемуся предъявляется новый образовательный фрагмент. В противном случае возможен возврат к ранее осваиваемому материалу, либо выдача справок, комментариев, дополнительной информации.

4. Многоуровневая разветвленная модель: представление одного и того же образовательного фрагмента на нескольких уровнях сложности. Переход с одного уровня сложности на другой осуществляется по достижении некоторого заданного критерия.

5. Смешанные модели, содержащие разнообразные сочетания различных моделей. Большинство программных продуктов, созданных специализированными фирмами-разработчиками, реализуют именно смешанные модели, и поэтому подобные программные продукты относят к классу частично адаптированных.

Сдантартизация теста.

Эффективность теста как инструмента зависит не только от качества самого теста, но от того, выполняются ли одно из принципиальных требований в тестологии - требования стандартизации.

Стандартизация - комплекс процедур, позволяющий создать для всех испытуемых равные условия.

Стандартизация включает ряд требований по организации тестирования:

• ни одному испытуемому не дается никаких преимуществ перед другими;
  
• группа тестируемых выравнена по мотивации;
  
• тестирование различных групп испытуемых занимает одинаковое время и проводится в равных условиях;
  
• содержание теста должно соответствовать требованиям стандартов образования;
  
• все испытуемые выполняют одни и те же задания (подобные, параллельные формы заданий);
  
• в тест включены задания одной формы либо разных форм с соответствующими весовыми коэффициентами, значения которых получены статистическим путем;
  
• заранее разработанная система подсчета баллов применяется ко всем ответам испытуемых без исключения.
  

Чтобы соблюдались условия стандартизации, тест сопровождается руководством, в котором заключена следующая информация для пользователя:

1. назначение и содержание;
   
2. показания для применения и ограничения;
   
3. состав теста;
   
4. информация об апробации теста (цели апробации, объем и состав выборки, основные статистические характеристики);
   
5. инструкция по процедуре проведения тестирования;
   
6. ключи;
   
7. данные о трудности и дискриминативности заданий;
   
8. данные о надежности и валидности теста;
   
9. другие статистические материалы;
   
10. правила (инструкция) для обработки данных;
    
11. устройство шкалы;
    
12. правила и особенности интерпретации результатов.
    

При обеспечении равных условий тестирования большую роль играют те части руководства, которые содержат инструкции, регламентирующие поведение тех, кто проводит тестирование, самих испытуемых и тех, кто проверяет тестовые работы.

Инструкция для проводящего (ведущего) тестирование включает: условия проведение теста (где, в каком помещении, требования к помещению др.), время выполнения теста, материалы для проведения теста (бланки, ручки или карандаши, черновики и др.), поведение ведущего во время тестирования (что он обязан, что он может и что ему запрещено делать), необходимая квалификация лиц, которые проводят тестирование и др.


Инструкция для ведущего и испытуемого входят в состав всех стандартизированных тестов и определяют его объективный характер. Инструкция для ведущего приводится, как правило, в руководстве к тесту, а инструкция для испытуемого - прилагается к пакету тестовых материалов.

Инструкция для испытуемого включает: правила заполнения бланков ответов; образцы исправления неверно выполненного задания. Кроме того инструкция может содержать правила поведения учащегося и санкции за нарушение этих правил.

Проверка тестовых работ также регламентирована. Проверяющим даются эталоны правильных ответов и сдандартизированные критерии оценок.

Важным моментом в стандартизации теста является определение нормы, так как адекватность результатов выполнения теста достигается путем сопоставления первичного индивидуального балла с определенными нормами выполнения теста.

Нормы - это множество показателей, которые устанавливаются эмпирически, сообразно тому, как выполняет задания теста некоторая четко определенная выборка испытуемых. Наиболее распространенными нормами являются среднее арифметическое и стандартное отклонение по множеству индивидуальных баллов выборки стандартизации. Соотнесение первичного результата испытуемого с нормами выполнения позволяет установить место испытуемого в выборке, использованной для стандартизации теста. При таком сопоставлении можно установить, соответствует ли данный результат среднему или насколько он выше или ниже среднего результата выполнения теста. Разработка и процедуры получения этих показателей составляют процесс стандартизации теста.

Шкалирование результатов тестирования.

Вариативность тестов.

Создание параллельных вариантов.


Лекция №4

ЕГЭ, его содержание и организационно-технологическое обеспечение


ЕГЭ согласно Положению о проведении Единого государственного экзамена является процедурой совмещения государственной (итоговой) аттестации выпускников 11-х (12-х) классов общеобразовательных учреждений и вступительных испытаний для поступления в ссузы и вузы.

Причины введения ЕГЭ:

- обеспечение равных условий при поступлении в вуз (ссуз) и сдаче выпускных экзаменов в школе (поскольку при проведении этих экзаменов на всей территории России применяются однотипные задания и единая шкала оценки, позволяющая сравни­вать всех учащихся по уровню подготовки).

- проведение в условиях, максимально обеспечивающих достоверность результатов. Ответы на задания части А и части В оцениваются с помощью компьютеров. Ответы на задания части С проверяются независимыми экспертами.

- улучшение качества образования в России за счет более объективного контроля и более высокой мотивации на успешное его прохождение.

Цели Единого государственного экзамена.

1. Формирование системы объективной и достоверной оценки качества
   общего образования школьников.
   
2. Повышение доступности высшего и среднего профессионального
   

образования, обеспечение равных условий при поступлении в вузы и ссузы.

3. Обеспечение преемственности между общим и профессиональным
   образованием.
   
4. Повышение качества профориентационной работы в ОУ.
   
5. Создание условий для повышения эквивалентности государственных
   документов о получении среднего (полного) общего образования.
   
6. Обеспечение государственного контроля и управления качеством общего образования на основе независимой оценки подготовки выпускников.
   
7. Преодоление учебной перегрузки выпускников-абитуриентов за счет
   сокращения числа экзаменов.
   
8. Получение объективной информации о качестве общего образования школьников, оказание помощи обучающимся в преодолении учебных
   затруднений и построении траектории личностного саморазвития.
   
9. Содействие справедливому перераспределению финансовых потоков между вузами.
   

Для проведения ЕГЭ в субъекте Федерации формируются следующие организационные структуры:

• государственная экзаменационная комиссия субъекта Федерации
  (ГЭК) и предметные комиссии ГЭК субъекта Федерации;
  
• конфликтная комиссия субъекта Федерации;
  
• региональный центр обработки информации (РЦОИ) и пункты первичной обработки информации (ППОИ);
  
• пункты проведения ЕГЭ (ППЭ).
  

В состав ГЭК входят представители органов исполнительной власти, органов управления образованием различных уровней, образовательных учреждений.

Надзор за соблюдением установленного порядка проведения ЕГЭ осуществляют уполномоченные представители Министерства образования Российской Федерации.

Министерство образования Российской Федерации обеспечивает ГЭК субъекта Российской Федерации КИМами, необходимыми для проведения ЕГЭ.

Содержание КИМов определяется на основе примерных программ общеобразовательных предметов, разработанных Министерством образования Российской Федерации для общеобразовательных учреждений, и не может выходить за пределы указанных программ.

Экзаменационные работы в рамках ЕГЭ оцениваются баллами (по стобалльной системе) и отметками (по пятибалльной системе). Порядок и шкала перевода баллов в отметки устанавливаются Министерством образования Российской Федерации.

Выпускникам, сдававшим ЕГЭ, выдаются:

• аттестат о среднем (полном) общем образовании;
  
• свидетельство о результатах ЕГЭ. Форму свидетельства утверждает
  Министерство образования Российской Федерации. Срок действия свиде-.
  тельства -до 31 декабря текущего года.
  

В свидетельстве проставляются баллы по каждому общеобразователь­ному предмету, сданному в рамках ЕГЭ.

ЕГЭ проводится по следующим общеобразовательным предметам: математика, русский язык, литература, физика, химия, биология, география, исто­рия России, обществознание, иностранные языки. Перечень общеобразова­тельных предметов, по которым проводится ЕГЭ в конкретном субъекте Рос­сийской Федерации, определяется Министерством образования Российской Федерации по согласованию с данным субъектом Российской Федерации.

Форма, процедура, сроки и продолжительность проведения ЕГЭ уста­навливаются Министерством образования Российской Федерации.

(Так, например, в 2005-2006 учебном году продолжительность ЕГЭ по математике, литературе составляет 4 часа (240 минут), по физике - 3,5 часа (210 минут), по русскому языку, биологии, географии, химии, обществознанию, истории России - 3 часа (180 минут), по иностранным языкам -170 минут).

(Контрольно-измерительные материалы готовятся в федеральном центре и в специальных запечатанных в Москве пакетах одноразового вскры­тия доставляются специальной службой в каждый пункт сдачи ЕГЭ. Вскры­тие специальных пакетов с КИМами проводится в момент начала проведе­ния экзамена в присутствии выпускников - участников ЕГЭ).

Предусмотрено введение дополнительных очных испытаний для поступающих на специальности искусства, культуры, спорта; дополнительных очных экзаменов на специальности ряда вузов, где реализуются образовательные программы повышенного уровня сложности (такие специальности есть, например, в МФТИ, МГУ, СПбГУ и в некоторых других вузах). Вузам предоставлено право: определения собственных дополнительных критериев при равенстве баллов у группы абитуриентов.

Содержание деятельности органов управления образованием и школы по подготовке и проведению ЕГЭ

Ведущими компонентами организации деятельности органов управления образованием и школы по подготовке и проведению ЕГЭ являются:

четкое определение целей предстоящей работы;

разработка программы реализации целей;

определение задач и функций каждого участника дея­тельности;

подготовка всего необходимого для предстоящей работы по обеспечению оптимальных условий проведения ЕГЭ;

установление норм выполнения для измерения результатов (определение критериев и показателей качества образовательной подготовки выпускников; уровня профессиональной компетентности педагогов; качества условий обеспечения ЕГЭ);

распределение ответственности, отчетности;

инструктирование участников ЕГЭ;

обеспечение единства действий педагогических и ученических кол­лективов по реализации поставленных целей.

Важнейшее место в решении вышеперечисленных проблем и обеспечении подготовки к ЕГЭ в регионе должен занимать вуз, реализующий программы высшего профессионального образования по направлению «Образование и педагогика», соответствующие программы повышения квалификации и профессиональ­ной переподготовки в рамках имеющихся структурных подразделений (фа­культет повышения квалификации и профессиональной переподготовки работников образования, кафедра управления школой и педагогического мастерства и др.), а также опыт проведения централизованного тестирования по широкому спектру предметов. Именно такой вуз может и должен взять на себя функции научно-методического обеспечения подготовки образовательных учреждений в регионе к ЕГЭ.

Оценка выполнения заданий и всей работы

Проверка ответов к заданиям частей I и II выполняется с помощью компьютера. Ответы к заданиям части III проверяются экспертной комиссией, в состав которой входят методисты и опытные учителя.

Верное выполнение каждого задания частей I и II оценивается I баллом. Решение о присвоении того или иного числа баллов за выполнение заданий части III определяется разработчиками КИМ с учетом сложности заданий.

Оценка результатов выполнения работы с целью аттестации выпускников школы и определения готовности экзаменуемого к продолжению обучения в Вузах проводится раздельно.

Аттестационная оценка выпускника школы за освоение курсов дисциплин определялась по 5-балльной шкале.

Оценка в целях отбора для поступления в ВУЗы подсчитываются по 100-балльной шкале путем суммирования баллов, полученных выпускником за все выполненные задания.

Взаимосвязь этих двух шкал оценивания показана в таблице:



Порядок проведения ЕГЭ.

При проведении ЕГЭ учащиеся получают контрольно-измерительные материалы, запечатанные в индивидуальный пакет. В каждом пакете нахо-дятся также три цветных бланка ответов и бланк черновика. Все три бланка ответов имеют уникальную нумерацию в виде штрих-кодов.

Бланк регистрации, в котором участник ЕГЭ записывает информацию о себе (фамилия, имя, отчество, серия и номер паспорта и др.), а также по указанию организатора в аудитории записывает коды региона, района, школы и пр.

В бланке регистрации обязательно ставится подпись участника ЕГЭ.

Бланк ответов № 1, в котором учащийся отмечает свои ответы на задания типов А и В. В этом бланке запрещено указывать сведения об участнике ЕГЭ. Бланк должен быть обязательно им подписан.

Бланк ответов № 2, в котором участник ЕГЭ записывает свои ответы на задания в свободной форме. Бланк печатается на бумаге с водяными знаками и может заполняться с обеих сторон. В бланке запрещено указывать сведения об участнике ЕГЭ.

Важной особенностью бланков ответов ЕГЭ является их жесткая сгруппированность по три бланка из каждого индивидуального пакета. Бланки ответов сконструированы таким образом, что в запечатанном полиэтиленовом пакете видны штрих-коды всех трех бланков. Номера штрих-кодов считываются сканерами и заносятся «тройками» в базу данных Центра тестирования. После проведения ЕГЭ все три вида бланков ответов отдельно группируются, запечатываются в специальные секретные пакеты и передаются в различные пункты обработки информации.

Бланк регистрации и бланк № 2 обрабатываются, автоматизировано почти без участия человека.

Объединение данных с трех видов бланков ответов производится только в Москве в Центре тестирования на основании хранящихся в базе данных номеров штрих-кодов трех бланков ответов из индивидуальных пакетов.

Результаты ЕГЭ, представленные в стобалльной шкале, выдаются выпускникам в специальных свидетельствах. Одновременно Минобразования России издает распоряжения о соответствии оценок ЕГЭ (в стобалльной шкале) отметкам итоговой аттестации (по пятибалльной шкале).

Порядок проведения апелляции

Существует 2 вида апелляции:

• апелляция по процедуре (замечания, связанные с текстом заданий, организационными помехами) подается в день проведения экзамена и заносится организаторами в протокол;
  
• апелляция по результатам экзамена подается в конфликтную комиссию, где представляется для ознакомления электронная (отсканированная) копия ответного места. Однако для этого требуется определенное время, т.е. получение электронной версии может занять несколько дней. Если вы считаете, что бланк некорректно обработан на компьютере, то в заявлении надо потребовать повторного сканирования и обработки вашего бланка.
  

За 2001 – 2007 гг. были сделаны следующие выводы:

• эксперимент по проведению ЕГЭ усилил внимание общественности к системе образования;
  
• подтверждена возможность объективной оценки подготовленности выпускников и абитуриентов: все ученики оказались в одинаковых условиях и за одинаковые знания получили одинаковые оценки;
  
• существенного разрыва между результатами эксперимента в городских и сельских школах не произошло. Шансы на поступление выпускников из сельских школ возросли;
  
• возросло доверие общества к идее Единого государственного экзамена. В целом отмечена позитивная реакция абитуриентов, что свидетельствует о том, что выбран правильный путь оценки знаний школьников и правил зачисления в вузы;
  
• ЕГЭ в регионах рассматривается как важный инструмент аттестации и аккредитации школ.
  

Для того, чтобы снизить влияние неизбежных утечек информации на разных уровнях, необходимо публиковать тестовые задания прошлых лет, как это практикуется в других странах.

Эксперимент по введению единого государственного экзамена в 2008 году завершится. С 2009 года ЕГЭ станет обязательной формой аттестации выпускников XI классов. С целью постепенного перехода в штатный режим на правительственном уровне принято решение расширить перечень сдаваемых в текущем – 2008 году общеобразовательных предметов до восьми. Создание единого инструментария позволит сократить имеющий место разрыв между требованиями выпускных и вступительных экзаменов и увеличить количество поступающих в ссузы и вузы по результатам ЕГЭ.

Контрольно-измерительные материалы (КИМы). Содержание и структура тестовых заданий по конкретному предмету

Контрольно-измерительные материалы (КИМ), используемые в школьном образовании, - это стандартизированные инструментарии оценки уровня и качества освоения обучающимися государственного стандарта общего образования. Они разрабатываются на основе технологий полного усвоения и дифференцированного обучения. КИМ обычно представляют в виде комплекта тестовых заданий разного типа (открытого и закрытого).

Контрольно-измерительные материалы для Единого государственного экзамена (ЕГЭ) состоят из: кодификатора, спецификации экзаменационной работы, демонстрационной версии экзаменационной работы, экзаменационной работы с инструкцией для учащихся (в определенном количестве вариантов), ключей (правильных ответов на задания типа А и В) и рекомендаций по проверке и оценке заданий типа С.

Разработка КИМ для Единого государственного экзамена осуществляется на основе следующих принципов:

• адекватности содержательной области КИМ минимуму содержания
  средней (полной) и основной общеобразовательной школы и материалу,
  предлагаемому на вступительных экзаменах в вузы;
  
• конструктивности описания содержательной области КИМ;
  
• учета требований технологичности массовых оценочных процедур;
  
• сочетания объективной и стандартизированной субъективной формы
  проверки;
  
• адекватности используемой формы задания (с выбором ответа, с
  кратким ответом, с развернутым ответом, на сопоставление, на установление
  правильной последовательности) проверяемым знаниям и умениям;
  
• необходимости экспериментальной проверки КИМ с целью определения
  валидности и надежности диагностических материалов, а также системы оценивания отдельных заданий и работы в целом;
  
• недопустимости использования заданий, которые могут дискриминировать
  испытуемых по какому-либо основанию (гендерные и этнические
  различия, политические взгляды и др.);
  
• ориентации на повышение качества образования.
  

К основным направлениям совершенствования технологии разработки КИМ относятся:

• унификация структуры и основных характеристик КИМ с учетом спецификации учебного предмета;
  
• разработка новых типов заданий;
  

• уточнение системы оценивания заданий с развернутыми ответами.
Структуру и содержание КИМ регламентируют:

• кодификатор - документ, составленный на основе обязательного
  минимума содержания общего основного и полного (среднего) образования,
  утвержденного Минобразования и науки России;
  
• спецификация - документ, в котором в краткой форме указываются
  все основные характеристики КИМ.
  

В спецификацию КИМ включаются следующие необходимые элементы:

1. назначение работы;
   
2. документы, определяющие содержание экзаменационной работы;
   
3. структура экзаменационной работы;
   
4. распределение заданий экзаменационной работы по содержанию и
   видам деятельности;
   
5. распределение заданий экзаменационной работы по уровням сложности;
   
6. время выполнения работы;
   
7. план экзаменационной работы;
   
8. система оценивания отдельных заданий и работы в целом;
   
9. дополнительные материалы и оборудование;
   

10. условия проведения и проверки экзамена (требования к специалистам);
    
11. рекомендации по подготовке к экзамену;
    
12. обобщенный план экзаменационной работы.
    

КИМ, создаваемые для ЕГЭ, это не контрольные работы, они имеют целью не только аттестовать школьников по уровню освоения школьной программы, но и разделить учащихся по степени готовности продолжать обучение в вузах с разным уровнем требований к подготовке по учебным предметам.

Структурно КИМ состоят из трех частей: часть А, часть В и часть С.

на ответы уровня воспроизведения (А), уровня применения знаний по образцу (Б), творческого применения знаний (С).

Часть А (проверяется уровень воспроизведения) проверяет подготовку выпускников по учебному предмету преимущественно на базовом уровне и предназначается в основном для атте­стации выпускников средней школы.

Достижение этого уровня принято оценивать положительной отметкой «3». Предлагаются задания с выбором ответа.


(Например, заданиями части А по литературе проверяется знакомство выпускников школ с основными элементами непосредственного содержания определенного количества произведений: тематика, освещенные в произведении проблемы, герои и события, особенности повествования (проза), лирический герой, поэтическая интонация (поэзия).

КИМы части В (проверяется уровень применения знаний по образцу) проверяют подготовку выпускников по учебному предмету преимущественно на повышенном уровне.

Например, задания части В по литературе проверяют знания теоретических сведений, знания некоторых основных фактов историко-литературного характера (авторство, название произведения, время написания, время, изображенное в произведении), а также некоторые сведения по теории литературы (элементы сюжета, изобразительно-выразительные средства языка, жанровые особенности, композиционные приемы). Отметим, что теоретические сведения изучаются в курсе литературы в связи с изучением произведения, на его основе. Поэтому в данной части заданий используются цитаты из текста.

Задания с развернутым ответом в отличие от заданий с выбором ответа они предусматривают одновременную проверку усвоения нескольких (двух и более) элементов содержания из различных содержательных блоков.

Задания со свободными развернутыми ответами позволяют проверить качество усвоения содержания учебного курса и сформированность сложных интеллектуальных умений. Эта форма тестовых заданий помещается в части С (творческое применение знаний) контрольно-измерительных материалов для ЕГЭ. Задания части С по литературе включали вопросы проблемного харак­тера (С1). Этот вид заданий представляет собой высокий уровень сложно­сти. Работа над мини-сочинениями направлена на стимулирование самостоятельной мысли учащихся, требует знаний содержания произведения и фактов из истории литературы. Отвечая на вопрос, выпускник излагает свою версию решения предлагаемой вопросом проблемы, собственную точку зрения на мотивы поведения или истоки характера героя, на отношение между персонажами, авторскую их оценку. Развертывая высказывание, автор работы обосновывает свои суждения, опираясь на текст произведе­ния (по памяти), обращается к отдельным сторонам художественной формы изображенного.

Например: Какая общая тема объединяет стихотворения А. Блока «Русь», «Коршун», «На поле Куликовом»?

1. любви;
   
2. поэта и поэзии;
   
3. революции;
   

5)родины; («А»)

Например:

«Назовите средство художественной изобразительности, позволяющее А.А. Фету создать картину летнего вечера.

Летный вечер тих и ясен;

Посмотри, как дремлют ивы...». («В»)


В чем смысл сопоставления автора и его героя в романе А.С. Пушкина «Евгений Онегин»: «Всегда я рад заметить разность между Онегиным и мной...»? («С»).

Технология деятельности учителя-предметника по подготовке выпускников к проведению ЕГЭ включает: этап концептуализации и параметризации образовательной деятельности, диагностико-прогностический этап, этап целеполагания, этап планирования, этап конструирования и реализации учебных занятий, контрольно-регулировочный этап и рефлексии.


Лекция №5


Портфолио обучающихся в современной российской школе.

Наряду с тестовыми технологиями в современной российской школе реалиями сегодняшнего дня становятся и иные средства оценивания результатов обучения. Одним из средств индивидуальной оценки знаний учащегося, наиболее актуальной в условиях перехода к профильному обучению, называют «портфолио достижений ученика». Благодаря ему можно будет судить об учебных, творческих, коммуникативных способностях школьника. В зарубежной образовательной практике портфолио активно применяется уже достаточно долгое время и представляет собой коллекцию работ и результатов учащегося, которые демонстрируют его усилия, прогресс и достижения в различных областях. Являясь способом фиксирования, накопления и оценки индивидуальных достижений школьника в определенный период его обучения, портфолио выступает важным элементом практико-ориентированного подхода к образованию. Это своеобразный отчет по процессу обучения подростка, позволяющий увидеть картину конкретных образовательных результатов, обеспечить отслеживание индивидуального прогресса ученика в широком образовательном контексте, продемонстрировать его способности практически применять приобретённые знания и умения.

Портфолио в переводе с итальянского означает "папка с документами", "папка специалиста". В зависимости от целей создания портфолио бывают разных типов.

Первый тип портфолио - это "папка достижений", направленная на повышение собственной значимости ученика и отражающая его успехи (похвальные грамоты за учебу, достижения в спорте, музыке, шахматах и т.д.; благодарственные письма родителям, табели успеваемости, значки, медали и т.п.).

Второй тип - рефлексивное портфолио, раскрывающее динамику личностного развития ученика, помогающее отследить результативность его деятельности, как в количественном, так и качественном плане. В эту папку собираются все контрольные и творческие работы ученика, которые делались в течение определенного срока (например, года) (сочинения, изложения, эссэ, рисунки, поделки, зачетные работы, видеокассеты, результаты медицинских и психологических обследований и т.д.).

Третий тип портфолио - проблемно-исследовательский, связанный с написанием реферата, научной работы, подготовкой в выступлению на конференции. Он представляет собой набор материалов по определенным рубрикам (варианты реферата, доклада или статьи, список литературы для изучения, проблемные области, план исследования, дискуссионные точки зрения, статистика, цитаты, афоризмы, интеграция с другими предметными областями, результаты исследования, прогнозы и перспективы и др.). Сбор и систематизация материала в таких портфолио помогает учащимся не только достойно написать какую-либо научную работу, но и развивает их познавательные интересы.

Четвертый тип портфолио - тематический, создаваемый в процессе изучения какой-либо большой темы, раздела, учебного курса. Работа над ним строится следующим образом: учитель сообщает вначале название изучаемой темы, а также форму контроля по ней - защиту своего портфолио, собранного по результатам работы над данной темой. Учащимся в самом начале предъявляются заданий разного уровня сложности, отражающие различные уровни мышления и познания.

По иерархии целей эти задания располагаются следующим образом:

• на воспроизведение нового материала (терминов, фактов, понятий, правил); цель считается достигнутой, если ученик правильно воспроизводит и использует термины, знает конкретные факты, понятия, правила;
  
• на узнавание изученного явления, его интерпретацию и преобразование;
  
• на применение знаний (правил, теорий) на практике, то есть в новых конкретных условиях;
  
• на анализ материала, то есть выделение отдельных элементов и установление логики их взаимосвязи; цель считается достигнутой, если ученик выделяет части целого и взаимосвязи между ними, видит упущения в логике рассуждения, проводит различия между причинами и следствиями;
  
• на синтез, предполагающий умение объединить отдельные элементы в новое целое; цель считается достигнутой, если учащиеся пишут творческие работы, используют знания из разных областей при работе над проблемой, например, при создании обзорного реферата, разрабатывают план эксперимента и т.п.;
  
• на оценку каких-либо явлений по определенным критериям; цель считается достигнутой, если ученик может выделить критерии и следовать им, видит многообразие критериев, оценивает соответствие выводов имеющимся данным, проводит различия между фактами и оценочными суждениями.
  

Данная классификация заданий строится на основе таксономии Б. Блума, известного американского психолога. Ответы на эти задания и составят содержание портфолио. Каждый вид задания в зависимости от степени сложности оценивается заранее определенным баллом, который доводится до сведения учащихся. Подобная система оценки позволяет сформировать у детей мотивацию достижения успеха, задать им некую планку мастерства.

После проверки портфолио преподавателем необходимо организовать их презентацию и публичную защиту. Ученики выступают перед классом или параллелью классов, раскрывают содержание своих портфолио, а другие учащиеся задают вопросы, обсуждают, а затем выставляют свои оценки презентируемому портфолио по собственным критериям. Параметры оценки задаются самим учеником. После публичной "защиты" портфолио ученик обсуждает с учителем (наставником, научным руководителем) качество портфолио и успешность его защиты. Результатом обсуждения может быть программа дальнейшего углубления познавательного интереса ученика или, напротив, смена темы (проблемы), а соответственно и познавательного интереса. Педагог предлагает разные варианты и траектории личностного развития, а ученик выбирает.

Построение портфолио образовательных достижений учащегося отвечает задачам предпрофильной подготовки и, в дальнейшем, - профильного обучения. В свою очередь, система профильного обучения, ориентированная на социализацию учащихся, позволяет в полной мере выявить склонности и способности детей, помочь им сделать правильный выбор в сфере дальнейшей профессиональной деятельности.

Философия учебного портфолио предполагает:

• смещение акцента с того, что учащийся не знает и не умеет, на то, что он знает и умеет по данной теме и данному предмету;
  
• интеграцию количественной и качественной оценок;
  
• перенос педагогического ударения с оценки педагога на самооценку школьника.
  

Основной смысл портфолио - «дать возможность каждому школьнику показать все, на что он способен», создать для ученика «стимул роста». При этом портфолио выполняет несколько функций:

• диагностическую (фиксирует изменения и рост знаний учащихся за определенный период времени);
  
• целеполагания (поддерживает учебные цели ученика);
  
• содержательную (раскрывает весь спектр выполняемых учеником работ);
  
• развивающую (обеспечивает непрерывность процесса обучения от года к году);
  
• мотивационную (поощряет результаты деятельности учащихся, преподавателей и родителей);
  
• рейтинговую (позволяет определить количественные и качественные индивидуальные достижения ученика).
  

Работа над концепцией портофолио для использования в условиях российской системы образования велась с июля 2003 года, когда Совет по профильному обучению Министерства образования РФ поручил рабочей группе под руководством А.А. Пинского подготовить несколько вариантов учета индивидуальных образовательных достижений учащегося. В условиях перехода всех российских школ на профильное обучение индивидуальная оценка знаний будет наиболее актуальна.

Портфолио - это целенаправленная коллекция работ учащихся, которая демонстрирует их усилия, прогресс, достижения в одной или более областях. В нем будут накапливаться данные обо всех индивидуальных достижениях ученика вне учебного класса: результаты районных, областных олимпиад, интересные самостоятельные проекты и творческие работы, а также рекомендации и отзывы. Это будет очень важно при определении готовности школьника к углубленному изучению ряда предметов. Цель портфолио - выполнять роль индивидуальной накопительной оценки и, наряду с результатами экзаменов, определять рейтинг выпускников основной школы.

Предполагается, что портфолио достижений ученика будет складываться из трех разделов: "портфолио документов", "портфолио работ", "портфолио отзывов".

В портфолио документов входят сертифицированные (документированные) индивидуальные образовательные достижения - документы об участии в олимпиадах, конкурсах и других мероприятиях (грамоты, дипломы, сертификаты, свидетельства, вкладыш в аттестат и т.д.). Это даст возможность как количественной, так и качественной оценки материалов портфолио.

Портфолио работ - это собрание творческих, исследовательских и проектных работ ученика, описание основных форм и направлений его учебной и творческой активности. Портфолио работ оформляется в виде творческой книжки с приложением самих работ (текстов, бумажных или электронных документов, видеозаписей и т.д.). Эта часть портфолио ученика даст качественную оценку по заданным параметрам (полнота, разнообразие, убедительность материалов, ориентированность на выбранный профиль обучения, динамика учебной и творческой активности, направленность интересов, характер предпрофильной подготовки).

Портфолио отзывов - это характеристики отношения школьника к различным видам деятельности, представленные учителями, родителями и др., а также письменный анализ отношения самого школьника к своей деятельности и ее результатам (тексты заключений, рецензий, отзывы, резюме, рекомендательные письма и прочее). Эта часть портфолио дает возможность включить механизмы самооценки ученика, что повышает степень осознанности процессов, связанных с обучением и выбором профильного направления.
Достоинства портфолио несомненны. Это прекрасное средство углубления и оформления познавательных интересов, развития интеллектуальных рефлексивных способностей учащихся, комплексной проверки уровня усвоения учебного материала, индивидуализации и дифференциации обучения, формирования мотивации достижения, а, следовательно, и создания ситуации успеха.