Учебно-методический комплекс дисциплины Бийск бпгу имени В. М. Шукшина

Вид материала

Учебно-методический комплекс

Содержание Эталонный ответ: Сенат Тема 6. СТАНДАРТИЗАЦИЯ ТЕСТА И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ Стандартизация теста Стандартизация – комплекс процедур, позволяющий создать для всех испытуемых равные условия. Сбор и статистическая обработка результатов тестирования Пример упорядоченной матрицы X) включает в себя истинный балл (T Оценка надежности теста Способы повышения надежности теста Тема 7. ОРГАНИЗАЦИОННЫЕ ОСНОВЫ ЕГЭ Структуры, участвующие в организации и проведении ЕГЭ. Технология разработки КИМ. Технология проведения ЕГЭ. Требования к экзаменаторам и их помощникам. Инструкция для экзаменатора. Инструкции для учащихся. 7.2.2. Технология (обслуживающий труд) 7.2.3. Технология (технический труд) 7.3. Список тем рефератов

Подобный материал:

• Учебно-методический комплекс дисциплины Бийск бпгу имени В. М. Шукшина, 2836.1kb.
• Учебно-методический комплекс дисциплины Бийск бпгу имени В. М. Шукшина, 2979.19kb.
• Учебно-методический комплекс дисциплины Бийск бпгу имени В. М. Шукшина, 2143.51kb.
• Учебно-методический комплекс дисциплины Бийск бпгу имени В. М. Шукшина, 785.31kb.
• Учебно-методический комплекс дисциплины Бийск бпгу имени В. М. Шукшина, 793.69kb.
• Учебно-методический комплекс дисциплины Бийск бпгу имени В. М. Шукшина, 901.29kb.
• Учебно-методический комплекс дисциплины Бийск бпгу имени В. М. Шукшина, 2591.69kb.
• Учебно-методический комплекс дисциплины Бийск бпгу имени В. М. Шукшина, 814.76kb.
• Учебно-методический комплекс дисциплины Бийск бпгу имени В. М. Шукшина, 2075.7kb.
• Учебно-методический комплекс дисциплины Бийск бпгу имени В. М. Шукшина, 1147.22kb.

Эталонный ответ: Сенат

Задания на дополнение имеют ограниченную сферу применения. С помощью таких заданий проверяются умения воспроизводить и применять знания в знакомой ситуации, возможна проверка понимания изученного материала. Подобные задания хороши тем, что они сводят к минимуму возможность догадки. Действительно, намного сложнее дать свой ответ, чем выбрать правильный из уже предложенных.

Сложность составления таких заданий связана с тем, что основной текст задания должен порождать только один, планируемый ответ. Возникновение неоднозначных ответов усложняет проверку результатов выполнения заданий теста в компьютерном режиме. Испытуемый может в качестве ответа использовать синонимическое понятие на месте дополнения или переставить элементы дополнения – это надо учитывать при оценке результатов.

Требования к заданиям на дополнение

1. Каждое задание должно быть нацелено на одно дополнение, место дополнения обозначается прочерком.

2. Дополнения лучше ставить в конце задания.
   
3. Все прочерки для дополнения в одном тексте должны быть одной длины.
   
4. После прочерка, если это необходимо, указываются единицы измерения.
   
5. В тексте задания исключаются повторы и двойное отрицание.
   

Задания со свободными развернутыми ответами

Такая форма задания предполагает представление ответа в развернутом виде, т.е. полного решения задачи с пояснениями или в виде небольшого сочинения. Испытуемый излагает ответ в свободной форме.

Задания со свободным развернутым ответом похожи на традиционные письменные контрольные задания. Они позволяют проверить и оценить различные уровни познавательной деятельности испытуемых. Здесь проверяется не только знание фактического материала, но и умение выражать свои мысли, логичность, оригинальность выражения (гуманитарная сфера), проверяются способы решения учебных задач, процесс выполнения.

Проблема использования такой формы задания связана с объективностью оценивания, так как проверка этих заданий проходит не в компьютерном режиме, а с помощью экспертов (минимум 2). Чтобы снизить субъективный момент в процессе проверки заданий со свободно развернутыми ответами, разрабатываются четкие инструкции как для испытуемых, так и для проверяющих. Для испытуемого при формулировке задачи в инструкции должна оговариваться полнота ответа для получения максимального балла, т.е. должно быть четко указано, сколько аргументов, фактов или примеров он должен привести, нужно ли представить схему, график или чертеж, решение задачи, уравнения и т.д. краткое, полное, с пояснением и т.д. Дается также рекомендация по поводу длины ответа (количество предложений, знаков и др.). Для проверяющих дается эталонный ответ и составляется четкая инструкция, какое количество баллов дается за конкретные знания и умения.

Тема 6. СТАНДАРТИЗАЦИЯ ТЕСТА И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ

С 2001 года в нашей стране идет эксперимент по введению единого государственного экзамена (ЕГЭ) для выпускников школ и поступающих в высшие учебные заведения. Почему возникла необходимость использования ЕГЭ как итоговой аттестации учащихся? В результате реформ конца 80-90-х годов российское образование перестало носить унифицированный характер и перешло к использованию вариативных программ, учебников и пособий, что, с одной стороны, увеличило возможности системы образования: реализация идей развивающего обучения, профессиональной ориентации, возможности индивидуального подхода, но, с другой стороны, усложнило контроль за качеством получаемого образования. В условиях резко возросшего разнообразия средств, методов и содержания обучения школьников со всей остротой встала задача обеспечения единого уровня и содержания базового ядра общего и среднего образования для всех выпускников школ. ЕГЭ может стать эффективным надежным и объективным средством контроля за качеством знаний и умений учащихся, в случае успешного завершения эксперимента. Таким образом, в данный момент ЕГЭ рассматривается как одно из средств модернизации современного образования в России.

Идея педагогической оценки эффективности и качества образования возникла давно, но в нашей стране не всеми педагогами оценивается положительно. Многие преподаватели, особенно гуманитарных дисциплин, оценку знаний считают невозможным. Но потребность в точных оценках уровня подготовленности учащихся возникает все больше. Поэтому внедрение педагогических тестов в практику контроля знаний рассматривается как перспективное направление.

В основе перехода к идее тестовой оценки лежит условное, но необходимое предположение о непрерывном характере распределения баллов, полученных в результате тестирования репрезентативной выборки испытуемых.

Педагогическая оценка – это процесс установления соответствия между характеристиками обучаемых и точками эмпирической шкалы, в которой отношения между различными оценками характеристик выражены свойствами числового ряда.

При педагогической оценке в качестве характеристик обучаемых обычно выступают знания и умения, освоенные учениками на момент выполнения теста. Роль единицы оценки играют тестовые задания, объектом оценки являются сами ученики, а результатом – шкала баллов тестируемых учеников. Количество правильно выполненных заданий даёт основание для присвоения испытуемому определенного места на шкале.

Стандартизация теста

Эффективность теста как инструмента зависит не только от качества самого теста, но от того, выполняется ли одно из принципиальных требований в тестологии – требования стандартизации.

Стандартизация – комплекс процедур, позволяющий создать для всех испытуемых равные условия.

Стандартизация включает ряд требований по организации тестирования:

• ни одному испытуемому не дается никаких преимуществ перед другими;
  
• группа тестируемых выровнена по мотивации;
  
• тестирование различных групп испытуемых занимает одинаковое время и проводится в равных условиях;
  
• содержание теста должно соответствовать требованиям стандартов образования;
  
• все испытуемые выполняют одни и те же задания (подобные, параллельные формы заданий);
  
• в тест включены задания одной формы либо разных форм с соответствующими весовыми коэффициентами, значения которых получены статистическим путем;
  
• заранее разработанная система подсчета баллов применяется ко всем ответам испытуемых без исключения.
  

Чтобы соблюдались условия стандартизации, тест сопровождается руководством, в котором заключена следующая информация для пользователя:

1. назначение и содержание;
   
2. показания для применения и ограничения;
   
3. состав теста;
   
4. информация об апробации теста (цели апробации, объем и состав выборки, основные статистические характеристики);
   
5. инструкция по процедуре проведения тестирования;
   
6. ключи;
   
7. данные о трудности и дискриминативности заданий;
   
8. данные о надежности и валидности теста;
   
9. другие статистические материалы;
   
10. правила (инструкция) для обработки данных;
    
11. устройство шкалы;
    
12. правила и особенности интерпретации результатов.
    

Проверка тестовых работ также регламентирована. Проверяющим даются эталоны правильных ответов и стандартизированные критерии оценок.

Важным моментом в стандартизации теста является определение нормы, так как адекватность результатов выполнения теста достигается путем сопоставления первичного индивидуального балла с определенными нормами выполнения теста.

Нормы – это множество показателей, которые устанавливаются эмпирически, сообразно тому, как выполняет задания теста некоторая четко определенная выборка испытуемых. Наиболее распространенными нормами являются среднее арифметическое и стандартное отклонение по множеству индивидуальных баллов выборки стандартизации. Соотнесение первичного результата испытуемого с нормами выполнения позволяет установить место испытуемого в выборке, использованной для стандартизации теста. Нормы должны отвечать ряду требований. Норма должна быть:

• дифференцированной – ученики, работающие по разным программам, должны сравниваться исходя их разных норм. Например, нельзя установить одинаковые нормы выполнения теста по математике для учеников обычной школы и школы с углубленным изучением математики, так как норма должна отражать специфику программы подготовки учеников;
  
• соответственной, т.е. отражающей реальный контингент и реальные требования, вытекающие из современной ситуации в образовании;
  
• репрезентативной – полученной по результатам тестирования репрезентативной выборки, обеспечивающей несмещенные нормативные оценки.
  

Сбор и статистическая обработка результатов тестирования

Статистическая обработка полученных данных тестирования (результатов испытуемых) позволяет определить количественные характеристики тестовых заданий и всего теста, что позволяет использовать тест как научно обоснованный, объективный инструмент педагогических измерений. Статистическая обработка результатов тестирования проводится с помощью программного обеспечения.

Для удобства обработки тестовых данных результаты заносятся в специальную таблицу – матрицу тестовых результатов. При дихотомической системе оценивания: один балл за правильный ответ, ноль баллов – за неправильный ответ или пропуск задания.

Пусть x – результат выполнения i-тым испытуемым j-того задания, тогда x=1, если ответ на задание правильный и x= 0, если ответ неправильный.

№ испыту-емого i	№ задания j										Индиви-дуальный балл Xi
	1	2	3	4	5	6	7	8	9	10
1	1	1	1	1	1	1	0	0	0	0	6
2	1	1	0	0	0	0	0	0	0	0	2
3	0	0	0	0	0	0	0	1	0	0	1
4	1	1	0	1	1	1	1	1	1	1	9
5	1	0	1	0	1	1	0	0	0	0	4
6	1	1	1	0	0	0	0	1	0	0	4
7	1	1	1	1	0	1	0	0	0	0	5
8	1	1	1	1	0	0	0	0	0	0	4
9	1	1	1	1	1	1	1	1	1	0	9
10	1	1	1	1	1	0	1	0	0	0	6
Число правильных ответов Yj	9	8	7	6	5	5	3	4	2	1	50

В таблице в каждой строке даны результаты конкретного испытуемого, которые называются профилем ответов. В столбце занесены результаты испытуемых на каждое конкретное задание (профиль задания). В последнем столбце представлены индивидуальные баллы каждого испытуемого (индивидуальный балл – это сумма единиц, которые получены за правильный ответ). В последней строке дано количество правильных ответов по каждому заданию теста.

Для большей наглядности и удобства дальнейшего использования необходимо упорядочить матрицу тестовых результатов. Для этого строки таблицы располагают таким образом, чтобы индивидуальные баллы располагались в порядке возрастания. Затем столбцы матрицы располагают в порядке убывания.

Пример упорядоченной матрицы

№ испыту-емого i	№ задания j										Индиви-дуальный балл Xi
	1	2	3	4	5	6	7	8	9	10
3	0	0	0	0	0	0	1	0	0	0	1
2	1	1	0	0	0	0	0	0	0	0	2
5	1	0	1	0	1	1	0	0	0	0	4
6	1	1	1	0	0	0	1	0	0	0	4
8	1	1	1	1	0	0	0	0	0	0	4
7	1	1	1	1	0	1	0	0	0	0	5
1	1	1	1	1	1	1	0	0	0	0	6
10	1	1	1	1	1	0	0	1	0	0	6
9	1	1	1	1	1	1	1	1	1	0	9
4	1	1	0	1	1	1	1	1	1	1	9
Число прав. ответов Yj	9	8	7	6	5	5	4	3	2	1	50

Основными показателями качества теста являются надежность и валидность теста. А так как тест является инструментом педагогического измерения, то эти показатели имеют численное значение и определяются с помощью различных методов как в классической теории тестов, так и в современной теории тестов.

Надежность

Надежность – это характеристика теста, отражающая точность педагогического измерения, а также устойчивость результатов тестирования к воздействию посторонних (случайных) факторов.

Тест является надежным, если при повторном тестировании (при условии, что подготовка испытуемого не изменилась) он дает примерно такие же результаты.

Педагогическое измерение не исключает некоторой ошибки измерения. При проведении тестирования могут возникнуть как случайные, так и систематические ошибки. Систематические ошибки могут возникнуть в результате использования некачественного теста (некорректная формулировка заданий, содержание тестового задания не соответствует проверяемому материалу, плохо разработанная инструкция), т.е. это те ошибки, которые чаще всего привносятся самими разработчиками. При повторном тестировании систематическая ошибка, как правило, остается постоянной или закономерно меняется от измерения к измерению. Случайные ошибки возникают по непредвиденным обстоятельствам и зависят не от качества теста, а от поведения и состояния испытуемого (самочувствие, усталость, волнение учащегося, опоздание).

Статистическая оценка надежности теста предполагает учет ошибки измерения.

По классической теории тестов наблюдаемый балл ( X) включает в себя истинный балл (T) испытуемого и некоторую ошибку измерения (E). Формула наблюдаемого балла будет выглядеть следующим образом:

X = T + E

Истинный балл определяется как показатель испытуемого в гипотетической генеральной совокупности заданий бесконечного теста.

Ошибка измерения – статистическая величина, отражающая степень отклонения наблюдаемого балла от истинного балла испытуемого. Дисперсия (мера рассеивания, отклонения от среднего) наблюдаемых тестовых баллов будет равна сумме дисперсий истинных и ошибочных составляющих

.

Соответственно, чем ближе показатель дисперсии наблюдаемых баллов к дисперсии баллов истинных, тем выше корреляция между множеством наблюдаемых баллов (Х) и множеством истинных баллов (Т), т.е. тест надежнее. Поэтому надежность теста (коэффициент надежности теста - r_н) определяется через отношение дисперсии истинного балла к дисперсии наблюдаемого тестового балла.

.

Стандартная ошибка измерения находится как корень квадратный из дисперсии ошибочной компоненты .

Оценка надежности теста

Для оценки надежности нормативно-ориентированного теста используются две группы методов.

1) Двукратное тестирование:

1. Ретестовый метод;
   
2. Метод параллельных форм.
   

2) Однократное тестирование (метод расщепления теста).

Оценка надежности чаще всего строится на подсчете корреляции между двумя наборами результатов выполнения одного и того же теста или двух его параллельных форм. Чем выше корреляция, тем надежнее тест.

Какой коэффициент надежности можно считать приемлемым? Нижним пределом принято считать показатель 0,7. Если значение коэффициента надежности ниже, то надежность теста считается неудовлетворительной, так как возникает большая погрешность измерений. Для профессионально созданных тестов, которые используются в массовом тестировании и по их результатам принимаются ответственные решения, нижний предел коэффициента надежности повышается до 0,8. В тестологической практике надежность тестов находится в интервале от 0,8 до 0,95.

Величина надежности	Оценка надежности
0,90 - 0,99	Отличная
0,80 - 0,89	Хорошая
0,70 - 0,79	Удовлетворительная
Менее 0,70	Неудовлетворительная

Оценка надежности критериально-ориентированного теста

Рассмотренные выше методы определения надежности подходят только для оценки нормативно-ориентированных тестов. По мнению многих тестологов, эти методы нежелательно использовать для вычисления надежности критериально-ориентированного теста, так как дисперсия тестовых баллов в критериально-ориентированном тесте небольшая (здесь не нужна большая дифференциация баллов испытуемых), а соответственно и корреляционная оценка надежности будет низкой.

Поэтому предлагается другая методика оценки надежности. Надежность теста, ориентированного на область содержания, может быть измерена как постоянство результатов тестирования для испытуемых, которым предлагается два набора тестовых заданий, которые соответствуют одному и тому же содержанию.

Способы повышения надежности теста

1. Увеличение количества заданий теста. Согласно классической теории тестов наблюдаемый балл состоит из истинного балла и ошибочной компоненты. Теоретически, чтобы уменьшить ошибку, надо дать как можно больше заданий. Существуют специальные методики определения оптимальной длины теста для достижения необходимой надежности. Но на практике не всегда возможно и целесообразно удлинение теста.
   
2. Проанализировать тестовые задания с точки зрения соответствия формы и содержания тестовой теории. Удалить неудачные задания, подкорректировать задания с некоторыми неточностями.
   
3. Применение методов, учитывающих вероятность угадывания в заданиях закрытого типа.
   

Валидность

Валидность еще одна важная характеристика теста, определяющая его качество. Валидность (от англ. Validity – значимость, обоснованность, пригодность) – «это характеристика способности теста служить поставленной цели измерения» [6], т.е. способность теста измерять то, для чего он предназначен.

Выделяют несколько видов валидности, которые отражают различные аспекты этого критерия качества теста (Анастази А.; Майоров А.Н.): содержательную, критериальную и конструктную (концептуальную) валидность.

1) Содержательная валидность (content validity).

Когда идет речь об этом виде валидности, то имеется в виду соответствие теста как измерительного инструмента той области содержания, знания и умения которую проверяют данным тестом. В зависимости от выбранного подхода при создании теста будут предъявляться различные требования к содержательной валидности. Так, для критериально-ориентированных тестов одним из требований содержательной валидности станет полнота отображения, а в некоторых случаях детализация проверяемой области содержания. При нормативно-ориентированном подходе тест можно охарактеризовать как валидный по содержанию, если он будет хорошо дифференцировать испытуемых и отражать самое важное, свидетельствующее о знании дисциплины.

Валидность по содержанию закладывается в тест уже на этапе работы со спецификацией теста и отбора его содержания. Для педагогических тестов содержательная валидность очень важна и оценивается она экспертным путем. Независимые эксперты определяют, насколько тест охватывает область содержания проверяемого предмета.

2. Критериальная валидность.
   

Критериальная валидность – это характеристика теста, отражающая обоснованность, значимость его результатов по сравнению с некоторой внешней переменной (степень соответствия между результатами тестирования и внешним критерием).

Практически критериальную валидность определяют как корреляцию результатов тестирования и некоторым внешним критерием. В качестве внешнего критерия могут браться результаты испытуемых по другому тесту, отметки, выставленные по методике традиционного оценивания. Критериальная валидность в зависимости от выбранного критерия может быть текущей (внешний критерий – текущие оценки) или прогностической (критерий – некоторый будущий результат).

3. Конструктная (концептуальная) валидность.
   

Об этом виде валидности говорится в том случае, если представление об измеряемом феномене существует только в проекте и требует доказательства. Разработчик теста только предполагает о том, как будет проявляться объект измерения. Чаще всего это относится к психологическим тестам.

Для педагогических тестов понятие конструктной валидности применимо в процессе разработки теста, когда его качественные и количественные характеристики еще не имеют определенных характеристик.

Задачи единого экзамена

• расширение доступности высшего образования благодаря введению однотипных экзаменов для всех выпускников общеобразовательных школ и их параллельного участия в заочном конкурсном отборе сразу в несколько вузов;
  
• совершенствование системы и практики финансирования высших учебных заведений на основе рыночной состязательности между ними за прием лучших студентов;
  
• снижение психологической нагрузки на выпускников общеобразовательных учреждений за счет упразднения приемных экзаменов в вузы;
  
• объективизация и унификация требований к общеобразовательной подготовке поступающих в вузы;
  
• стимулирование деятельности педагогических коллективов общеобразовательных учреждений по улучшению качества учебного процесса за счет объективной и независимой сравнительной оценки результатов общеобразовательной подготовки выпускников школ.
  

Преимущества ЕГЭ перед другими формами контроля

1. Объективность.
   

Использование ЕГЭ в качестве выпускного экзамена в средней школе и его результатов для поступления в высшие учебные заведения имеет ряд преимуществ перед традиционными устными и письменными экзаменами. Прежде всего это объективность оценивания. В системе ЕГЭ отсутствует преподаватель, который проверяет знания выпускника, т.е. исключается субъективный момент (неприязнь к учащемуся, заинтересованность в хороших показателях, плохое настроение, самочувствие преподавателя и др.) при выставлении оценки. Благодаря стандартизации – единой форме предъявления контрольно-измерительных материалов (КИМов) и единого метода обработки полученных результатов – достигается высокий уровень объективности оценивания учебных достижений выпускников.

2. Надежность.
   

Разработка тестов и анализ результатов тестирования в соответствии с принципами классической или современной теориями тестов позволяют обеспечить точность и надежность оценивания уровня учебных достижений. Чтобы это преимущество ЕГЭ могло быть реализовано, КИМы должны включать тестовые задания, которые прошли экспертную оценку и были апробированы на репрезентативной выборке испытуемых.

3. Достоверность.

Тестовые технологии могут обеспечить достоверные результаты, свободные от фальсификации и искажения. Нельзя не согласиться, что «без обеспечения высокой достоверности единого экзамена, без гарантий его информационной безопасности невозможно завоевать доверие к результатам ЕГЭ, что, безусловно, резко снизит эффективность этого нововведения».

Выделяют ряд возможностей, которые могут способствовать снижению достоверности. Это рассекречивание, подставка, подсказка, подтасовка.

Чтобы не произошло рассекречивания КИМов, существует система информационной безопасности, которая защищает тестовые материалы от преждевременного доступа.

Один из возможных способов защиты – это создание большого банка калиброванных тестовых заданий и обеспечение свободного доступа к этому банку (например, через Интернет или печатные издания). Знакомство учащихся с множеством заданий банка позволит им лучше подготовиться к сдаче теста. Для самого экзамена формируются многочисленные варианты теста в компьютерном режиме из существующего банка заданий (калиброванных) индивидуально для каждого испытуемого.


Тема 7. ОРГАНИЗАЦИОННЫЕ ОСНОВЫ ЕГЭ

Условия, в которых должно проводиться тестирование. Предварительная подготовка к тестированию касается не только используемых материалов, но и окружающей обстановки. Необходимо заранее выбрать помещение для тестирования. Оно должно быть достаточно тихим, иметь хорошее освещение, вентиляцию и удобные рабочие места. При тестировании больших групп учащихся помещение должно обеспечивать экзаменаторам свободный доступ к посадочным местам учащихся, предусматривать возможность одноместной посадки испытуемых и исключать ситуации, удобные для списывания, когда у впереди или сбоку сидящего учащегося оказывается тот же самый вариант теста.

Если тестирование проводится в специализированных аудиториях (классы математики, физики и т.п.), то необходимо убрать (закрыть) стенды, плакаты и прочие материалы со справочной информацией по соответствующим дисциплинам. На двери обычно вывешиваются списки учащихся, находящихся в помещении для тестирования, и предупреждающие знаки, запрещающие входить в помещения при любых обстоятельствах, кроме чрезвычайных случаев. У дверей помещений для прекращения доступа в помещение опоздавшим учащимся после начала выполнения тестов необходимо поставить помощников.

Структуры, участвующие в организации и проведении ЕГЭ. К числу структур, осуществляющих организационно-управленческую и научно-методическую поддержку при реализации технологии ЕГЭ, относятся федеральные и региональные органы управления образованием, Федеральный центр тестирования (ФЦТ), Федеральный институт педагогических измерений (ФИПИ), компания «КРОК», региональные центры обработки информации и различные организации (вузы и другие образовательные структуры), выполняющие на конкурсной основе исследовательские проекты для формирования научно-методических основ технологии про­ведения ЕГЭ и совершенствования КИМ.

Технология разработки КИМ. Технологический ежегодный цикл разработки КИМ по предмету начинается с пересмотра кодифи­катора элементов содержания, подлежащих проверке, а также с создания спецификации и демонстрационного варианта КИМ. Обычно по 13 предметам, заявленным в ЕГЭ, ежегодно разрабатывается не менее 10 тысяч новых заданий. Помимо целевого заказа на задания для пополнения банка ЕГЭ объявляется конкурс, в котором принимают участие все желающие авторы тестовых заданий из различных регионов России. Материалы, представленные на конкурс, проходят экспертизу, по результатам которой осуществляется отбор и покупка тестовых заданий для банка ЕГЭ.

Специалисты ФИПИ, используя банк, формируют варианты КИМ. Затем проводится экспертиза качества содержания вариантов, анализ их параллельности и соответствие заданий требовани­ям тестовой формы. После коррекции, основанной на результатах экспертизы, КИМ передаются на апробацию, проводимую на репрезентативных выборках учащихся школ России. Обработка данных апробации и их анализ позволяют выполнить очередную коррекцию, после завершения которой получаются эквивалент­ные варианты КИМ с комплектами сопроводительной докумен­тации для проведения ЕГЭ, созданные в условиях высокого уровня информационной безопасности и хранящиеся в специальных помещениях до начала ЕГЭ.

После проведения экзамена и обработки данных специалисты ФИПИ готовят аналитический отчет, содержащий рекомендации по совершенствованию КИМ, которые учитываются при выпол­нении очередного ежегодного технологического цикла.

Технология проведения ЕГЭ. При проведении ЕГЭ основной технологией является бланочная, предполагающая выдачу заданий выпускникам на бумаге. Реализация бланочной технологии зависит от организации, занимающейся ее осуществлением. Так, ФЦТ все материалы печатает в Москве, а затем перед началом экзамена передает пакеты с КИМ и бланками ответов в регионы. КРОК поддерживает технологию, при которой бланки ответов распечатываются по месту применения в регионах.

При использовании компьютерного тестирования в ЕГЭ технология носит смешанный характер, поскольку задания части С с развернутыми ответами выполняются на бумажных бланках. Единая технология проведения ЕГЭ пока еще не сложилась. Каждый из вариантов проведения эксперимента имеет свои достоинства и недостатки, выявить которые в полной мере можно лишь по его окончанию.

Требования к экзаменаторам и их помощникам. На тестировании даже в небольшой аудитории на 15-20 человек должно при­сутствовать два преподавателя. Необходимо, чтобы один из них преподавал проверяемый учебный предмет на тот случай, если в содержании тестов встретится ошибка. По сложившейся в ЕГЭ терминологии их называют организаторами по проведению тестиро­вания, или экзаменаторами. Если в помещении для тестирования находятся примерно 50 учащихся, то экзаменаторов должно быть не менее четырех человек для поддержания дисциплины и мини­мизации потерь времени у испытуемых при возникновении вопросов.

Важно, чтобы тестирование проводил экзаменатор, который никогда не общался с учащимися. Экзаменатору нужно предварительно ознакомиться с текстом инструкций и усвоить специфические приемы для установления контактов с испытуемыми. Если тестируются дети младших классов, желательно расположить их к себе дружеской манерой общения, поскольку для них характерна боязнь незнакомых людей. При тестировании школьников постарше лучше выбрать нейтральную форму общения. Например, в условиях ЕГЭ желательно напомнить о правилах поведения и о том, что подсказки товарищам снижают собственные шансы на поступление в престижный вуз, обратиться к свойственному выпускникам школ духу соревновательности, а в дальнейшем лишь поддерживать дисциплину и никак не вмешиваться в работу. В целом экзаменатору необходимо помнить о том, что малейшее отступление от требований стандартизации в поведении на тестирова­нии повлечет за собой снижение объективности результатов вы­полнения теста.

Экзаменатора, проводящего тестирование, следует отличать от педагога, использующего результаты учащихся по тесту. Экзаменатор должен владеть правилами поведения на тестировании, психологическими приемами установления контакта с испытуемыми, хотя он сам может ничего не знать о тестировании. Хорошо подготовленный педагог-пользователь выбирает тесты, которые подходят для поставленных целей контроля. Он знаком с научной литературой по тестовой проблематике, способен оценить такие характеристики, как надежность и валидность теста. Педагог делает выводы и дает рекомендации только связав тестовые результаты с другой имеющей отношение к цели тестирования информацией об испытуемом, что позволяет избежать ошибочных заключений.

При обеспечении равных условий тестирования большую роль играют те части руководства, которые содержат инструкции, регламентирующие поведение тех, кто проводит тестирование, самих испытуемых и тех, кто проверяет тестовые работы.

Инструкция для экзаменатора. Разработка корректных инструкций для педагога, руководящего процессом применения теста, и для учеников, выполняющих тест, имеет большое значение для повышения надежности измерений. Она включает: условия проведение теста (где, в каком помещении, требования к помещению др.), время выполнения теста, материалы для проведения теста (бланки, ручки или карандаши, черновики и др.), поведение ведущего во время тестирования (что он обязан, что он может и что ему запрещено делать), необходимая квалификация лиц, которые проводят тестирование и др.

В инструкции для экзаменатора содержатся рекомендации по подготовке группы учащихся к выполнению теста, примерные обязанности педагога на этапе проведения тестирования, реко­мендации по подготовке краткого отчета о выполненной проце­дуре предъявления теста, перечень вопросов, на которые учащимся можно давать ответы.

Инструкции для учащихся. Для подготовки группы учащихся к тестированию обычно разрабатывают две инструкции, одна из которых – развернутая, зачитываемая педагогом на репетиционном тестировании или раздаваемая заблаговременно, задолго до начала экзамена, а другая – краткая, выдаваемая вместе с тестом или непосредственно перед началом тестирования и лежащая на столе у каждого ученика.

В инструктировании перед тестированием, которое можно проводить за 2-3 дня или накануне экзамена, педагогу необходимо:

1) объяснить учащимся, зачем нужен тест, сообщить, как будут использованы его результаты;

2. объяснить, почему испытуемые должны приложить максимум усилий для выполнения теста, акцентировать внимание испытуемых на возможности проверки своих сил и подчеркнуть соревновательный мотив;
   
3. медленно, четким голосом прочесть инструкцию к тесту с примерами, если последние имеются;
   
4. дать возможность испытуемым потренироваться, решить самостоятельно одну или более задач-образцов. Проверить, правильно ли понята инструкция, проанализировав прямо на консультации результаты выполнения примеров заданий;
   
5. сообщить о временном ресурсе выполнения теста на экзамене, о правилах исправления допущенных ошибок, рассказать о том, к кому обращаться в случае возникновения вопросов, объяснить, на какие вопросы не следует ждать ответов.
   

В целом инструкции для предварительной подготовки к тестированию бывают довольно длинными и подробными, особенно в тех случаях, когда они предназначены для самостоятельной работы с тестом дома. Например, в инструкции к тесту для самоконтроля можно рассказать о целях работы над тестом, детально описать его содержание, дать краткий обзор процесса развития теста, объяснить стратегию выполнения заданий и правило подсчета баллов, привести таблицу для самооценки и сравнения результата учащегося с результатами других учеников.

Краткая инструкция для испытуемого, выдаваемая перед началом экзамена вместе с тестом, должна содержать в основном правила по заполнению регистрационного бланка и бланка для ответов. Она может иметь различный вид, который зависит от цели тестирования и формы заданий, содержащихся в тесте. Например, в ЕГЭ такая инструкция по выполнению КИМ, включающих три части - А, В, С - с заданиями различной формы, объясняет правила заполнения бланков ответов

Инструкции для ведущего и испытуемого входят в состав всех стандартизированных тестов и определяют его объективный характер. Инструкция для испытуемого может содержать правила поведения учащегося и санкции за нарушение этих правил.

Структура КИМов ЕГЭ

КИМы – это стандартизированная экзаменационная работа, создаваемая в соответствии с требованиями теории педагогических измерений, позволяющая с достаточной объективностью и надежностью провести независимую государственную аттестацию выпускников общеобразовательных учреждений и отбор абитуриентов вузов.

При составлении КИМов определялось эффективное соотношение использования различных форм заданий в тесте для итоговой аттестации выпускников. При этом учитывался многолетний опыт зарубежных коллег. В США сформировалась традиция применения тестов, состоящих из заданий закрытого типа, т.е. заданий с выбором правильного ответа (так устроен, например, самый популярный тест академических способностей SAT). Но задания этого типа не могут оценивать способности учащегося рассуждать и анализировать, делать самостоятельные выводы, создавать письменный текст, высказывать собственное мнение и т.д. Включение в КИМы заданий только закрытого типа было бы недостаточным, так как снижало бы возможности контроля знаний выпускников. Для тестологической практики Великобритании характерно использование как закрытых, так и открытых заданий. Так, в тестах на получение общего сертификата о среднем образовании (general certificate of secondary education – GCSE), которые разрабатываются Кембриджским экзаменационным синдикатом, доля открытых заданий выше, чем доля заданий с выбором правильного ответа.

Чтобы обеспечить эффективный контроль знаний и умений выпускников отечественной школы, было решено включить в КИМы различные формы заданий: задания с выбором правильного ответа, задания на дополнение и задания со свободным развернутым ответом (ответ в виде эссе, рецензии, анализа текста).

КИМы по различным предметам включают три части – А, В, С. Каждая часть состоит из заданий, сгруппированных по форме. Общее количество заданий колеблется от 25 до 70.

Часть А предлагает задания с выбором ответа (задания закрытого типа). Эти задания достаточно легкие и направлены на проверку знаний фактического материала: правил, формул, определений и др. Доля таких заданий в зависимости от предмета колеблется. Они могут преобладать в количественном отношении над другими видами заданий, но весовой коэффициент таких заданий меньше, т.е. в суммарном взвешенном балле за решение одного задания типа А дается меньше очков, чем за решение заданий другого типа.

Часть В состоит из заданий открытого типа – из заданий на дополнение в виде числа или одного слова. В этих заданиях испытуемый сам конструирует правильный ответ, в отличие от заданий закрытого типа, где ответ уже дан и надо только определить правильный. Как правило эти задания сложнее, чем задания части А, поэтому их весовой коэффициент выше.

Задания частей А и В сконструированы таким образом, чтобы проверка проходила в компьютерном режиме.

В части С дается задание, которое предполагает свободный развернутый ответ. Это может быть полное решение математической задачи или написание текста. Задания части С проверяют умения выпускников размышлять, рассуждать на заданную тему, формулировать и грамотно выражать свои мысли письменно. Это часть теста проверяется независимыми экспертами. Это требует дополнительных материальных расходов и, в какой-то степени, дает возможность повлиять на выставление баллов по части С, но, тем не менее, включение этой части в КИМ увеличивает возможность проверки широкого спектра знаний и умений выпускников.


7.2. Список тем (разделов) для составления теста

7.2.1. Графика

1. Основные правила оформления чертежей (форматы, масштабы, типы линий, шрифты).
   
2. Основные правила нанесения размеров и шероховатости на чертежах.
   
3. Основные, местные, дополнительные виды. Аксонометрические проекции.
   
4. Разрезы и сечения.
   
5. Резьба (типы резьб, условное изображение и обозначение резьб на чертежах).
   
6. Разъёмные соединения (болтовое, винтовое, шпилечное, трубное, шпоночное, штифтовое и т.д.).
   
7. Неразъёмные соединения (сварное, паяное, клеевое, заклёпочное и т.д.).
   
8. Зубчатые передачи (цилиндрическая, червячная, коническая), ремённые, цепные и т.д.
   
9. Сборочные чертежи (нанесение размеров, позиций, упрощения). Спецификация.
   
10. Строительные чертежи (части зданий и их изображение). Особенности оформления строительных чертежей.
    

7.2.2. Технология (обслуживающий труд)

11. Элементы материаловедения (классификация текстильных волокон). Технология обработки тканей (ручные работы, машинные швы).
    
12. Конструирование и моделирование одежды (5 класс). Творческие проекты (этапы, последовательность).
    
13. Лоскутная техника.
    
14. Рукоделие (вышивка).
    
15. Уход за одеждой и обувью (ремонт и чистка).
    
16. Кулинария, 5 класс (утварь, обработка овощей, приготовление блюд, заготовка продуктов).
    
17. Интерьер кухни, столовой (оборудование, благоустройство, санитарные требования).
    
18. Гигиена девушки, косметика.
    
19. Швейная машина (устройство, машинные швы0.
    
20. Проектирование и изготовление одежды
    
21. Кулинария, 6 класс (блюда из молока, рыбы и морепродуктов, круп, бобовых и макаронных изделий).
    
22. Интерьер жилого дома.
    
23. Технология обработки пищевых продуктов (блюда из мяса, кисломолочных продуктов, ягод и фруктов, мучных изделий).
    
24. Конструирование и моделирование плечевых изделий (7 класс).
    
25. Вязание крючком и на спицах.
    
26. Интерьер дома (комнатные растения).
    

7.2.3. Технология (технический труд)

27. Технология обработки древесины, 5 класс (оборудование рабочего места, пиломатериалы и древесные материалы, этапы создания изделий из древесины).
    
28. Соединения столярных изделий (гвозди, шурупы, клей). Выжигание, выпиливание, лакирование.
    
29. Технология обработки металлов, 5 класс (тонколистовой металл и проволока). Этапы создания изделий из металла (резание, гибка, пробивание и сверление отверстий).
    
30. Культура дома (простейший ремонт жилого помещения, сантехнического оборудования, электротехнической арматуры).
    
31. Творческие проекты (этапы выполнения, реклама). Элементы конструирования.
    
32. Технология обработки древесины, 6 класс (пороки древесины, соединение брусков, токарный станок). Технология точения.
    
33. Художественная обработка изделий из древесины.
    
34. Технология обработки металлов, 6 класс (чёрные и цветные металлы, сортовой прокат, резание, рубка металла).
    
35. Культура дома, 6-7 класс (ремонтно-строительные работы).
    
36. Технология обработки древесины, 7 класс (инструменты, шиповые соединения, точение фасонных деталей).
    
37. Технология обработки металлов, 7 класс (термическая обработка сталей, приёмы работы на токарно-винторезных станках, нарезание резьбы).
    
38. Культура дома 8-9 класс.
    
39. Технология обработки металлов, 8 класс.
    
40. Радиоэлектроника, 9 класс.
    

7.3. Список тем рефератов

1. История развития тестирования в России.
   
2. Основные подходы к оценке качества подготовки и способы их реализации.
   
3. Система оценивания и контроль качества образования в образовательных учреждениях разного типа и уровня.
   
4. Современные тенденции в оценивании школьных достижений.
   
5. Виды контроля в учебном процессе.
   
6. Функции оценки в современном учебном процессе.
   
7. Проблема выбора способа оценивания для различных профилей обучения.
   
8. Критерии отбора содержания для составления тестовых заданий.
   
9. Понятие «портфолио» в современном образовательном процессе.
   
10. Эксперимент по введению Единого государственного экзамена: концепция, реализация, проблемы.