Выделяют пять общих требований к тестам контроля знаний: валидность; определенность (общепонятность)

Вид материала

Документы

Содержание Перенос результатов тестирования различных выборок испытуемых на метрическую шкалу Использование перекрытия вариантов тестов

Подобный материал:

• Фролова Е. В., Санжаровская, 148.22kb.
• Общих требований к ответу «5», 129.55kb.
• Система контроля знаний в преподавании русского языка и литературы, 101.79kb.
• Различные формы и методы контроля знаний учащихся Различные формы и методы контроля, 114.33kb.
• Общие рекомендации к составлению тестов компоновка тестов > Требования к тестам, 451.26kb.
• Методика преподавания иностранных языков располагает значительным теоретическим багажом, 63.9kb.
• Государственный университет Высшая школа экономики, 45.29kb.
• Положение о балльно-рейтинговой системе контроля знаний студентов Общие положения, 84.83kb.
• Конспекты лекций Тесты для контроля качества знаний Слайд-презентации, 36.6kb.
• Для многоуровневого контроля знаний студентов, 37.36kb.

Перенос результатов тестирования различных выборок испытуемых на метрическую шкалу

Обычно в практике тестирования приходится использовать большое число параллельных тестов. В основном, это связанно с необходимостью защиты базы тестов от тиражирования правильных ответов среди участников тестирования. Однако в этом случае возникает необходимость сопоставления результатов, полученных по параллельным формам тестов, что является непростой задачей.

Рассмотрим случай, когда N участников тестирования выполняют M различных вариантов теста, состоящего из К заданий. Пусть участников выполняли задание - го варианта:


.


Таким образом, в результате тестирования будет получено М различных матриц ответов , каждая из которых имеет размерность . Предположим, что полученные результаты по каждой из матриц ответов подчиняются однопараметрической модели Раша. Тогда в результате математической обработки ответов могут быть получены оценки латентных параметров трудности заданий и уровня подготовленности , а также оценки соответствующих среднеквадратичных ошибок и , и коэффициента дискриминации (разрешающей способности) заданий. Располагая полученными оценками, необходимо выставить каждому i- участнику определенный окончательный балл , находящейся в интервале от 0 до 100, но при этом возникает ряд трудностей.

Латентные параметры трудности заданий и уровней подготовленности участников , полученные для каждого из вариантов, относятся к метрическим, но не нормированным шкалам (можно измерить расстояния между параметрами в логитах, но нельзя измерить расстояния параметров от начала отсчета). Все отсчеты по таким шкалам можно сдвигать без потери информации. Для сведения всех результатов к единой шкале необходимо перекрытие заданий (одни и те же задания выполняют различные участники) или участников (одни и те же участники выполняют различные задания) в различных вариантах теста. И тот, и другой подход часто используется на практике.

Использование перекрытия вариантов тестов

При данном подходе все варианты тестов должны иметь общие задания (не менее 3 [6,27,28]) с примерно одинаковым уровнем трудности, причем эти задания должны делить всю шкалу трудности заданий примерно на равные интервалы. Подобные задания получили название узловых (или якорных) заданий. Предположим, что у нас имеется три одинаковых для всех вариантов теста задания с уровнями сложности , и . Верхний индекс в круглых скобках определяет взаиморасположение трудностей заданий. Для создания единой метрической шкалы по всем вариантам теста необходимо:

с помощью критерия согласия проверить статистические гипотезы о возможности применения модели Раша для описания полученных экспериментальных результатов;

задать условное начало (ноль) метрической шкалы для всех вариантов, для чего из всех оценок латентных параметров и вычитается значение . Если бы модель Раша была бы полностью адекватна результатам тестирования, и отсутствовали бы ошибки измерений, то трудности и совпадали бы для любых вариантов теста, что является на практике маловероятным;

усреднить трудности первого и третьего узловых заданий, полученные по разным вариантам с учетом соответствующих точностей (т.е. вычисляются средние весовые значения):


, ,


Здесь и - соответственно веса оценок и , j- номер узловых заданий в вариантах теста, - номер варианта теста (от 1 до М), С - произвольная константа.

В конечном итоге трудностям узловых заданий приписывают следующие усредненные значения:


, ,

Точность усреднения разностей , , и можно оценить соответствующими дисперсиями:


, ,


где и определяют дисперсии весовых единиц, а и уклонения для каждого из вариантов. Дисперсии тех же разностей, но не усредненных, а полученных по результатам тестирования по одному варианту вычисляются следующим образом:


,


Исправленные значения латентных параметров трудности заданий и уровня подготовленности, испытуемых и , необходимые для перевода результатов полученных по разным вариантам теста к единой метрической шкале находят по следующим формулам:


если , то ;


если , то ;


если , то ;


если , то .


Используя исправленные значения уровней подготовленности участников тестирования, приведенные к единой метрической шкале можно определить их окончательный балл по формуле:


,


где - окончательный тестовый балл на 100 бальной шкале, - среднее значение исправленного уровня подготовленности, - исправленный уровень подготовленности i – участника, - среднеквадратичное отклонение, - некоторые эмпирические коэффициенты подбираемые вручную (например , ).