Geum.ru

Центра Федерации Интернет-образования Морев И. А. М 79 Образовательные информационные технологии. Часть Педагогические измерения: учебное пособие

Вид материалаУчебное пособие

Содержание


Вес тестового задания. Полдюжины факторов снижающих ценность понятия веса ТЗ
Трудоемкость и сложность тестового задания
Подобный материал:
1   ...   21   22   23   24   25   26   27   28   ...   31

Вес тестового задания. Полдюжины факторов снижающих ценность понятия веса ТЗ


Независимо от единиц измерения, используемых поставщиком или покупателем,

производитель будет использовать свои собственные произвольные единицы измерения,

переводимые в единицы поставщика или покупателя с помощью странных и неестественных коэффициентов пересчета.

Теорема Вышковского (Артур Блох. Мерфология)

Можно «взвесить» задания относительно друг друга внутри каждого уровня, если это необходимо. Однако здесь следует иметь в виду следующие соображения.

Вычисление относительного веса заданий, т. е. их относительной трудности для учащихся – довольно сложная задача. Она требует проведения большого количества тестирований с участием многих учащихся. При этом на величины вычисляемых Вами весов могут непредсказуемо повлиять следующие факторы:
  • Разные учащиеся в разное время могут пользоваться при подготовке к тестированию разными учебниками, где один и тот же вопрос освещен с разной степенью подробности и ясности;
  • Смена (или временная подмена) преподавателя дисциплины приводит к освещению разных вопросов в разных учебных группах с разной степенью подробности и ясности. Поэтому при взвешивании можно вес одного и того же вопроса для одних избрать чересчур высоким, для других – низким;
  • Учащиеся, прошедшие тестирование первыми неизбежно передадут почерпнутую информацию следующим, и те придут тестироваться более подготовленными. Неодновременность сеансов тестирования и неконтролируемость распространения информации среди учащихся о тестовых заданиях сделают Ваши попытки «скрупулезного взвешивания» бессмысленными;
  • Учащиеся, лучше всех знающие учебный материал, лучше всех прогнозируют для себя время, необходимое для выполнения заданий. Поэтому они выполнят в первую очередь простые задания, а сложные оставят на «потом». Это приведет к ошибочному пониманию сложности заданий – за «сложные» Вы ошибочно примете «долгие»;
  • Рабочие учебные программы по дисциплинам иногда меняются, в соответствии со взглядами руководства. Каждая такая смена будет разрушать Ваши результаты «взвешиваний» и заставлять Вас приниматься за эту решение этой задачи вновь.
  • Величины весов ТЗ, вычисленные на разных выборках претендентов, получатся разные. Следовательно, претендент, результаты тестирования которого учитывались в совокупности с разными выборками, будет иметь разный результат.

Таким образом, для учащихся, учившихся в разных учебных группах и в разные периоды времени, веса заданий, вычисленные по результатам тестирований других групп, будут относительно необъективны. Кроме того, опыт работы жюри олимпиад говорит, что, по какой бы системе веса не вычислялись, дополнительной объективности решению жюри это никогда не придает и список призеров от этого меняется мало.

Поэтому «сложность» заданий надо учитывать по-другому. Например, путем перехода к многомерной векторной оценке, векторному рейтингу. Компоненты вектора – рейтинга характеризуют относительный успех претендента в выполнении конкретных групп ТЗ.

    1. Трудоемкость и сложность тестового задания


На узкой дороге тон задает черепаха.

В классической тестологии понятия «трудность» и «сложность» использовали как синонимы. Разные авторы предлагали различать их. В современной тестологии термин «трудность» заменяют на более подходящий – «трудоемкость» (предложено В. П. Беспалько).
  • Трудоемкость задания – мера количества и длительности предполагаемых операций, необходимых для успешного выполнения задания.
  • Сложность задания – мера объема и сложности информации, которую должен освоить претендент для того, чтобы выполнить задание.

Если претенденты имеют достаточно времени, чтобы продумать варианты выполнения и не соревноваться в скорости, определяющим фактором становится сложность заданий. Поэтому сложность – наиболее часто используемое слово для характеристики заданий.

Сложность задания зависит от пути изучения учебной темы претендентами (по какому учебнику), от их подготовки и сообразительности. Сложность принимает разные значения для разных выборок претендентов. Одно и то же задание для студента одного вуза может стать неразрешимым, для студента другого – «семечками». Чем больше претендентов, правильно выполнивших задание, тем меньше его сложность для данной группы. На величину сложности могут влиять артефакты, например – накапливающаяся в процессе длительного сеанса усталость или недостаточность времени сеанса. Простое задание могут не выполнить большинство претендентов только потому, что пока они до него добрались, они устали. Или, вообще не успели добраться. Так простое задание с большим номером автоматически формально становится очень сложным.

И в школе, и в вузе часто бывает ситуация, когда:
  • учащиеся одной параллели учатся у разных преподавателей и по разным учебникам;
  • преподаватели меняются в учебной группе в течение учебного года.

А если так, то усилия по эмпирическому определению сложности заданий теста не приведут к результату, и сложность заданий будет принимать разные значения.

Вычисленная сложность заданий может реально использоваться в дальнейших тестированиях при условии сохранения трех внешних параметров:
  • личность преподавателя и материал лекций, контрольных работ и пр.;
  • комплект учебных пособий;
  • параметры претендентов (т. е. группы учащихся, подвергающиеся тестированию, должны быть статистически неотличимы по характеристикам).

В противном случае, сложность заданий придется пересчитывать после каждого сеанса тестирований перед определением рейтингов. А тогда может произойти казус:
  • претенденты, тестировавшиеся в составе разных групп и получившие одинаково высокий рейтинг, будут значительно различаться своими характеристиками;
  • претендент, прошедший тестирование по одному тесту, но в разных группах, получит разный рейтинг.

Один из путей преодоления этих проблем – переход к векторному рейтингу.