Центра Федерации Интернет-образования Морев И. А. М 79 Образовательные информационные технологии. Часть Педагогические измерения: учебное пособие

Вид материала

Учебное пособие

Содержание Информационный граф Два типа ошибок измерений в тестологии и их источники Бернард ШОУ Педагогическое тестовое задание Ключевое задание Педагогическое задание Задание в тестовой форме

Подобный материал:

• Центра Федерации Интернет-образования Боровкова Т. И., Морев И. А. М 79 Мониторинг, 2998.84kb.
• Центра Федерации Интернет-образования Боровкова Т. И., Морев И. А. М 79 Мониторинг, 2598.77kb.
• Учебное пособие для учащихся педагогических специальностей вузов и слушателей курсов, 2543.24kb.
• М. Н. Машкин Информационные технологии Учебное пособие, 2701.91kb.
• В. П. Дьяконов, А. Н. Черничин Новые информационные технологии Часть Основы и аппаратное, 2695.36kb.
• Учебное пособие Санкт-Петербург 2007 удк алексеева С. Ф., Большаков В. И. Информационные, 1372.56kb.
• О. В. Шатунова информационные технологии учебное пособие, 1418.45kb.
• Учебный мультимедийный комплекс «Основы физической культуры в вузе» (Электронное учебное, 5127.54kb.
• Сейчас почти ни у кого не возникает вопрос: "Зачем нам нужны информационные технологии?", 164.15kb.
• Информационные технологии управления, 3933.39kb.

Информационный граф

У меня сложная и красивая фигура…

Технология создания электронного учебного пособия и педагогического теста – это основанный на достижениях тестологии сложный и трудоемкий процесс. Дополнительные сложности здесь создают своеобразные педагогические традиции. Цитируем:

Методологической основой разработки и использования тестовых средств В. С. Идиатулин считает «представления когнитивной психологии о пропозициональной репрезенции усвоенной информации в человеческой памяти, о существовании ее наименьших значимых единиц, которые могут быть выражены отдельным утверждением, имеющим самостоятельное смысловое содержание, описывающее объекты и отношения. При этом выделение достаточно однородных элементов знания становится предпосылкой измерения его совокупности». (Кречетников К. Г. Задания в тестовой форме и методика их разработки: Учебно-методическое пособие – Владивосток: Изд-во Дальневост. ун-та, 2002.- 36с).

К сожалению, многие педагоги любит излагать свои мысли именно так.

Опытные составители сначала всегда «конвертируют» материал дисциплины, т. е. переводят его в последовательность кратких утверждений – текстовых блоков. При этом «выливается вода» и, в качестве блоков, остаются:

• положения и понятия;
  
• определения и формулировки;
  
• факты;
  
• классификации;
  
• законы и закономерности;
  
• выводы и следствия;
  
• тезаурус;
  
• важные иллюстративные материалы.
  

Информация блоков должна быть достаточной для контроля ЗУН. «Рядом на полях» отмечаются внутренние и внешние связи блоков между собой и со смежными дисциплинами. Блоки связаны между собой в общей структуре материала дисциплины, включены один в другой, иерархически соподчинены. Отношения блоков могут быть представлены в виде ориентированного графа. В вершинах графа располагаются блоки, а их взаимосвязи обозначаются направленными ребрами. Такой граф, оснащенный некоторыми дополнительными атрибутами, иногда называют моделью знаний. В таком виде проще:

• искать и устанавливать новые связи;
  
• производить внедрение нового материала;
  
• находить и устранять дублирование материала;
  
• производить деление информации на крупные модули – подграфы;
  
• проектировать интеллектуальные электронные системы.
  

Граф знаний удобно использовать при составлении тестовых заданий и гипертекста.

7. Два типа ошибок измерений в тестологии и их источники

Архитекторы прячут свои ошибки под плющом,

врачи под землей, а хозяйки под майонезом.

Бернард ШОУ

Так же, как и в любой технической области, тестологические измерения сопровождаются ошибками. Эти ошибки могут быть

• систематическими, возникающими, например, по вине создателей тестовых заданий, тестирующей программы, учебного пособия, и
  
• случайными, возникающими из-за того, что участники пытаются «схитрить», выполнить часть заданий методом «случайного тыка».
  

Систематические ошибки возникают из-за:

• разницы толкования определений в ТЗ и в учебнике;
  
• неясностей в интерфейсе;
  
• логических неувязок в текстах ТЗ;
  
• неправильных объяснений, данных сопровождающим тестирования оператором, и др.
  

На величину ошибок влияет человеческий фактор. Наиболее вероятные величины случайных ошибок определения рейтинга, если их отложить на графике, образуют небольшой интервал значений или, говоря языком статистики, – доверительный интервал. Величина этого интервала зависит от того, в какую область рейтингов попал исследуемый рейтинг. Проще говоря, – если участник правильно выполнил много заданий, вероятность того, что он нажимал клавиши «на авось», мала. И наоборот, эта вероятность велика для участников, результаты которых попали в область «наиболее вероятного» результата.

В общем случае, величину доверительного интервала можно представить функцией двух переменных:

• расстояния от исследуемого результата до «идеального» и
  
• расстояния от исследуемого результата до центра области «наиболее вероятного» результата.
  

Очевидно, с изменением этих переменных, величина области «доверительного интервала» будет изменяться в определенных пределах. Эти пределы заключены между величиной области «наиболее вероятного» результата и нулем.

Знание величин доверительных интервалов поможет на практике при разборе экзаменационных апелляций, а также очень важно для правильного применения методов факторного анализа.

Детей нужно учить врать.

Г. ОСТЕР

8. Педагогическое тестовое задание

Воображение рисует, разум сравнивает, вкус отбирает, талант исполняет.

Гастон де ЛЕВИС, aforizm.kaminplus.ru

Не каждое задание, созданное для дальнейшего включения в тест, можно назвать тестовым или педагогическим. ТЗ, составляющие педагогический тест, называют педагогическими.

Ключевое задание – нацелено на проверку знания конкретных блоков учебной дисциплины. В случае адаптивного тестирования, тест должен содержать не менее 3-х ключевых заданий разных уровней сложности для каждого блока.

Педагогическое задание – средство интеллектуального развития, образования и обучения, способствующее активизации учения, повышению качества знаний, а также повышению эффективности педагогического труда (В. С. Аванесов).

Конкретное педагогическое задание является результатом труда по отбору (редактированию, изменению) совокупности тестовых заданий для педагогического теста. До того, как задания будут апробированы и включены в педагогический тест, во избежание путаницы, их называют заданиями в тестовой форме.

Задание в тестовой форме – это единица учебно-контрольного материала. Будучи включенным в педагогический тест, задание в тестовой форме становится педагогическим тестовым заданием.

Тестовое задание – самостоятельный элемент теста (т. е. совокупности тестовых заданий), состоящий из восьми компонент:

1. инструкции;
   
2. постановки задачи (собственно, задания);
   
3. демонстрационного материала;
   
4. эталонов результата выполнения задания, среди которых есть, как минимум, один абсолютно верный;
   
5. специально организованного места или области для ввода результата выполнения;
   
6. эмпирических параметров – веса, трудности задания;
   
7. номер и указания принадлежности задания к конкретной теме учебной дисциплины;
   
8. шкалы оценивания результата выполнения.
   

Приказом МОРФ № 1122 от 17 апреля 2000 г. рекомендовано использовать для оценки знаний методом тестирования сертифицированные педагогические тестовые материалы. Целью сертификации материалов является повышение качества образования за счет совершенствования педагогических тестовых материалов. Предметом и содержанием сертификации является установление степени соответствия характеристик педагогических тестовых материалов требованиям к их качеству, утверждённым Координационным советом МОРФ. Экспертиза педагогических тестовых материалов предусматривает оценку качества их содержания, правильности форм заданий и статистических характеристик.

В инструкции ТЗ пишут, что испытуемый должен сделать, каким образом, где и как делать пометки и записи. Иногда, для экономии времени и ресурсов, дается только одна инструкция для группы однотипных заданий, которая помещается в начале группы. Инструкцию принято снабжать примерами.

Текст постановки задачи обычно состоит из вопроса, на который следует ответить, или утверждения, которое следует подтвердить, исправить или опровергнуть.

Демонстрационный материал задания должен быть таким, чтобы для знакомства с ним претендент затратил не более 3-5 минут.

Эталоны выполнения ТЗ определяются явно (перечнем) либо неявно (указанием возможностей). Эталоны соответствуют выбранной автором качественной либо количественной шкале оценивания – верные, неверные, неполные, неточные и пр. Чаще, для простоты, авторы выбирают двузначную шкалу: верно – неверно. Эталонов выполнения должно быть не меньше двух. Оптимальным считается количество – 4-6. Эталоны не демонстрируются в случае ТЗ открытой формы, где претендент самостоятельно вводит знаки в специально выделенных местах. Обычно считается, что ТЗ закрытой формы должно содержать хотя бы один правильный эталон выполнения. Их может быть и несколько.

Наличие определенного места для ответов обязательно как при бланковом, так и при компьютерном тестировании:

• В ТЗ закрытой формы – это код (цифры или буквы) ответа из числа демонстрируемых. В ТЗ открытой формы ответ пишется вместо прочерка;
  
• В ТЗ на установлении соответствия ответы или пишутся в специально отведенной для этого строке ниже текста задания, или фиксируется с помощью мыши;
  
• В ТЗ на установлении правильной последовательности испытуемый ставит ранги в специально отведенном для этого месте.
  

Каждое ТЗ взаимосвязано с остальными. Эта связь бывает явной и неявной. ТЗ часто неявно связано с другими просто в силу структуры теста, подобно, атомам в кристалле.

Задания в рамках теста связаны явно, если (приведены примеры – образы):

• все ТЗ посвящены одной, резко очерченной теме, и любое дополнительное задание будет лишним (тест – кристалл);
  
• все ТЗ имеют веса, веса являются составляющими формулы расчета результата тестирования, и любое дополнительное ТЗ разрушит равновесие (тест – весы);
  
• важна последовательность изложения и проверки знаний (тест – конвейер);
  
• важна последовательность возрастания сложности ТЗ (тест – эволюция);
  
• каждое ТЗ занимает определенную нишу в структуре теста, как архитектурный элемент в сооружении, и без его выполнения нельзя судить о каком-либо качестве претендента (тест – дворец).
  

ТЗ в рамках теста связаны неявно, если:

• каждое ТЗ посвящено отдельному блоку информации, не связанному с другими отношениями порядка, а сам тест формируется из множества ТЗ случайным образом;
  
• ТЗ составлялись без учета того, сколько и каких заданий уже вошло в состав теста.
  

ТЗ могут быть разграниченными, т. е. результаты их выполнения свидетельствуют о разных составляющих знаний претендента и взаимопроникающими, когда результат выполнения одного ТЗ подтверждает результат выполнения другого.

Если из какого-либо теста сделать выборку меньшего количества ТЗ, то может образоваться система, не уступающая заметно по своим свойствам первоначальному тесту. Тест с меньшим количеством ТЗ тогда можно называть более эффективным.