Geum.ru

Ое обеспечение автоматизированных систем математического факультета кбгу, старший научный сотрудник нии информатики и проблем регионального управления кбнц ран

Вид материалаДокументы

Содержание


Первичные баллы
Список литературы
Подобный материал:
  1   2   3   4   5





Введение в практическое тестирование

информация [-] Автор: В.М. Казиев



Казиев Валерий Муаедович







Кандидат физико-математических наук, доцент кафедры "Информатика и математическое обеспечение автоматизированных систем" математического факультета КБГУ, старший научный сотрудник НИИ информатики и проблем регионального управления КБНЦ РАН. Лауреат Всероссийских конкурсов учебников и учебных пособий Министерства образования РФ (2001 г.) и Фонда развития отечественного образования (2004 г.), автор и научный руководитель разработки двух электронных учебников, признанных одними из лучших на Всероссийском конкурсе образовательных интернет-ресурсов и электронных учебников портала "ИКТ в образовании", персонального образовательного сайта – номинанта Всероссийского конкурса образовательных интернет-ресурсов и электронных учебных пособий "ИТ-образование в Рунете" в номинации "Виртуальные учебно-методические комплексы", автор более 140 научных и научно-методических работ.






Видимо невозможно востановить полную и точную историю тестов и тестирования. Тем не менее, попытаемся указать некоторые ключевые вехи в этой истории.
  1. Древний Вавилон. Проводились испытания выпускников в школах профессиональных писцов.
  2. Древний Египет. Использовалась система испытаний для (типа собеседований и последующей проверки умений).
  3. Древняя Греция. Проводились испытания (например, в школе Пифагора) с помощью специальных математических задач повышенной сложности.
  4. Древний Китай. Использовались первые профессионально ориентированные испытания для претендентов на должность правительственного чиновника (прошедшие такое испытание с лучшими результатами принимались на государственную службу, остальные трудоустраивались сами).
  5. Древняя Индия. Использовались испытания на мудрость с помощью различных игр, например, с использованием шахмат, нард.
  6. Древний Вьетнам. Проводились регулярная аттестация и переаттестация всех гражданских чиновников и военнослужащих.
  7. Англия. Впервые использовались письменные работы для повышения мотивации учебной работы. Родоначальником тестирования часто называют английского ученого Френсиса Гальтона, который в 1884-1885 гг. проводил серию испытаний для посетителей своей лаборатории.
  8. США. Появилась первая книга с тестовыми заданиями по математике, истории, грамматике, навигации, текстами для сочинений, с использованием простейших статистических расчетов в педагогической работе.
  9. Германия. Проводились устные (в отличие от традиционных английских письменных) экзамены с комиссией не менее, чем из двух человек.
  10. Франция. Появились первые попытки тестирования интеллектуальных способностей детей с помощью специально созданных тестов для проверки интеллектуальности.
  11. Россия (досоветский период). До конца XIX века сколь-нибудь серьезная работа по тестированию не описана. Первые тесты появились в начале XX века и использовались как вспомогательный инструментарий поверки знаний.
  12. СССР. Наряду с вспомогательным использованием тестов и тестирования имелись и попытки отвержения и даже запрета тестирования. Например, в 1936 году было принято Постановление Совета Народных Комиссаров "О педологических извращениях в системе Наркомпроссов". Все это привело к застою в развитии тестирования на период с середины 30-х до конца 70-х годов.
  13. Современный мир. У истоков современной тестологии стояли представители американских и европейских школ психологии девятнадцатого и двадцатого веков: Бине, Векслер, Гилфорд. Отсчет современного тестирования ведут обычно от тестов, разработанных А. Бине и Т. Симоном по заказу Министерства просвещения Франции для отбора в спецшколы детей с задержкой интеллектуального развития. В последнее время отмечается повышенный рост интереса к тестам и тестированию во многих странах с целью поддержания определенного, хотя часто и минимального, государственного уровня всеобщей образованности. Например, в США, Германии, Франции, Австралии и других странах.



Тестирование имеет следующие основные преимущества перед другими педагогическими методами:
  1. строгость;
  2. объективность;
  3. технологичность;
  4. применимость ко всем группам испытуемых;
  5. интегрируемость;
  6. междисциплинарность;
  7. стимулирование мотивации и др.

Педагогическое тестирование, как и всякое средство измерения и контроля, имеет и свои недостатки.

Как и любой измерительный инструмент, тест имеет определенную точность и определенную погрешность, диапазон применимости. "Натаскивание на тесты" приводит лишь к знаниям справочного характера. Возможна и фальсификация результатов тестирования.

Приведем краткие необходимые сведения по тестологии на содержательном уровне, без использования сложной научной терминологии тестологии (с ней можно ознакомиться подробнее, например, по книге [1]).

Тест – система кратких вопросов и заданий, с ограничением времени выполнения для установления характеристик обучения и их последующего анализа.

Тестирование – это одновременно и метод, и результат педагогического измерения.

Тест состоит из тестовых заданий.

Тестовое задание – учебная ситуация, для которой тестируемый должен выбрать вариант ответа или же сконструировать такой вариант.

Педагогический тест – система тестовых заданий возрастающей трудности для эффективной оценки подготовленности обучаемых, их знаний, умений и навыков.

Педагогическое тестирование – это подготовка качественных тестов, проведение тестирования и анализ уровня подготовки тестируемых.

Классификация тестов проводится по различным признакам. Приведем основные.
  1. По процедуре создания – стандартизованные, не стандартизованные.
  2. По средствам предъявления – бланковые, натурные, компьютерные.
  3. По генерированию – детерминированные, стохастические, динамические.
  4. По направленности – интеллекта, личностные, достижений.
  5. По однородности – гомогенные, гетерогенные.
  6. По целям – информационные, диагностические, обучающие, мотивационные, аттестационные.
  7. По форме – закрытого типа, открытого типа, на установление соответствия, на установление правильной последовательности действий (мы их подтипы опускаем).
  8. По методологии интерпретации результатов – нормативно-ориентированные (по отношению к некоторому нормативному образцу) и критериально-ориентированные (для оценки степени овладения знаниями и умениями).

Есть и другие подходы к классификации тестов.

Наиболее важна (для целей данного курса) классификация тестов по форме.

Задание закрытой формы – тестовое задание, при выполнении которого испытуемый выбирает заключение из нескольких предложенных правдоподобных вариантов, из которых лишь один ответ является правильным.

Задание на соответствие – тестовое задание, при выполнении которого необходимо установить правильное соответствие между элементами двух множеств: объектов (субъектов, процессов) и их атрибутов (свойств, характеристик, структур и т.п.).

Задание на установление правильной последовательности – тестовое задание, при выполнении которого необходимо установить правильную последовательность операций, действий, событий.

Задание открытой формы – тестовое задание, при выполнении которого испытуемый самостоятельно формулирует заключение или подставляет пропущенное слово (слова).

Тестирование имеет три основных этапа:
  1. проектирование и разработка (выбор) теста;
  2. реализация процедуры тестирования;
  3. анализ, оценка и интерпретация результатов тестирования.

Тесты обладают следующими основными свойствами, нарушение любого из которых делает неприменимым тест.

Валидность – соответствие измеряемым знаниям, умениям.

Сложность – объем умственных усилий для выбора ответа.

Надежность – правильность и адекватность отражения уровня знаний.

Устойчивость – равнозначность для различных групп испытуемых.

Репрезентативность – полнота охвата учебного материала.

Значимость – актуальность включения в тест.

Достоверность – соответствие современному состоянию науки и методике обучения.

Гипотеза тестирования – основные педагогические условия, при которых идет проверка испытуемых.

Любые тесты дложны быть валидны, достаточно сложны, надежны, объективны, устойчивы, репрезентативны, значимы, достоверны, научны, непротивеоречивы, основаны на корректной гипотезе тестирования.


Согласно Аванесову В.С. [1,2] перечень знаний для проверки может иметь вид:
  1. знание названий;
  2. знание семантического смысла названий;
  3. фактуальные знания;
  4. знание определений;
  5. сопоставительные знания;
  6. классификационные знания;
  7. знание противоположностей;
  8. ассоциативные знания;
  9. знания причинно-следственных отношений;
  10. процедурные знания;
  11. технологические знания;
  12. обобщенные знания;
  13. оценочные знания;
  14. вероятностные знания;
  15. абстрактные знания;
  16. структурные знания;
  17. методологические знания.

Многие проблемы тестирования – недостаточно проработаны и эффективно исследуются в последнее время.



Кроме указанных выше основных свойств тестов имеются правила разработки тестовых заданий и тестов (нарушение некоторых из которых часто наблюдается в тестировании, но, тем не менее, – нежелательно).

Тестовое задание должно быть сформулировано ясно и четко, всегда ориентировано на получение однозначного заключения.

Нужно стараться формулировать задание в виде одного предложения, а оно должно быть легко воспринимаемым каждым испытуемым.

Задание теста должно проверять конкретное знание, умение или конкретные навыки испытуемых.

Тестовые задания должны быть информативными на всем диапазоне изменения уровня сложности.

Необходимо использовать простую, грамматически правильную утвердительную форму задания в виде одного предложения из 5–20 слов, без оборотов, используя простые придаточные предложения, без переноса фрагмента тестового задания на новую страницу.

Не использовать в заданиях "нестрогие" слова типа "иногда", "часто", "всегда", "все", "никогда", "большой", "небольшой", "малый", "много", "меньше", "больше" и грамматические обороты типа "Почему не может не…", "Правда ли, что …", "Возможно ли…" и др.

Ответы должны содержать не более 2–3 ключевых слов по условию вопроса.

Желательно строить ответы одинаковой формы, а если возможно, то и длины.

Количественные ответы необходимо упорядочивать, причем первым не должен быть указан правильный ответ.

Необходимо исключить возможность выбора ответа интуитивно, догадкой.

Ответы должны быть независимы и одинаково привлекательны для выбора.

В тестовых заданиях нельзя использовать сокращения, если задание не расчитано на их знание.

В каждом задании закрытой формы количество дистракторов (вариантов ответов) должно быть от 4 до 6, а в заданиях на установление соответствия – примерно в 2 раза больше.

Условие задания не должно никогда (ни для одного дистрактора) принимать неопределенное значение.

Все дистракторы должны быть подобраны умело.

Ни один дистрактор не становится правильным ответом при изменении допустимых условий задания.

Повторяющиеся слова и словосочетания в ответах должны быть исключены и перенесены в основную часть условия.

Из ответа к одному тестовому заданию нельзя получать каким-либо образом ответ к другому заданию.

Не должен возникнуть вопрос по уточнению условия, дистрактора (или, точнее, подготовленному испытуемому нет необходимости задать вопрос по условию задания преподавателю, а преподаватель может не отвечать на такие вопросы).

Задание не должно предполагать знаний, выходящих за пределы учебного материала, программы, образовательного стандарта (особняком стоят очень редко используемое олимпиадное тестирование).

Ни один тестируемый не должен получать преимущество перед другим на всем промежутке тестирования.

Количество тестовых заданий в тесте (длина теста) должно составить 30–40 для естественнонаучных дисциплин и примерно в два раза больше – для гуманитарных дисциплин. Впрочем, эта величина зависит от того, какова цель тестирования. Тест, состоящий из меньшего количества заданий можно вполне использовать как обучающий, мотивационный. Автор часто использует экспресс-тестирование на таких тестах при защите лабораторных работ.

Спецификация (описание атрибутов теста – предмет, время разработки, автор и др.) к тесту должна содержать всю информацию, необходимую для проведения тестирования.

Нельзя предусматривать в тестовых заданиях необходимость проведения развернутых выкладок.

Тест должен быть разработан преподавателем-методистом. Желательно, чтобы тест составила экспертная группа тестологов-предметников, которая и проводит предварительную оценку теста.

Количество заданий в базе данных тестовых заданий должно быть примерно в 10 раз больше усредненной длины теста (т.е. от 200-300 заданий).

Большинство заданий в тесте – закрытой формы. Закрытая форма более быстро воспринимаема и близка ежедневно решаемой человеком проблеме выбора.

Необходимо избегать ненужного дублирования проверяемых знаний, умений и навыков, а также предусмотреть все необходимые.

При формировании тестов полезно проводить предварительное тестирование с целью определения уровня знаний.

Задания в тесте должны быть упорядочены по возрастанию уровня сложности, например, А - легкие, В – средние, С - сложные. (Заметим, что эти обозначения в ЕГЭ имеют несколько иное значение). Порядок предъявления заданий: все задания группы А – все задания группы В – все задания группы С.

Возможны следующие варианты предъявления тестовых заданий:
  1. от легких заданий – к более сложным;
  2. от средних заданий – к более легким или трудным (в зависимости от ответа);
  3. от сложных заданий – к более легким и др.

Основными критериями отбора содержания теста являются:
  1. соответствие гипотезе тестирования;
  2. значимость;
  3. правильность;
  4. репрезентативность;
  5. соответствие современному состоянию науки и методики;
  6. сбалансированность содержания теста;
  7. тематическая направленность;
  8. вариативность содержания;
  9. доступность;
  10. соответствие уровня трудности содержанию цели тестирования.