Geum.ru

Не всякий педагогический тест является качественным инструментом педагогического измерения; не всякий качественный педагогический тест применяется эффективно

Вид материалаДокументы
Подобный материал:
ОЦЕНКА ЭФФЕКТИВНОСТИ ДИДАКТИЧЕСКОГО ТЕСТИРОВАНИЯ
В ПЕДАГОГИЧЕСКОЙ СИСТЕМЕ УЧЕБНОГО КУРСА



Концевой М.П., БрГУ имени А.С. Пушкина


Оценка эффективности контрольного тестирования, как метода диагностики учебных достижений, предполагает учет трех обстоятельств:
  • не все названное «педагогическим тестом» является таковым;
  • не всякий педагогический тест является качественным инструментом педагогического измерения;
  • не всякий качественный педагогический тест применяется эффективно.

Отсутствие четкого понимания вышесказанного нередко приводит к существенному искажению понимания роли и места контрольного тестирования в образовательном процессе, его эффективности и границ применения. В контексте широкого распространения педагогического тестирования в современных образовательных системах это порождает определенные фобии среди участников данного процесса и дискредитирует саму методику тестового контроля через неумелое использование часто негодного инструментария.

Среди названных выше обстоятельств центральное место принадлежит определению качества педагогических тестов, которое позволяет не только идентифицировать их как тесты и оценить как «хорошие» или «плохие», но и определить те области педагогической диагностики, где они остаются эффективным средством измерения учебных достижений.

При всем разнообразии мнений и оценок вопрос о необходимости тестов в педагогике уже позитивно решила практика – «да, нужны, но на своем месте, нужны надежные и валидные стандартизированные тесты, а не любительские самоделки» [1; 16]. Действительно, наличие огромного количества абсолютно безграмотного с точки зрения тестологии контрольного материала, который именуется тестами, является, наверное, главным препятствием к принятию тестовых методик педагогическим сообществом. Стандартизация дидактических тестов выступает необходимым условием создания качественного диагностического инструментария контроля результатов образовательной деятельности. Сложность, специфичность и большой объем этой работы объективно требуют профессионального подхода со стороны авторов тестов. Но если не каждому преподавателю нужно и можно создавать педагогические тесты (как не каждому нужно и можно писать учебники), то каждому необходимо уметь оценивать тесты. В этом требовании ( требовании контроля качества тестов и соблюдения всех процедур дидактического тестирования) и находит отражение профессионализм педагогов.

Понятно, что педагог-практик не в состоянии самостоятельно провести экспертизу и апробацию таких важнейших показателей качества тестовых заданий, как дискриминативность (дифференцирующая способность) тестовых заданий, надежность, трудность и валидность. Этому препятствует, в частности, отсутствие в распоряжении педагога-практика достаточно репрезентативной экспериментальной группы учащихся для проведения такой работы.

Выход из сложившейся ситуации усматривается в том, чтобы признать в качестве атрибутивного признака методического оснащения теста наличие руководства с квалифицированно подтвержденными качественными характеристиками данного теста. Таким образом, определение теста как «инструмента, состоящего из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенных для измерения качеств и свойств личности» [2;13], необходимо дополнить соответствующим требованием о наличии подтвержденной экспертами качественной характеристики теста.

К сожалению, нередко забывается, что неотъемлемой составной частью теста является его методическое оснащение, которое состоит из сведений, инструкций и рекомендаций, обеспечивающих всем испытуемым равные условия на всех этапах использования теста. Методическое обеспечение, без которого никакой контрольный материал не может быть признан тестом, должно включать и все сведения о тесте, которые необходимо иметь пользователю для оценки его качества, а именно:
  • назначение и психолого-педагогическое содержание;
  • ограничения и показания для применения;
  • состав теста;
  • цели апробации, объем и состав выборки, основные статистические характеристики;
  • данные о трудности и дискриминативности заданий;
  • данные о надежности, валидности и трудности всего теста;
  • ключи и устройство шкал;
  • правила обработки данных;
  • правила и особенности интерпретации результатов тестирования.

Только при наличии таких, квалифицированно подтвержденных, данных можно говорить о педагогическом контрольном тесте. Характеризовать же сам метод тестирования правомерно только в случае достаточной компетенции в вопросах тестирования педагога и неуклонного соблюдения инструкций и рекомендаций методического обеспечения теста.

Сказанное выше не означает попытки ввести запрет на самостоятельное и самодеятельное создание преподавателями тестовых материалов для контроля учебных достижений и диагностики личностных качеств учащихся.

О том, что такие материалы нужны и полезны, убедительно свидетельствует положительный опыт автора по использованию электронной образовательной среды (ЭОС) в педагогической системе курса «Информационные технологии» на факультете иностранных языков, в которой комплекс тестовых заданий является системообразующим структурным компонентом [3].

ЭОС представляет собой системно организованную совокупность сетевых коммуникационных технологий, программного и организационного обеспечения, которая позволяет, на основе интеграции электронных пособий по конкретным учебным курсам с элементами дистанционного обучения, эффективно удовлетворить образовательные потребности студентов в контексте решения педагогических задач.

ЭОС реализуется на аппаратном обеспечении учебного компьютерного класса, включенного в ЛКС университета и подключенного к Интернету, и включает в себя:
  • электронный учебно-методический комплекс курсу представляет собой Web-сайт, размещенный на сервере учебного компьютерного класса;
  • локальную почтовую систему, позволяющую организовать дидактически и организационно эффективную систему выполнения студентами учебных поручений и контроля их успеваемости;
  • локальную систему IRC, позволяющую организовать эффективные учебные сетевые коммуникации для решения программных задач преподаваемых курсов;
  • Web-реализацию данных о состоянии текущей успеваемости студентов и коррекционные рекомендации преподавателя на файл-сервере учебного класса;
  • организованный на удаленном сервере почтовый ящик преподавателя для поддержания эффективной обратной связи со студентами и их консультирования по учебным вопросам.

ЭОС предназначена для создания оптимальных условий профильно-ориентированного языкового обучения на основе использования современных информационных технологий и содержательно раскрывает следующие темы:
  • языковое обеспечение компьютера (языки программирования, системы программирования, системное и прикладное программное обеспечение);
  • компьютерные сети (понятие, типология, аппаратное и программное обеспечение, Интернет, языковые, лингвистические и образовательные ресурсы Интернета, сетевые коммуникации);
  • создание текстовых документов (текст, электронный текст, автосредства ввода, поиска, редактирования и форматирования текста, макросы, формы и поля);
  • компьютерный анализ текста (компьютерная корректура текста, автореферирование, статистический анализ текста, фоносемантический анализ текста, технологии оптического распознавания текста);
  • компьютерный перевод текста (электронные переводные словари, системы компьютерного перевода, Machine Translation и Translation Memory, Lantra);
  • современные технологии чтения (e-text, e-reader, e-book, эффективное чтение, скорочтение, медленное чтение, таблицы Шульте, технология чтения Vortex).

Тестовый комплекс ЭОС создан с использованием JavaScript и Java и непосредственно интегрирован с Web-сайтом, что обеспечивает удобство и непринужденность его использования. Модульность построения пособия позволяет легко модернизировать тестовый комплекс и варьировать его состав. Тесты используются для психолого-педагогической диагностики, самоконтроля, текущего и рубежного (промежуточного) контроля знаний студентов.

В качестве средства, ориентированного на обучение, самоконтроль и текущий контроль, используются гомогенные тесты с двумя формами тестовых заданий: 1) задания закрытой формы; 2) задания на установление соответствия между элементами двух множеств.

Большинство таких тестов строилось с использованием Java Script Test Builder путем добавления в код, содержащей тест Web-страницы, ограничивающего время выполнения теста студентами скрипта.

Тесты на установление соответствия используются преимущественно для решения задач усвоения и закрепления учебного материала, а также самоконтроля. Они не имеют явных ограничений по времени выполнения, предполагают возможность нескольких повторных попыток прохождения до получения 100% правильного результата. Однако количество получаемых за выполнение теста баллов начисляется с учетом успешности процесса выполнения теста. Учебные тесты всегда доступны студентам и могут выполняться во время самостоятельной работы. Всего в электронном пособии более тридцати учебных тестов, охватывающих все темы курса. В зависимости от успешности обучения академической группой, для подготовки к сложному лабораторному заданию или с другими целями преподаватель может предложить студентам пройти тест на занятиях с фиксацией полученных результатов. Как правило, тесты не корректируются с точки зрения состава и содержания тестовых заданий..

Контрольные тесты, призванные дать максимально точный показатель обученности студента, разрабатывались с особой тщательностью не только в плане метода педагогического измерения, но и в плане требующего интерпретации результата. Трудоемкость разработки и апробации эффективных педагогических тестов является причиной ограничения их применения тематическим и рубежным контролем при сохранении традиционной формы приема экзамена. Контрольные тесты включаются в электронное пособие непосредственно перед тестированием и удаляются из него после проведения тестирования.

Однако этот же положительный опыт свидетельствует и о том, как важна рефлексия педагога над своей диагностической деятельностью с применением тестирующего инструментария, понимания уровня его совершенства (несовершенства) и ограничений.

Литература
  1. Михайлычев Е.А. Дидактическая тестология. – М.: Народное образование, 2001.- 432 с.
  2. Майоров А.Н. Теория и практика создания тестов для системы образования. – М: Народное образование, 2000. – 352с.
  3. Концевой М.П. Тестовый комплекс в структуре электронного учебного пособия// Тезисы докладов Первой Международной научно-методической конференции «Перспективы развития системы тестирования в Республике Беларусь» 13 февраля 2003г.  Минск: РИКЗ, 2003.  С. 193-195.