Календарний план № п/п Найменування етапів творчої роботи Термін виконання етапів роботи

Вид материалаДокументы

Содержание


1 СИСТЕМЫ КОНТРОЛЯ ЗНАНИЙ 1.1 Требования к современной системе контроля знаний
1.2 Требования к тестам
Подобный материал:
1   2   3   4   5   6   7

1 СИСТЕМЫ КОНТРОЛЯ ЗНАНИЙ

1.1 Требования к современной системе контроля знаний


Очевидно, что развитие методик дистанционного обучения требует совершенствования методик контроля знаний учащихся. Системы контроля должны обеспечивать не только адекватную оценку знаний тестируемых, но и отвечать современным требованиям.

Процесс тестирования должен быть по возможности наименее утомительным для людей, сдающих тест. Для решения этой задачи можно использовать адаптивные методики тестирования. В тестах, построенных с использованием таких методик, число вопросов теста - величина переменная, зависящая от уровня знаний сдающего тест. Например, при среднем числе вопросов в тесте равном 50ч человек, безошибочно отвечающий на несколько первых вопросов теста, может завершить тестирование с максимально высоким баллом, ответив всего на 25 вопросов. Человек, не владеющий материалом, так же может досрочно завершить тестирование, так как по ответам на первые 25 вопросов, можно сделать вывод о его неудовлетворительной подготовке и досрочно прервать тестирование. В спорных случаях число вопросов в тестах, построенных по адаптивной методике, может быть больше, чем в варианте, рассчитанном на среднего учащегося. Система тестирования добавляет вопросы, стремясь "вытянуть" тестируемого. Очевидно, что при таком подходе с большим числом заданных вопросов общее число баллов, полученных за прохождение теста, будет значительно меньше, чем в варианте досрочного завершения теста, когда человек безошибочно отвечает на все задаваемые вопросы. Следует заметить, что экзамены, построенные по адаптивной методике тестирования, несколько лет назад были очень популярны в сертификациях от фирмы Microsoft по позициям MCP/MCSA/MCSE. Однако в последнее время фирма Microsoft отказалась от использования адаптивных методик в своих тестах. Это объясняется сложностью разработки вопросов для адаптивной методики тестирования. Несмотря на простоту и внешнюю привлекательность идеи создания адаптивных тестов, реализовать такие тесты совсем не просто. Главная сложность состоит не в написании специальных программных средств, а в методике подбора вопросов для адаптивного теста. Затруднена точная оценка того, насколько сложен или легок предлагаемый вопрос и какова дальнейшая стратегия действий системы в случае правильного или ошибочного ответа.

Вне зависимости от того, по какой методике построен тест (по обычной, с фиксированным числом вопросов, или по адаптивной с переменным), программный интерфейс должен быть максимально удобен для пользователя. В случае плохо продуманного разработчиками системы и неудобного интерфейса сдающий будет совершать ошибки не только из-за своего незнания, но и чисто технического характера (неверная фиксация флажков на полях выбора, ошибочное нажатие кнопок из-за их близкого расположения друг к другу и так далее). Некоторые разработчики программных средств, обращая исключительное внимание на удобство интерфейса для сдающего, забывают о том, что ошибки тестирования могут быть вызваны некорректным заполнением предлагаемой базы вопросов и ответов.

Для современных средств тестирования должен соблюдаться принцип универсальности среды тестирования. Преподавателю необходим рабочий инструмент - оболочка тестирования, которую можно самостоятельно наполнять собственными вопросами. На этапе создания первых систем тестирования были случаи, когда предлагались готовые базы данных с вопросами по определенным предметам, но существовали на практике практически непреодолимые трудности по наполнению таких баз собственными вопросами (использовать уже заполненные готовые базы вопросов можно, а редактировать и создавать свои - нельзя!).

Современные средства тестирования должны быть гибки в настройках, в частности, по числу вопросов в тесте. Очевидно, что число вопросов в тесте, охватывающим материал всего курса, должно быть значительно больше, чем число вопросов для контроля знаний по отдельно выбранной теме этого курса. Учащимся желательно проходить тестирование в одной и той же среде тестирования, чтобы во время сдачи теста-экзамена не отвлекаться на новый и непривычный интерфейс программы тестирования. С учетом сказанного, в современной среде тестирования преподаватель должен иметь возможность самостоятельно устанавливать число вопросов в тесте, а так же критерии оценки прохождения теста. Например, если учащимся читается предмет, не относящийся к профилирующим, то действует более мягкая шкала оценок. Если читаемый предмет относится к профилирующим, то используется более жесткая шкала оценок.

Современная система тестирования должна включать инструментарий, позволяющий преподавателям получать детальную статистику прохождения тестов. Например, какие разделы вызвали наибольшие трудности всей группы людей, сдававших тест.

Разрабатываемые системы тестирования должны быть устойчивы к попыткам обмана со стороны сдающего тест. Это можно обеспечить только выполнением комплексных мер защиты. Если сдача теста проходит под непосредственным наблюдением преподавателя (сотрудника центра, обслуживающего персонала), то требования защите системы тестирования от взлома должны быть значительно мягче, чем в том случае, когда сдача теста осуществляется при слабом контроле за сдающим или при фактически полном его отсутствии. Именно такая ситуация характерна для вариантов, когда человек проходит тестирование со своего домашнего компьютера, связываясь с сервером тестирования по сети Интернет.

1.2 Требования к тестам


Выделяют пять общих требований к тестам:
  • валидность;
  • определенность (общепонятность);
  • простота;
  • однозначность;
  • надежность.

Валидность теста - это адекватность. Различают содержательную и функциональную валидность:
  • первая - это соответствие теста содержанию контролируемого учебного материала;
  • вторая - соответствие теста оцениваемому уровню деятельности.

Выполнение требования определенности (общедоступности) теста необходимо не только для понимания каждым учеником того, что он должен выполнить, но и для исключения правильных ответов, отличающихся от эталона.

Требование простоты теста означает, что тест должен иметь одно задание одного уровня, т.е. не должен быть комплексным и состоять из нескольких заданий разного уровня. Необходимо отличать понятие "комплексный тест" от понятия "трудный тест". Трудность теста принято характеризовать числом операций Р, которое надо выполнить в тесте: Р < 3 первая группа трудности; Р = 3-10 - вторая группа трудности. Не следует также смешивать понятия простоты-комплексности и легкости-трудности с понятием сложности.

Однозначность определяют как одинаковость оценки качества выполнения теста разными экспертами. Для выполнения этого требования тест должен иметь эталон. Для измерения степени правильности используют коэффициент Ка = PI / Р2 , где РI - количество правильно выполненных существенных операций в тесте или батарее тестов; Pt.- общее количество существенных операций в тесте или батарее тестов. Существенными считают те операции в тесте, которые выполняются на проверяемом уровне усвоения.

Понятие надежности тестирования определяют как вероятность правильного измерения величины надежности. Количественный показатель надежности. Требование надежности заключается в обеспечении устойчивости результатов многократного тестирования одного и того же испытуемого. Надежность теста или батареи тестов растет с увеличением количества существенных операций Р.

Итак, при реализации систем компьютерного тестирования необходимо, на мой взгляд, придерживаться именно этих пяти требований к создаваемым тестам. Но проблема компьютерного тестирования стоит намного острее. Реализация в системах тестирования описанных выше пяти требования к тестам не означает того, что созданный комплекс будет отвечать всем требованиям преподавателя и учащегося.

Большинство программных продуктов не дают возможности преподавателю и студенту, учителю и ученику отойти в реальном учебном процессе от традиционных методик: лекционного курса, конспекта, очного контроля знаний, контрольных работ, зачетов, экзаменов. Недостаток этот можно определить следующим: компьютерный курс является авторским по определению, и поэтому обеспечивает высокое качество образования только при соответствующем сопровождении автором (который, в большинстве случаев, не обладает достаточными знаниями в области информационных технологий). Хотя отдельные компоненты компьютерного обучающего, контролирующего или обучающе-контролирующего курса могут использоваться как независимые учебные модули другими преподавателями (а также и при самостоятельном освоении темы), максимальный эффект, скорее всего, может быть достигнут только во взаимодействии с автором- разработчиком курса.

Если же в образовательный процесс, основанный на авторском мультимедиа курсе, включается другой преподаватель, возникает опасность

конфликта личностей, так как на едином образовательном поле сталкиваются не только различные способы методической организации учебного процесса, но и разные личностные подходы.

Что касается проверки качества знаний, неформальный характер процесса оценивания знаний требует применения трудно поддающихся обработке преподавателем компьютерных тестов, необходима активная обратная связь, помогающая оценить правильность усвоения материала, должна быть четко выражена определенность и результативность.

Именно неформальность знаний как таковых, и процесса проверки знаний в частности, породило множество проблем в области компьютерного тестирования, таких как необъективность оценивания, трудность понимания учащимися подготовленных вопросов, медленная работа компьютерных систем, и т.п.

На мой взгляд, инженерия знаний и методы теории искусственного интеллекта помогут создать систему контроля знаний, позволяющую строить модели знаний преподавателя и тестируемого и объективно оценивать знания и умения последнего.