Актуальность

Согласно Концепции модернизации российского образования можно отметить, что основные усилия по реализации реформы сегодня сосредоточены на увеличении роли информационных технологий. Используются они по-разному: для управления образовательным процессом, для непосредственного обучения, для контроля и проверки усвоения и практического применения полученных знаний обучаемыми.

В настоящее время на уровне Государственных вопросов обсуждается и внедряется новая система принципов и методологии оценивания уровня знаний, как промежуточная, так и итоговая аттестация в форме централизованного тестирования.

Новая эффективная система, основанная на использовании тестовых технологий, вызвана потребностью в получении независимой объективной оценки уровня и качества образования обучающихся, а также качества деятельности учреждений образования.

Такая объективная информация служит не только основой для анализа результатов обучения, внедрения и совершенствования использования инновационных образовательных технологий, профессиональных форм и методов обучения, но и средством проектирования своей педагогической деятельности с конкретным контингентом учащихся. Контроль уровня и качества образования обучающихся является обязательным компонентом учебного процесса.

При этом для многих средних специальных учебных заведений актуальным вопросом является использование информационных технологий при разработке автоматизированных систем обучения и контроля знаний.

Ведь использование подобного типа систем в образовательном процессе позволит применить новые адаптивные алгоритмы тестового контроля, использовать в тестовых заданиях мультимедийные возможности компьютеров, уменьшить объем бумажной работы, ускорить процесс подсчета результатов опроса, упростить администрирование, снизить затраты на организацию и проведение тестирования. Можно отметить, что компьютерные системы контроля знаний приобретают все большую популярность, что объясняется их объективностью, доступностью и экономической эффективностью.

Внедрение компьютерного тестирования создает предпосылки для проведения очень широкого круга исследований, и в первую очередь оценки уровня подготовки специалиста, мониторинга психофизиологического состояния обучаемого и оценки качества теста.

Целью данной разработки является изучение особенностей внедрения компьютерного тестирования, выбор и адаптация тестовой оболочки, влияние компьютерного тестирования на качество подготовки студентов к итоговой (промежуточной) аттестации по информатике в системе профессиональной подготовки учителя начальных классов.

Задача данной разработки: обобщение опыта работы по адаптации оболочки тестового контроля в курсе информатики и информационных технологий.

Предметом исследования являются особенности адаптации программы компьютерного тестирования.

Объектом исследования является качество обучения.

В разработке уделяется большое внимание соответствию результатов обучения Государственным стандартам обучения.

Тестовые задания представлены по следующим темам базового курса:

Операторы графики в языке QBasic.
Программное обеспечение общего назначения.

Введение

Важнейшей задачей, стоящей перед системой среднего специального образования, является разработка независимой системы оценки качества обучения. Независимой система оценки качества обучения может стать лишь при использовании современных компьютерных образовательных технологий, в частности, компьютерного тестирования. Для эффективного внедрения компьютерного тестирования с целью оценки качества обучения в ССУЗах необходимо:

создать отвечающий государственным стандартам банк тестовых заданий по различным дисциплинам;
отработать технологии тестирования;
подготовить специалистов-тестологов.

Разработка банка тестовых заданий должна быть проведена на основе государственного образовательного стандарта.

На сегодняшний день превалирует мнение, что стандарт – это некий содержательный минимум, гарантируемый государством. Поэтому к минимуму надо относиться, как к минимуму, и не сводить все обучение к его достижению. Таким образом, в сфере образования воедино сливаются интересы государства и личности.

Мониторинг качества образования отражает ту новую ситуацию, при которой личность выступает не только как объект обучения, но и как субъект образовательной деятельности.

Информацию о реальных результатах обучения на разных уровнях можно получить через массовые обследования.

Инструментом массового обследования могут служить массовые измерения уровня обученности, а непосредственным объектом измерения уровня обученности является деятельность учащихся, так как учебные достижения проявляются опосредованно, через деятельность по выполнению определенных заданий.

При отборе содержания педагогических оценочных материалов учитывается то, что формирование основных знаний и умений необходимо проверять на стадии их завершения, то есть, при завершении отдельных или нескольких тем, разделов, курса. Задания должны быть подобраны таким образом, чтобы обеспечить получение информации об усвоении темы или раздела в целом, а также об усвоении отдельных элементов и различных уровнях усвоения основных знаний и умений.

На всех этапах подготовки баз тестовых заданий, формирования тест – билетов, проведения тестирования и обработки его результатов необходимо применение компьютера. С помощью компьютерных программ можно также получить значительное число различных количественных показателей, позволяющих осуществить более глубокий анализ результатов учебных достижений.

Теоретическое обоснование выбранной проблемы

Так как отечественная тестология - еще очень молодая наука и находится в стадии становления, то одной из важнейших проблем является формирование понятийного и терминологического аппарата. В настоящий момент в различных изданиях по теории и практике тестирования можно встретить различное толкование и определение одних и тех же понятий, для обозначения одного явления может использоваться несколько синонимических терминов, основная группа терминов имеет иноязычное происхождение - их перевод или калькирование, использование в русском языке может привести к различным толкованиям (Например, у нас тестирование - это проверка знаний посредством теста, за рубежом под тестированием понимается любое экзаменационное испытание).

Существуют различные точки зрения при определении понятия «тест».

1) Приведем определение теста как инструмента педагогического измерения данное Майоровым А.Н.

Тест - это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, сдандартизированной процедуры проведения и заранее спроектированной технологии и анализа результатов для измерения качеств и свойств личности, учебных достижений, изменение которых возможно в процессе систематического обучения.

2)Другая точка зрения, изложенная в работах Аванесова В.С., предполагает различение теста как метода и теста как инструмента.

Термин «тест» может использоваться для обозначения 1) метода педагогического измерения; 2) инструмента педагогического измерения.

Тест как метод предполагает технологию измерения, которая включает в себя разработку системы тестовых заданий с заданными качественными и количественными характеристиками для объективного и надежного оценивания учебных достижений испытуемых, стандартизированную процедуру проведения тестирования, методы статистической обработки, анализа и интерпретации полученных результатов.

Тест как инструмент измерения определяется как система заданий (в большинстве случаев возрастающей трудности) специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений и навыков учащихся [1].

Слово «тест» в первом значении имеет научный аспект и используется учеными-тестологами, которые знают обо всех этапах разработки и применении теста, а также о теоретическом обосновании выбранных способов проверки и обработки полученных результатов в соответствии с классической теорией тестов или современной теорией тестов.

Второе значение чаще возникает в практической области: в сознании тех, кто его использует или испытуемых, которые выполняют тест. Чаще используется именно второе значение. Но при этом надо помнить, что тест как измерительный инструмент является частью научного метода измерения (тестирования, теста) и соответственно должен отвечать ряду требований по его разработке, использованию и оцениванию результатов, которые определяются научными подходами.

Отличия теста от других форм контроля

Содержание теста подвергается четкому планированию. На стадии разработки теста проходит отбор содержания, которое будет подвергаться проверке, планируется форма заданий, их количество и расположение. Содержательный план теста анализируется экспертами.
Форма заданий. В тестах форма заданий стандартизирована - по форме предъявления и по форме записи ответов.
Наличие статистических характеристик у тестовых заданий. Заранее известно, какова трудность предлагаемого задания, будет ли оно одинаково выполняться слабыми и сильными испытуемыми или нет (дифференцирующая способность) и др.
Наличие специальных шкал, которые соотнесены со стандартизированными нормами, для подведения результатов тестирования.
Наличие оценок точности измерения (ошибки измерения). С помощью статистических методов мы можем оценить ошибку измерения, а по результатам оценки принять или не принять результаты тестирования.

Отличительные особенности теста определяют преимущества теста перед традиционными формами контроля учебных достижений: объективность, надежность, точность, экономичность измерений.

Если объединить цели тестирования и основные подходы к созданию тестов, то можем получить следующую классификацию видов тестов:

Рисунок 1

По средствам предъявления педагогические тесты делятся

бланочные, в которых испытуемые отмечают или вписывают правильные ответы на бланке;
компьютерные - задания высвечиваются на мониторе компьютера.

Преимущества компьютерного тестирования в быстроте обработки и экономии бумаги. Но есть и некоторые недостатки. Компьютерное тестирование может провоцировать случайные ошибки (если испытуемый плохо владеет компьютером), невозможность исправить допущенную ошибку может снизить результат.

По степени однородности задач:

гомогенные, предназначенные для контроля знаний и умений по одному предмету или дисциплине;
гетерогенный, предназначенный для измерения уровня подготовленности по нескольким учебным предметам.

Тест представляет собой систему заданий, которые принято называть тестовыми заданиями. Тестовое задание направлено на проверку определенного элемента содержания и должно отвечать ряду требований.

Создавая базы тестовых заданий для оценки качества образования необходимо стремиться к тому, чтобы все формы тестовых заданий, которые могли бы быть обработаны персональным компьютером (ПК) были бы представлены.

В зависимости от дисциплины, по которой создается база тестовых заданий, соотношение между формами может быть различным, что определяется спецификой конкретной дисциплины.

Типы и формы тестовых заданий представлены на рис. 2.

Рисунок 2

Структура тестового задания следующая:

стандартная инструкция по выполнению задания;
основное содержание задания, где формулируется проблема, вопрос, задача, которые должен решить испытуемый;
эталонный ответ и правила для оценки его выполнения.

Задания закрытого типа

Задания закрытого типа с выбором правильных ответов предполагают выбор правильного ответа из предложенных вариантов. Задание такой формы состоит из инструкции, основной части и вариантов ответов.

Основной текст задания формулируется в виде утверждения, иногда в форме вопроса, может включать график, рисунок, формулы, диаграммы и др.

Далее следуют варианты ответов, где правильным является чаще всего только один. Остальные варианты ответов, неправильные, но правдоподобные, т.е. похожие на правильные, называются дистракторами (от англ. Distract - отвлекать).

Задания с выбором нескольких правильных ответов

В некоторых случаях в закрытых заданиях предполагается не один, а несколько правильных ответов. Например, Централизованное тестирование и ЕГЭ по русскому языку предлагает именно такие задания. Такие задания ставят перед испытуемым более сложную задачу, чем традиционные задания закрытого типа. Учащийся должен не только выбрать правильный ответ, но и самостоятельно определить количество правильных ответов.

Задания на установление соответствия

Задания на установление соответствия - это такие задания, когда испытуемых должен определить соответствия между элементами двух множеств.

Задания на установление соответствия используются для проверки классификационных, систематических и фактических знаний, то есть понимание связей между различными предметами, явлениями, законами, формулами, классами и др.

Инструкция к таким заданиям имеет вид:

Установите соответствие

Далее предлагается два множества, в виде списков элементов.

Задания на установление правильной последовательности

Тестовые задания этой формы предназначены для проверки знаний последовательности определенных действий, процессов, алгоритмов выполнения, последовательности событий во времени и др.

Задание предполагает, что испытуемый должен установить правильный порядок предложенных элементов: действий, событий и др., связанных определенной задачей. Порядок указывается с помощью цифр в специально отведенном месте.

Инструкция к заданию на установление правильной последовательности имеют следующий вид:

Установите правильную последовательность

Задания открытого типа

Отличительной особенностью заданий открытого типа является то, что в процессе их выполнения испытуемый сам записывает правильный ответ (слово, выражение, число, формулу и т.д.). Различают две формы заданий открытого типа: задания на дополнение и задания со свободно конструируемыми ответами (задания свободным развернутым ответом).

Задания на дополнение

Задания на дополнение предполагают, что ответ формулируется самим тестируемым: это может быть формула, числовое выражение, слово и др. Задания на дополнение предполагает краткий ответ.

Задание на дополнение сопровождается инструкцией: Дополните. Далее следует основная часть задания, где формулируется проблема и делается пропуск на месте элемента, знание которого проверяется.

Технология опыта

Процесс создания педагогического теста, который должен стать эффективным, научно обоснованным средством измерения учебных достижений, предполагает ряд этапов.

Определение цели тестирования, области содержания, выбор вида теста, подхода к его созданию.
Анализ содержания учебной дисциплины и отбор содержания для теста.
Определение структуры теста. Разработка спецификации теста.
Составление тестовых (предтестовых) заданий.
Экспертный анализ содержания и формы тестовых заданий.
Переработка содержания и формы заданий по результатам экспертизы.
Разработка и проведение пробного тестирования.
Сбор эмпирических результатов.
Статистическая обработка результатов тестирования.
Оценка качества тестовых заданий и теста в целом с помощью статистических методов.
Корректировка теста по результатам предыдущего этапа.
Составление окончательного варианта теста, нормирование (установление норм) и стандартизация теста.

Определение целей тестирования

Этап целеполагания является наиболее трудным и вместе с тем очень важным: от результатов его выполнения в первую очередь зависит качество содержания теста. В процессе постановки целей разработчику необходимо решить вопрос о том, какие результаты испытуемых он хочет оценить с помощью тестов.

Анализ содержания учебной дисциплины и отбор содержания для теста

После того, как определены цели тестирования, выбран вид теста и уточнены подходы создания теста разработчики приступают к следующему этапу - отбору содержания теста.

Так как основная функция теста - это контроль за уровнем учебных достижений по определенным областям знаний, предметам и дисциплинам, то тест как измерительный инструмент должен быть адекватен по отношению к проверяемому материалу. Содержание теста должно оптимально соответствовать содержанию учебной дисциплины. Чтобы достичь этого соответствия, необходимо проанализировать содержание проверяемого предмета, раздела, темы и т.д., выделить самые важные элементы, которые требуют проверки, определить, какие знания и умения в этой области содержания будут проверяться с помощью тестовых заданий. Можно утверждать, что чем полнее содержание теста, тем больше обоснованность и значимость результатов тестирования и соответственно выше качественная оценка знаний испытуемых.

Определение структуры теста. Разработка спецификации теста

Опираясь на анализ содержания дисциплины, далее разрабатывается план теста. Разработчик должен определить, из скольких частей (субтестов) будет состоять тест, планируемое количество заданий, какие формы тестовых заданий будут использоваться. Планирование теста предполагает определение соотношения элементов содержания и необходимого количества заданий для их проверки, которое определяется значимостью и количеством времени, отведенном на изучение. Пример спецификации показан в таблице 1.

Краткая спецификация теста промежуточной аттестации по информатике за 2 семестр I курс

Содержание раздела	Предполагаемая деятельность испытуемого
	Репродуктивный уровень		Продуктивный уровень
	Знание определений, фактологического материала, и т.п.	Применение знаний в знакомой ситуации по образцу	Применение знаний в незнакомой ситуации
Общеобразовательная часть теста (20 заданий), из них:	8заданий	10 заданий	2 задания
Графический режим (2 задания, 10%)	1 задание	1 задание	-
Графические примитивы (10 заданий, 50%)	3 задания	6 заданий	1 задание
Произвольное рисование (7 заданий, 35%)	4 задания	3 задания	-
Углубленная часть теста (1 задание, 5%)	-	-	1 задание

Таблица 1

Составление тестовых заданий

Составление тестовых заданий - один из важнейших этапов в процессе создания теста. Один из ведущих принципов составления заданий - принцип конгруэнтности, т.е. соответствия содержания заданий проверяемой области содержания. Разработчики должны четко представлять, какой конкретный элемент содержания или умение проверяет каждое задание.

Составление задания начинается с формулировки основной его части. Отечественные тестологи не пришли к единому мнению, в какой форме - в форме вопроса или утверждения - это лучше делать. В.С.Аванесов считает, что именно утверждение позволяет четко и логично сформулировать проблему перед испытуемым. «Семантическое преимущество заданий заключается в лучшем понимании их смысла и значения. Это связано, во-первых, со словесным составом задания в тестовой форме: смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса. В тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения интонации». Но зарубежный опыт использования тестов показывает, что и вопрос в задании используется часто. Так по рекомендациям Голландского института CITO при составлении тестовых заданий лучше применять прямые вопросы.

Рекомендуется начинать составление задания с формулировки правильного ответа, это помогает избежать возникновения нескольких правильных ответов на задание. В заданиях закрытого типа при подборе дистракторов надо помнить о том, что все дистракторы должны быть равно привлекательны. Подбор дистракторов - достаточно сложная задача. Иногда для их создания можно использовать неправильные ответы самих учащихся. На предварительном тестировании испытуемым даются задания в открытой форме на дополнение. Систематические ошибки учащихся при выполнении задания и будут правдоподобными дистракторами.

Легче всего проверять задания в закрытой форме, так как существует компьютерная технология проверки и обработки результатов.

Составителями тестовых задания могут быть как отдельные авторы, так и коллектив разработчиков.

Проведение пробного тестирования

Следующий этап в создании теста - это проведение апробации теста (пробное тестирование, предварительное тестирование). Пробное тестирование преследует несколько целей:

выявление заданий, в которых есть недостатки (несоответствие трудности заданий уровню подготовленности испытуемых; непонятные или двусмысленные формулировки заданий, выявление неработающих дистракторов в заданиях закрытой формы и др.);
определение статистических характеристик тестовых заданий и теста в целом.

Для пробного тестирования готовятся инструкция для учащихся, как выполнять тест, инструкция для проводящих тестирование (наблюдателей), инструкция по апробации (какие эмпирические данные необходимо собрать).

Апробация проводится на репрезентативной выборке испытуемых с четким соблюдением правил проведения тестирования.

Для проведения пробного и контрольного тестирования в практике работы используется тестовая оболочка Super Test, позволяющая создавать базу данных с результатами тестируемых.

Преимущества программы:

Четкая шкала оценочных результатов.
Предоставление вопросов в случайном порядке.
Возможность прикрепления к заданиям графических объектов.
Возможность распределения заданий по группам.
Защита разработчиком заданий от несанкционированного доступа.
Возможность ограничения тестирования по времени.
Сообщение результатов тестирования учащимся.
Удобный и понятный интерфейс.

Недостатки программы:

Предоставление только трех форм заданий (закрытого типа, с выбором нескольких вариантов ответа и открытого типа).
Отсутствие статистических методов обработки результатов тестирования.

Структура генератора тестов приведена на рисунке:

Рисунок 3

Работа с программой Super Test

Диалог с программой построен на оконном стандарте. Он прост в освоении и не требует специальных знаний по работе с компьютером. Набор вопросов можно менять для каждой отдельной группы и для каждого учащегося. Система пригодна для использования при изучении любого предмета. Хорошо подобранный набор тестов позволяет оперативно (в течение 10-15 мин.) и достаточно точно оценить знания учащихся.

Заполнение полей вкладки Ввод данных
Формирование содержания теста на вкладке Вопросы и ответы

Рисунок 4

В соответствии с составленной спецификацией определить параметры теста.

Рисунок 5

продолжительность тестирования;
отображение результатов тестирования;
разделение вопросов на группы;
случайный выбор ответов;
ручная регулировка шкалы результатов;

Рисунок 6

Установить защиту содержания теста.

Рисунок 7

Банк тестовых заданий находится в отдельной папке. Список тестовых заданий по темам или предметам доступен как преподавателям, так и тестируемым.

Рисунок 8

Все ответы, как и результаты, записываются в базу данных для дальнейшей обработки. Преподаватель имеет возможность просмотреть их качество и сделать выводы относительно корректировки курса или индивидуальных занятий с отстающими. Система хранит информацию в течение всего периода обучения для проведения анализа динамики знаний учащихся. В идеальном варианте эти данные хранятся на протяжении всего времени, в течение которого читается курс, и служат основой для оценки и возможной корректировки курса.

Практика показывает, что при работе над созданием педагогического теста наиболее трудоемкими являются этапы 8-10, поскольку сбор статистических данных обычно занимает много времени, а решение вопроса о репрезентативности выборки требует проведения дополнительных экспериментов.

Активное участие в разработке тестовых заданий и их введении в систему компьютерного тестирования принимают студенты в рамках изучения учебного курса «Информационные и коммуникационные технологии в образовании». На лекциях студентам излагаются основы теории и практики современной тестологии, рассматриваются компьютерные системы, которые используются в практике тестирования. В рамках зачетной работы студенты 3 курса (специальности «Математика» и «Русский язык») разрабатывают тестовые задания открытого и закрытого типов, задания на соответствие и на установление правильной последовательности. С использованием конструктора тестов студенты учатся вводить различные типы заданий в систему Super Test.

Результативность

Мониторинг качества знаний, опирающийся на информационные и коммуникационные технологии, позволяет сохранить интенсивный темп проверок, не нарушая привычный ритм работы преподавателей и учащихся, определяемый учебным планом. Многообразие современных тестовых оболочек предоставляет возможность адаптировать любую из них к особенностям изучаемых учебных курсов.

Адаптация тестовых оболочек в ССУЗе позволяет упростить проведение как промежуточного, так и итогового контроля, подготовить студентов к централизованному тестированию, способствует преодолению психологического барьера перед компьютерным тестированием.

Результаты централизованного тестирования студентов II курса 21 группы специальность «Преподавание в начальных классах» специализация «Иностранный язык» показали, что 100% студентов освоили все дидактические дисциплины учебного курса.

Результаты централизованного тестирования студентов II курса 22 группы специальность «Преподавание в начальных классах» специализация «Информатика» показали, что 78% студентов освоили все дидактические дисциплины учебного курса.

Список литературы

Аванесов, В. С. Композиция тестовых заданий/ В. С. Аванесов. – М.: Ассоциация инженеров-педагогов, 1996 . – 191 с.
Аванесов, В. С. Научные проблемы тестового контроля знаний/ В. С. Аванесов. – М.: ИЦ ПКПС, 1994. – 135 с.
Апатова, Н. В. Информационные технологии в школьном образовании/ Н. В. Апатова. – М., 1994.
Беспалько, В. П. Педагогика и прогрессивные технологии обучения/ В. П. Беспалько. – М., 1995.
Буравлёв, А. И., Переверзев, В. Ю. Выбор оптимальной длины педагогического теста и оценка надежности его результатов/ А. И. Буравлёв, В. Ю. Переверзев// Дистанционное образование. – 1999. - №2.
Васильев, В. И., Тягунова, Т. Н. Культура адаптивного тестирования/ В. И. Васильев, Т. Н. Тягунова. – М.: Дрофа, 2003.
Дьяконов, В., Новиков, Ю., Рычков, В. Компьютер для студента/ В. Дьяконов, Ю. Новиков, В. Рычков. – СПб., 2000.
Майоров, А. Н. Тесты школьных достижений: Конструирование, проведение, использование/ А. Н. Майоров. – СПб., 1994.
Машбиц, Е. И. Психолого-педагогические проблемы компьютеризации обучения/ Е. И. Машбиц. – М., 1998.
Нейман, Ю. М., Хлебников, В. А. Введение в теорию моделирования и параметризации педагогических тестов/ Ю. М. Нейман, В. А. Хлебников. – М.: Прометей, 2000. – 170 с.
Переверзев, В. Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов/ В. Ю. Переверзев. – М., 1999.
Проект отраслевого терминологического стандарта Центра тестирования: Педагогические тесты. Термины и определения. u/dict/dict1.htm.
Родионов, Б. У., Тарур, А. О. Стандарты и тесты в образовании/ Б. У. Родионов, А. О. Тарур. – М.: МИФИ, 1995. – 48 с.
Соловов, А. В. Информационные технологии обучения в профессиональной подготовке/ А. В. Соловов// Информатика и образование. – 1996. - № 1.
Челышкова, М. Б. Разработка педагогических тестов на основе современных математических моделей: Учеб. пособие/ М. Б. Челышкова. – М., 1995.
Челышкова, М. Б., Савельев, Б. А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе/ М. Б. Челышкова, Б. А. Савельев. – М.: ИЦ ПКПС, 2000. – 409 с.

Перейти к оглавлению

Blog

Актуальность

Содержание