Дрождин В. В., Павкина Е. А

Вид материала

Документы

Содержание Drozhdin V.V., Pavkina E.A.  Conceptual basics of computer-aided estimation of knowledge, abilities and skills.

Подобный материал:

• Дрождин В. В., Герасимова, 88.61kb.
• Дрождин В. В., Масленников А. А., Сергеев А. С. Использование протоколов запросов для, 63.12kb.

Дрождин В.В., Павкина Е.А. Концептуальные основы автоматизированной оценки знаний, умений и навыков обучаемых. // Проблемы информатики в образовании, управлении, экономике и технике: Сб. статей XI Междунар. научно-техн. конф. – Пенза: ПДЗ, 2011. – С. 132 135.

Концептуальные основы автоматизированной оценки знаний, умений и навыков обучаемых

В.В. Дрождин, Е.А. Павкина

Пензенский государственный педагогический университет
им. В.Г. Белинского,
г. Пенза, Россия, drozhdin@self-organization.ru

Рассматриваются системы автоматизированного контроля знаний, умений и навыков обучаемых, хорошо согласованные с процессом обучения и возможностями обучаемых.


Drozhdin V.V., Pavkina E.A.  Conceptual basics of computer-aided estimation of knowledge, abilities and skills. Systems of automated control of knowledge, abilities and skills coordinated with the training process and pupils’ capabilities are taken up.


Развитие образования на современном этапе основное внимание акцентирует на организации активных форм обучения и самостоятельной работы обучающихся. Это требует индивидуального подхода к обучению и наличия развитых средств автоматизированного обучения и контроля знаний обучаемых. Одной из эффективных форм контроля знаний обучаемых в настоящее время является тестирование.

Современные системы тестирования должны быть ориентированы на регулярный контроль в обучении, т.е. необходимо проводить мониторинг оценки качества обучения. Это позволит оперативно выявлять незнание обучаемыми конкретных вопросов и своевременно скорректировать их обучение. При этом определяются индивидуальные тенденции процесса обучения (стабильное обучение, проявление старания, недостаточное приложение усилий к обучению) и стимулы повышения мотивации к непрерывному и глубокому изучению материала (изучение материала и контроль, соответствующие возможностям обучаемого, возможность предварительной оценки в режиме самоконтроля, обучение в соответствии с конкретными рекомендациями системы, проведение тестирования в удаленном режиме и в удобное время, получение более высоких результатов за меньшее время и с меньшими усилиями). Регулярная, в течение всего семестра проверка степени усвоения учебного материала позволяет студенту контролировать свой уровень освоения образовательного стандарта, планировать свою учебную деятельность и более ответственно к ней относиться.

Существующие системы тестирования построены на принципах однозначного распознавания ответов тестируемого и используют выбор, шаблонный ответ, сравнение с образцом, а в наиболее сложных случаях – конструирование ответа из заранее подготовленных элементов.

Для оценки знаний, умений и навыков обучаемого целесообразно использовать широкий набор типов тестовых заданий (ТЗ): одиночный и множественный выбор, открытое задание, упорядочивание, соответствия. Для качественного автоматизированного тестирования знаний обучаемых предлагается использовать более сложные тестовые задания: конструирование, реконструирование и комплексные задания.

Каждому ТЗ в системе должно соответствовать определенное количество баллов за правильный ответ.

Предлагается определять максимальный расчетный балл за выполнение ТЗ на основе объема работы, которую должен выполнить обучаемый для формирования ответа на ТЗ. В качестве эталонной единицы работы будем использовать элементарное решающее действие (ЭРД), представляющее собой установление одной связи между двумя элементами или отнесение одного элемента к одному классу. Причем к ЭРД будут относиться не любые действия, соответствующие полному последовательному перебору возможных вариантов, а лишь те, которые в условиях незнания ответа необходимы для конструирования правильного ответа из набора имеющихся элементов в ТЗ. Таким образом, система должна быть рассчитана на “умных” обучаемых, которым известны метод обучения и правила эффективного конструирования ответов (минимальное достаточное количество действий для формирования правильного ответа на ТЗ соответствующего типа). Сверхэффективное формирование ответа обучаемым возможно только на основе хорошего знания учебного материала, позволяющего осмысленно (семантически) конструировать правильный ответ на ТЗ за меньшее количество действий, принятое в оценке, что выразится в меньшем времени ответа на ТЗ.

Универсальность и элементарность работы, принятой в качестве эталона формирования ответов на ТЗ, позволяет обеспечить высокую объективность оценок и хорошую согласованность всех тестовых заданий независимо от их типов.

Внутреннюю сложность ТЗ предлагается учитывать косвенно, на основе длины текста, составляющего запрос и возможные варианты ответов, так как осмысливать более длинный текст всегда сложнее.

При вычислении баллов за выполнение ТЗ необходимо учитывать как полностью, так и частично правильные ответы. Это позволяет более точно выявлять область знаний обучаемого и давать более точные рекомендации по освоению материала, неизвестного обучаемому.

Накопление информации о последовательных результатах тестирования позволяет определить собственные характеристики процесса обучения для каждого обучаемого и предоставлять тесты, более точно соответствующие его возможностям, а также производить автоматическую адаптацию банка ТЗ путем незначительного повышения или понижения максимальных баллов за ТЗ. Если максимальный балл за ТЗ будет существенно отличаться от расчетного (как в меньшую, так и в большую сторону), то ТЗ с соответствующими замечаниями системы должно быть представлено экспертам для модификации.

Учет времени выполнения ТЗ совместно с правильностью ответов позволяют определить не только область знаний, но и уровень интеллектуальных способностей каждого обучаемого, что позволит формировать контрольные тесты, еще более соответствующие возможностям обучаемых.

Во многих работах предлагается учитывать время ответа на ТЗ только при формировании зачетного балла, и, как правило, если тестируемый затратил больше времени на верный ответ, чем было выделено, то балл уменьшается. С одной стороны, это уместно, если человек использовал подсказку, однако при этом не учитываются возможные психологические моменты, например, волнение.

Учет времени ответа на ТЗ позволяет выявить многие тонкие моменты процесса обучения. Так, если тестируемый быстро и правильно отвечает на группу легких вопросов, то, очевидно, он хорошо ориентируется в изученном материале, и для выявления глубины знаний, а также умений и навыков необходимо повысить уровень сложности вопросов. При затрате большого количества времени на ответ необходимо выяснить причину. Для этого можно задать несколько вопросов из той же тематики и того же уровня сложности.

Если тестируемый затратил мало времени на сложный вопрос и ответил неправильно, то скорее всего он выбрал ответ наугад.

Подводя итог, можно отметить следующее:

- качественные системы автоматизированного контроля знаний, умений и навыков обучаемых должны быть хорошо согласованы с процессом обучения;

- необходим регулярный контроль усвоения знаний для своевременной корректировки процесса обучения;

- использование широкого набора типов ТЗ позволит формировать качественные тесты для оценки знаний, и умений и навыков, хорошо согласованные как с процессом обучения, так и с возможностями каждого обучаемого;

- оценка знаний обучаемых должна осуществляться на основе эффективного процесса конструирования ответа;

- учет правильности и времени ответов на ТЗ для корректной интерпретации результатов;

- автоматическая адаптация банка тестовых заданий и системы в целом как к процессу обучения, так и к контингенту обучаемых.