Книги по разным темам
Pages: | 1 | 2 | 3 | На правах рукописи
Сивицкий Павел Александрович МЕТОДЫ ОЦЕНКИ КАЧЕСТВА КОНТРОЛИРУЮЩИХ МАТЕРИАЛОВ И ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ ИХ ПРИМЕНЕНИЯ В АДАПТИВНЫХ ОБУЧАЮЩИХ СИСТЕМАХ 05.13.01 - Системный анализ, управление и обработка информации
Автореферат диссертации на соискание ученой степени кандидата технических наук
Тула 2006
Работа выполнена в ГОУ ВПО Тульский государственный университет на кафедре Аэрология, охрана труда и окружающей среды.
Научный консультант: кандидат химических наук Савинова Людмила Николаевна
Официальные оппоненты: доктор технических наук, профессор Фомичев Александр Александрович кандидат технических наук Логвинов Сергей Сергеевич
Ведущая организация: Институт повышения квалификации и переподготовки работников образования
Защита состоится УФ _ 2006 г. в _ час. _ мин. на заседании диссертационного совета Д 212.271.05 при ГОУ ВПО Тульский государственный университет (300600, г. Тула, пр. Ленина, 92 (9101)).
С диссертацией можно ознакомиться в библиотеке ГОУ ВПО Тульский государственный университет.
Автореферат разослан У_Ф _ 2006 г.
Ученый секретарь диссертационного совета В.М. Панарин 2
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность работы. В России задача повышения качества образования является актуальной и приоритетной проблемой. Это нашло отражение в "Концепции модернизации российского образования на период до 2010 года". Одним из основных элементов реализации данной Концепции является внедрение в образовательный процесс дистанционных средств обучения.
Развитие современных информационных технологий позволило использовать в дистанционном образовании методы традиционного обучения на основе поведенческих моделей, диалогового общения, анализа графических объектов и т.д. Это дает возможность не только снизить эффект отсутствия непосредственного контакта обучаемого с преподавателем, но и реализовывать принципиально новые методы оценки уровня знаний.
Организация взаимодействия с пользователем на основе имитации диалогового общения, распознавания образов является основой создания интеллектуальных систем, находящих применение в различных проблемных областях: медицине, экологии, психологии, экономике, управлении, образовании и других.
Разнообразие видов и методов применения контролирующих материалов ставит вопрос оценки их качества. Основные исследования в этом направлении проводятся в нашей стране В.С. Аванесовым, М.Б.
Челышковой, А.Н. Майоровым, В.А. Хлебниковым, О.А. Татуром и др.
Существует множество параметров, по которым можно оценить качество того или иного метода контроля или характеристики той или иной тестовой системы. Однако остро встает вопрос о создании централизованной оценки качества контролирующих материалов, выработки единого подхода к решению данной проблемы. Необходимо создание методики выбора конкретного метода для конкретного вида, типа и цели применения контролирующего материала. Это повысит эффективность применения и объективность оценки получаемой при работе с обучающей системой.
Объединение различных методов получения количественных оценок качества контролирующих материалов, в комплексную методику даст пользователю возможность выбора оптимального для применения метода в каждом конкретном случае. Кроме решения прямой задачи оценки качества данная методика позволит решать задачи управления, автоматизации и принятия решений при работе с обучающими системами, на основе единых параметров.
Исходя из выше сказанного, данную работу можно считать не только актуальной, но и первоочередной в решении в данной области.
Целью диссертационной работы является повышение эффективности использования контролирующих материалов в адаптивных обучающих системах с помощью модели вербального общения. Создание комплексной методики оценки качества контролирующих материалов.
Задачами исследования являются:
1) Исследование средств индивидуализации изложения материала для адаптивных обучающих систем и тенденций их развития;
2) Исследование существующих методов получения качественных характеристик контролирующих материалов в обучающих системах;
3) Разработка принципов построения и структуры интеллектуальной системы вербального общения для адаптивных обучающих систем;
4) Разработка комплексной методики получения и применения количественных показателей качества контролирующих материалов;
5) Разработка программного обеспечения архитектуры и компонентов тестового пространства адаптивной обучающей системы;
6) Разработка программного комплекса для автоматизации получения количественных характеристик качества контролирующих материалов на основе разработанной комплексной методики;
7) Экспериментальное подтверждение применимости предложенной методики.
Объектом исследования являются автоматизированные обучающие системы.
Предметом исследования являются средства организации активного взаимодействия автоматизированной обучающей системы с пользователем.
Методы оценки качества контролирующих материалов.
Методы исследования. В работе используются методы системного и структурного анализа, математической статистики, алгебры логики, искусственного интеллекта, нейронных сетей, поведенческих моделей, комбинаторики и инженерии знаний.
Научная новизна.
1) Предложена комплексная методика оценки качества исполнения контролирующих материалов.
2) Предложена модель вербального общения, разработанная для применения в автоматизированных обучающих системах.
Достоверность научных положений, выводов и рекомендаций обеспечивается выбором и соответствующим применением современных методов исследований, корректностью формулировок и логически строгим построением доказательств, утверждений и следствий, обоснованным выводом соотношений и правил, на основании которых производится построение моделей и подтверждается непротиворечивостью выдвигаемых гипотез и экспериментальных данных.
Результаты, выносимые на защиту
:
1) Комплексная методика оценки качества контролирующих материалов;
2) Модель вербального общения как средство повышения эффективности адаптации изложения материалов, в обучающих системах;
3) Программная реализация тестового пространства для автоматизированной обучающей системы;
4) Программный комплекс автоматизированного получения качественных характеристик контролирующих материалов с элементами экспертной системы.
Реализация результатов работы: Теоретические исследования завершены созданием на их основе математического, алгоритмического и программного обеспечения задачи создания подсистемы контроля знаний в АОС. Созданы и внедрены 4 тестовые модели. Автоматизирован процесс получения количественных показателей качества контролирующих материалов.
Результаты работы входят в следующие госбюджетные темы: Тема №НМ-2000 УРазработка дифференцированной системы контроля знаний в сфере дистанционного обученияФ; Тема №5 НМ-2000 Формирование университетского фонда курсов ДО для всех ступеней высшего профессионального образования; Тема №6 НМ-2000 Подготовка и повышение квалификации научно-педагогического персонала системы дистанционного образования (доля вклада 0.1); Тема 56-1 Разработка дифференцированной системы контроля знаний в сфере дистанционного обучения; Тема 57-01 Формирование университетского фонда курсов ДО для всех ступеней высшего профессионального образования Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на следующих конференциях: IV международная выставка Московская ярмарка образования 2001, Москва, 2001; V международная выставка Московская ярмарка образования 2002, Москва, 2002; XI Международная Конференция-Выставка ИТО 2001, ВВЦ, Москва 2001; XII Международная Конференция-Выставка ИТО 2002,ВВЦ, Москва 2002; IV выставка-ярмарка Современная образовательная среда, ВВЦ, Москва, 2002; Региональная педагогическая мастерская Сайтостроительство и компьютерные коммуникации в образовании, на базе Тульского государственного коммунально-строительно техникума, Тула 2003г; Научно-теоретическая меж. вузовская конференция с международным участием, V Царскосельские чтения, Санкт-Петербург, 2001;
Межвузовская научно-практическая конференция Компьютерные технологии в науке, практике и образовании, Самара, 2003 г; Всероссийская научно-методическая конференция "Открытое образование и информационные технологии" Пенза, 2005 г.
Публикации. По результатам выполненных исследований опубликовано 11 работ.
Объем и структура диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы (145 наименований) и приложений. Основное содержание диссертационной работы изложено на 130 страницах машинописного текста, иллюстрированного таблицами и рисунками.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснованна актуальность тем, дана общая характеристика работы.
В первой главе приведены существующие классификации компьютерных средств учебного назначения, освещено современное состояние в области подсистем контроля знаний, освещен вопрос формирования индивидуальной траектории обучения при работе с АОС.
Описываются следующие классификации компьютерных средств учебного назначения: по принципам взаимодействия программных обучающих сред и обучаемого, по способу организации обучающих средств, классификация Кривошеева А.О., классификация Савельева А.Я., классификация Соловова А.В. Рассмотрены преимущества и недостатки существующих классификаций, общие вопросы классификации объектов, на основе фасетных и иерархических классификаций. Сделан вывод о целесообразности использования смешанной фасетной классификации для создания единой универсальной классификации автоматизированных средств учебного назначения, удовлетворяющая стандарту ISO 8402:1986.
Выполнен краткосрочный анализ объемов проводимых испытаний за последние три года, с 2003 по 2006. По результатам этого анализа хорошо видно снижение интереса и доверия к централизованным тестированиям различной степени автоматизации, как бланочным, так и компьютерным.
Восстановление позиций автоматизированной оценки контроля знаний возможно лишь с помощью проработки целесообразности их применения в каждом случае, усовершенствования форм её проведения, оценки качества контролирующих материалов. Высока потребность в новых формах организации процесса обучения в дистанционных системах. Обращая внимание на опыт иностранных коллег видна необходимость разработки таких моделей контроля знаний, как анализ графических объектов и имитация диалогового взаимодействия. Существующие на данный момент разработки в этих областях принадлежат коммерческим структурам: NCS Pearsons, Harcourt Educational Measurement, CTB-McGraw-Hill, Riverside Pulis-hing, Educational Testing Service.
С целью обоснования необходимости разработки новых способов взаимодействия с пользователем и реализации методов контроля качества этих средств, рассмотрен вопрос формирования индивидуальной траектории обучения при работе с обучающей системой.
Рисунок 1. Формирование индивидуальной траектории обучения.
При разработке индивидуальной траектории автоматизированная система обучения строит граф зависимостей уровня подготовленности, как по отдельному терму, так и по их группам (разделам дисциплины), учитывая усреднённые функции забываемости термов и поведенческие модели. Такой подход повышает качество и уровень подготовки, использование новейших моделей оценки знаний позволяет лучше адаптировать изложение материала под каждого конкретного обучаемого. Таким образом, решается одна из основных проблем дистанционного обучения, отсутствие непосредственного взаимодействия между преподавателем и студентом.
Во второй главе диссертационной работы показана структура автоматизированной обучающей системы Виртуальный клон разработанной в лаборатории Технологий и методологических основ дистанционного образования под руководством Кузнецова А.А., Ватулина Я.С. в Тульском государственном университете. Приведено обоснование необходимости разработки и внедрения в её состав следующих типов тестовых структур:
Х Обработчик активных зон фрейма;
Х Лексико-семантический анализатор;
Х Семантико-стилистический анализатор;
Х Выбор альтернативных вариантов.
Рисунок 2. Структура автоматизированной обучающей системы.
Реализация перечисленных тестовых конструкций позволит формировать реакции системы на действия учащегося, обеспечить обратную связь с пользователем. Тестирующие компоненты, включаемые в определенных опорных точках дидактического материала, являются структурами управления учебным процессом, которые в соответствии с инструкциями, изложенными в базе знаний системы, реализуют целевую функцию конкретного учебного концепта.
Обработчика активных зон фрейма предполагает указание пользователем объекта или фрагмента изображения, который, по его мнению, может считаться ответом на поставленный вопрос. Данный инструмент может успешно использоваться для реализации тестовых структур репродуктивного уровня деятельности. Шумовая устойчивость модели определяется количеством и площадью активных зон. Помимо своего прямого Ч диагностического назначения, такая тестовая структура позволит получить значительный дополнительный дидактический эффект если изучаемый материал представлен, например, в виде деловой игры, с использованием специальных средств компьютерной анимации.
Выбор альтернативных вариантов предполагает указание пользователем правильного варианта ответа на поставленную задачу из избыточного их количества. Данный тип тестовых структур широко распространен в данное время в результате простоты его использования и составления. Шумовая устойчивость определяется количеством предлагаемых вариантов. Основным преимуществом её реализации внутри АОС Виртуальный клон является большая гибкость при создании тестов.
Построение тестовых структур на основе различных лингвистических анализаторов потребовало разработки модели вербального общения.
Pages: | 1 | 2 | 3 | Книги по разным темам