На правах рукописи

ВОРОБКАЛОВ ПАВЕЛ НИКОЛАЕВИЧ

УПРАВЛЕНИЕ КАЧЕСТВОМ ЭЛЕКТРОННЫХ
ОБУЧАЮЩИХ СИСТЕМ

Специальность 05.13.10 - Управление в социальных и экономических системах

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата технических наук

Волгоград - 2008

Работа выполнена на кафедре Системы автоматизированного проектирования и поискового конструирования Волгоградского государственного технического университета

Защита состоится 13 декабря 2008 года в 1300 часов на заседании диссертационного совета ДМ 212.009.03 при Астраханском государственном университете по адресу: 414056, Астрахань, ул.Татищева,20а, конференц-зал.

С диссертацией можно ознакомиться в библиотеке Астраханского государственного университета.

Автореферат разослан 10 ноября 2008 г.

Ученый секретарь

диссертационного совета, к.т.н. О.В. Щербинина

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время происходит активное развитие электронных форм обучения. Это обуславливает появление большого количества электронных обучающих систем и других инструментальных средств. Электронная обучающая система представляет пользователю обучающие материалы и затем производит контроль его знаний с использованием тестовых заданий. С учетом современных требований, предъявляемых к специалистам, процесс обучения все более усложняется, требования к используемым средствам обучения повышаются. Технологии электронного обучения развиваются, в электронных обучающих системах появляется возможность построения стратегии обучения и отображения обучающих материалов индивидуально для каждого обучаемого (т.н. адаптивные обучающие системы). Ввиду постоянного повышения требований и увеличения затрат на разработку и внедрение электронных обучающих систем становятся необходимыми оценка и управление их качеством. Существующие на настоящий момент методы оценки качества автоматизированных систем не позволяют оценивать обучающие системы с точки зрения результатов процесса обучения. Кроме того, данные методы являются частными и не позволяют управлять качеством на различных этапах жизненного цикла электронных обучающих систем.

Таким образом, актуальной является задача разработки метода и критериев оценки качества электронных обучающих систем, которые бы позволили осуществлять управление качеством с точки зрения результата процесса обучения на стадиях их разработки, внедрения и эксплуатации.

Цель и задачи работы. Целью работы является повышение эффективности обучения с использованием электронных обучающих систем за счет управления качеством на стадиях их разработки, внедрения и эксплуатации.

Для достижения поставленной цели были выделены следующие задачи:

1. Провести анализ процесса жизненного цикла электронных обучающих систем, процесса управления качеством электронных обучающих систем, современных подходов и методов оценки качества электронных обучающих систем.
2. Разработать метод оценки качества электронных обучающих систем, в том числе адаптивных, позволяющий управлять их качеством на различных стадиях их жизненного цикла.
3. Разработать критерии для оценки качества обучающих систем на стадиях их разработки, внедрения и эксплуатации, и алгоритмы их расчета.
4. Реализовать предложенный метод и алгоритмы расчета критериев качества в автоматизированной системе оценки качества обучающих систем.

Объектом исследования являются электронные обучающие системы.

Предметом исследования являются способы повышения эффективности обучения с использованием электронных обучающих систем.

Гипотеза исследования. Если процесс жизненного цикла электронной обучающей системы является управляемым процессом с обратной связью, то формируемые на основе адекватной оценки качества управляющие воздействия позволят повысить качество электронной обучающей системы.

Методы исследования. Для решения поставленных задач были использованы методы системного анализа, теории управления, математического моделирования, искусственного интеллекта.

Научная новизна заключается в разработке нового метода, позволяющего управлять качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации, а именно:

1. разработаны критерии, позволяющие производить оценку качества как на ранних этапах разработки системы (априорные критерии), так и на стадиях внедрения и эксплуатации (апостериорные критерии);
2. разработана имитационная модель процесса обучения, учитывающая значимые с точки зрения результатов обучения характеристики процесса обучения и позволяющая моделировать процесс обучения в различных электронных обучающих системах;
3. разработана концептуальная модель автоматизированной системы оценки качества, поддерживающей процесс управления качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации.

Положения, выносимые на защиту:

1. априорные и апостериорные критерии оценки качества электронных обучающих систем;
2. имитационная модель процесса обучения, учитывающая значимые для оценки качества обучения характеристики процесса обучения, и позволяющая моделировать процесс обучения в различных электронных обучающих системах;
3. метод оценки качества электронных обучающих систем, позволяющий управлять качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации.

Практическая ценность работы состоит в разработке автоматизированной системы оценки качества электронных обучающих систем, реализующей предложенный метод оценки качества и алгоритмы расчета априорных и апостериорных критериев качества.

Реализация результатов работы. Разработанный метод оценки качества, априорные и апостериорные критерии качества и автоматизированная система оценки качества были внедрены в ВолгГТУ, университете Глазго-Каледония г. Глазго, ООО КСИ (компания, специализирующаяся на разработке обучающих игр). Априорные критерии использованы для оценки качества адаптивной обучающей системы в процессе ее разработки, что позволило внести изменения в модель обучаемого системы и повысить ее качество. С помощью апостериорных критериев произведена оценка качества обучающей системы CALMAT, используемой в университете Глазго-Каледония, и адаптивной обучающей системы AHA!, в результате были идентифицированы недостатки данных систем и сформулированы рекомендации по их исправлению. После внесения изменений тестирование показало увеличение среднего уровня знаний студентов после обучения в соответствующих системах. Применение метода оценки качества для управления качеством адаптивных обучающих игр позволило выявить и устранить недопустимые последовательности игровых обучающих заданий, приводящие к снижению результатов обучения.

Апробация работы. Основные положения и материалы диссертационной работы докладывались на Международной научно-технической конференции ИННОВАТИКА-2008 (1-12 октября 2008аг.), Международной научно-технической конференции AISТ08 (3-10 сентября 2008аг.), Международной научно-технической конференции ИННОВАТИКА-2007 (1-12 октября 2007аг.), XI Региональной конференции молодых исследователей Волгоградской области (8-10 ноября 2006аг.), Всероссийской конференции студентов, аспирантов и молодых ученых Технологии Microsoft в теории и практике программирования (г.Москва, 2-3 марта 2006аг.), Международной конференции Информационные технологии в образовании, технике и медицине (г. Волгоград, 23-26 октября 2006 г.), смотре-конкурсе научных, конструкторских и технологических работ студентов ВолгГТУ (г. Волгоград, 11-13 мая 2005 г.), VI Всероссийской конференции Прогрессивные технологии в обучении и производстве (г. Камышин, 18-20 октября 2006 г.), Всероссийской конференции студентов, аспирантов и молодых ученых Технологии Microsoft в теории и практике программирования (г. Москва, 17-18 февраля 2005 г.) и других научно-технических и научно-практических конференциях.

Работа Модель процесса адаптивного обучения удостоена 1-го места на XI Региональной конференции молодых исследователей Волгоградской области, работа Автоматизация оценки качества адаптивных обучающих систем удостоена 1-го места на Всероссийской конференции студентов, аспирантов и молодых ученых Технологии Microsoft в теории и практике программирования 2006аг., Анализ и синтез адаптивных обучающих систем удостоена второй премии на смотре-конкурсе НИРС ВолгГТУ 2005аг.

Публикации. По теме диссертации опубликовано 16 печатных работ общим объемом 3,5 п.л., в том числе 3 публикации в журналах, рекомендованных ВАК РФ.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа содержит 153 страниц основного текста, 53 рисунка, 14 таблиц и список литературы из 122 наименований. Общий объем работы 207 страниц.

Соискатель выражает особую благодарность доценту кафедры САПР и ПК ВолгГТУ, к.т.н. Шабалиной Ольге Аркадьевне за оказанную помощь и консультации в ходе выполнения диссертационной работы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, дана общая характеристика работы.

В первой главе проведен анализ процесса жизненного цикла, процесса управления качеством электронных обучающих систем, выделены достоинства и недостатки существующих подходов, методов и автоматизированных систем, применяемых для оценки качества электронных обучающих систем.

Анализ современных подходов к проектированию показал, что разработка электронных обучающих систем производится в соответствии со спиральной моделью жизненного цикла. При использовании данной модели жизненного цикла оценка качества особенно важна, так как ее результаты используются на каждом следующем витке спирали.

Большой вклад в исследование понятия качества внесли отечественные ученые А.В. Гличев, В.П. Панов, Г.Г. Азгальдов, проблемами качества обучения и образования занимаются такие российские ученые как Н.А. Селезнева, А.М. Новиков, А.Г. Гриценко, М.И. Нежурина, А.И. Гусева и др. Разработку методов оценки качества электронных и адаптивных обучающих систем проводят известные исследователи в области электронного обучения П. Брусиловский, Х. Караганнидис и Д. Сампсон, С. Вайбельзаль, А. Парамизис, К. Стефанидис, Д. Чин и Е. Гердер. В современных подходах под качеством объекта понимается совокупность характеристик, относящихся к его способности удовлетворять установленные и предполагаемые потребности.

Применительно к обучающим системам под качеством будем понимать совокупность характеристик системы, определяющих способность системы обеспечить требуемый уровень знаний обучаемого. Для оценки качества используются значения этих характеристик. Под управлением качеством электронной обучающей системы будем понимать процесс воздействия на ее характеристики (за счет изменения обучающих материалов, механизмов функционирования) с целью достижения требуемого уровня знаний обучаемых после применения данной системы для их обучения. Процесс управления качеством электронных обучающих систем показан на рис. 1.

Рисунок 1 - Процесс управления качеством обучающих систем

Существующие методы оценки качества электронных обучающих систем делят на две группы. Методы первой группы используют подход к оценке качества электронной обучающей системы в целом (as a whole approach). Модель системы в данном случае представляет собой модель черного ящика. Оценка качества обучающей системы в целом осуществляется на основе определения значений наиболее общих критериев качества (производительность, безопасность и т.д.), анализа отзывов пользователей и на основе проверки соответствия стандартам (сертификации). У данного подхода имеется два недостатка: оценка качества в нем производится только на этапе внедрения системы, когда уже существует тестовая версия программного продукта; предоставляемой информации часто недостаточно для улучшения системы.

Методы второй группы (лмногослойный подход, layered approach) были разработаны для оценки качества адаптивных обучающих систем. Адаптивная обучающая система берет на себя ответственность руководства обучаемым в процессе обучения, результат которого впрямую зависит от используемых в системе моделей, методов и механизмов адаптации. Адаптивные обучающие системы характеризуются наиболее сложными внутренними подсистемами, и оценка их качества требует значительных трудозатрат. В данных методах обучающая система представляется как белый ящик. Процесс функционирования системы рассматривается как взаимодействие ее подсистем, каждая из которых оценивается по различным критериям. Это позволяет эффективно идентифицировать недостатки системы и, впоследствии, устранять их.