Книги, научные публикации
- 1 -
На правах рукописи
КАРПОВА Ирина Петровна ИССЛЕДОВАНИЕ И РАЗРАБОТКА ПОДСИСТЕМЫ КОНТРОЛЯ ЗНАНИЙ В РАСПРЕДЕЛЕННЫХ АВТОМАТИЗИРОВАННЫХ ОБУЧАЮЩИХ СИСТЕМАХ Специальность 05.13.13 -
Телекоммуникационные системы и компьютерные сети
АВТОРЕФЕРАТ
диссертации на соискание ученой степени кандидата технических наук
Москва 2002 - 2 -
Работа выполнена в Московском Государственном институте электроники и математики (техническом университете) Научный руководитель доктор технических наук, профессор Е.А. САКСОНОВ
Официальные оппоненты:
доктор технических наук, профессор Г.П. ПУТИЛОВ кандидат технических наук, старший научный сотрудник К.С.КОВАНОВ
Ведущая организация:
Московский Государственный автомобильно-дорожный институт (технический университет)
Защита состоится " 17 " сентября 2002 г. в 14 час. на заседании диссертационного совета Д 212.133.03 в Московском Государственном институте электроники и математики по адресу: 109028, Москва, Б.Трехсвятительский пер., д.3/12.
С диссертацией можно ознакомиться в библиотеке института.
Автореферат разослан " 01 " августа 2002 г.
Ученый секретарь диссертационного совета к.ф.-м.н., доцент И.В. Прокофьев - 3 -
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы. Программные средства учебного назначения по принципам использования можно условно разделить на обучающие системы, содержащие знания по конкретной предметной области, и инструментальные системы, предназначенные для наполнения их знаниями по произвольной предметной области с целью создания обучающей системы. Наиболее перспективными с точки зрения соотношения конечного результата и трудозатрат на создание и поддержку являются инструментальные системы, которые принято называть автоматизированными обучающими системами (АОС).
К основным достоинствам АОС относятся:
- возможность использования преимуществ индивидуального обучения;
- интенсификация обучения;
- возможность индивидуальной адаптации курса обучения к потребностям обучаемых или условиям обучения;
- возможность использования и тиражирования передового опыта;
- повышение доступности образования;
- обучение навыкам самостоятельной работы;
- разгрузка преподавателя от ряда рутинных, повторяющихся действий (чтения лекций, проверки контрольных работ и т.д.);
- возможность использования в рамках дистанционного обучения, переобучения и повышения квалификации.
Благодаря развитию телекоммуникационных технологий и вычислительных сетей АОС получили возможность выйти на новый уровень. При переходе от локальных обучающих систем к распределенным качественно изменяются функциональные возможности обучающей системы. Организация распределенных АОС (РАОС) требует проработки сетевых аспектов работы системы, связанных с предоставлением удаленного доступа к системе, поддержкой распределенных данных и объединением сетевых ресурсов для решения стоящих перед системой задач.
Одной из важных задач при создании РАОС является организация контроля знаний. Большинство существующих АОС и систем контроля знаний имеют ограниченное количество форм представления ответов (обычно, выборочных) и двухбалльную систему оценки. Это обусловлено простотой анализа выборочных ответов и отсутствием формальных методов анализа и дифференцированной оценки ответов обучаемых на контрольные вопросы. Однако такой подход ограничивает возможности разработчика курса в отношении использования различных вариантов тестовых вопросов и способов анализа ответов обучаемых. В связи с этим тематика исследований, затрагивающих организацию контроля знаний в РАОС, является актуальной.
- 4 - Цель работы. Целью диссертационной работы является исследование методов организации распределенных автоматизированных обучающих систем и разработка общих принципов построения систем контроля знаний на основе модели дифференцированной оценки ответов обучаемых.
Задачи исследования. В диссертационной работе решаются следующие задачи:
- анализ существующих автоматизированных обучающих систем и тенденций их развития;
- выявление требований, которые предъявляются к РАОС как к специализированному программному обеспечению, ориентированному на работу в компьютерной сети;
- разработка методов анализа и дифференцированной оценки ответов обучаемых;
- разработка математического, алгоритмического и программного обеспечения компонентов РАОС;
- экспериментальное подтверждение применимости предложенных методов.
Методы исследования основаны на использовании положений теории множеств, теории вероятности, комбинаторики и методов инженерии знаний. В разработке программного обеспечения использовалась технология объектно-ориентированного программирования.
Научная новизна. Предложен новый подход к организации контроля знаний в распределенных автоматизированных обучающих системах.
К новым результатам относятся:
- разработка протокола взаимодействия компонентов РАОС, которые позволяют выполнять распределенные вычисления и интегрировать в систему существующие программные средства учебного назначения;
- создание методов сравнения множеств и списков для определения правильности ответов;
- разработка моделей представления ответов различных типов, позволяющих использовать для их анализа и оценки методы сравнения списков и множеств.
Практическая ценность. Теоретические исследования завершены созданием на их основе математического, алгоритмического и программного обеспечения задачи создания подсистемы контроля знаний в РАОС. А именно:
- разработан протокол обмена данными между ядром РАОС и вспомогательным программным обеспечением;
- созданы базы знаний, реализующие различные методики управления контролем знаний обучаемого;
- 5 - - разработаны алгоритмы проведения контроля знаний, методы и алгоритмы определения правильности различных типов ответов обучаемого на контрольные вопросы;
- создан и используется в учебном процессе комплекс программ, реализующий разработанные методы и алгоритмы.
Положения, выносимые на защиту. На защиту выносятся:
- методы анализа и дифференцированной оценки ответов обучаемого на контрольные вопросы;
- модели представления различных типов ответов обучаемого на основе списков и множеств;
- архитектура открытой РАОС и протоколы взаимодействия ее компонентов.
Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на 8-й Межвузовской научно-методической конференции "Информационные технологии и фундаментализация высшего образования" (РГУ нефти и газа им. Губкина, 21-22 февраля г.) и на научно-технической конференции, посвященной 40-летию МГИЭМ (19-28 февраля 2002 г.).
Публикации. По результатам выполненных исследований опубликовано печатных работ, отражающих основные результаты работы.
Объем и структура диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы (145 наименований) и приложений. Основное содержание диссертационной работы изложено на 200 страницах машинописного текста, иллюстрированного таблицами и рисунками.
СОДЕРЖАНИЕ РАБОТЫ
Во введении в виде краткой аннотации показаны актуальность и практическая ценность исследования, изложены задачи диссертационной работы, представлены полученные автором основные научные результаты и положения, вынесенные на защиту, апробация работы и структура диссертации.
В первой главе проанализированы тенденции развития и проблематика одной из актуальных областей современных информационных технологий - автоматизированных обучающих систем.
Анализ показал, что современный этап развития АОС связан с использованием достижений в области инженерии знаний и тех возможностей, которые предоставляются компьютерными сетями. В работе рассмотрены различные аппаратные и программные решения и современные сетевые технологии, применяемые для построения распределенных автоматизированных обучающих систем.
- 6 - Приведены некоторые существующие классификации обучающих систем и показана их неоднозначность. Предложен принцип многомерной классификации систем по набору классифицирующих признаков, а также набор этих признаков и их значений для сравнительного анализа обучающих систем.
Для оценки качества обучающей системы рассматривается соответствие обучающей системы схеме процесса обучения. Процесс обучения можно трактовать как процесс управления усвоением знаний.
Как и любой процесс управления, реализуемый в замкнутой системе, этот процесс характеризуется целью управления, имеет объект управления (обучаемых), устройство управления и канал обратной связи. На рис. представлена обобщенная схема управления процессом обучения.
Критерием качества управления могут служить результаты контроля знаний.
Цель Результат Устройство управления Обучаемый Адаптация Оценка знаний Рис.1. Обобщенная схема управления процессом обучения Проведенный в работе анализ некоторых существующих обучающих систем и инструментальных средств для их создания показал следующее. Несмотря на очевидные достижения, многие обучающие системы либо вообще не имеют канала обратной связи, либо не обладают возможностями адаптации процесса обучения к уровню знаний и умений обучаемых. Кроме того, большинство существующих систем являются централизованными, могут работать в режиме удаленного доступа, но не позволяют распределять функции обучающей системы между узлами сети.
На основании вышеизложенного можно сделать вывод о необходимости разработки методов взаимодействия компонентов РАОС, позволяющих выполнять распределенные вычисления, настраивать систему на различные методики обучения и интегрировать в систему существующие программные средства учебного назначения. Также обоснована необходимость разработки способов и алгоритмов организации контроля знаний, основанных на формальных методах оценки ответов обучаемых.
- 7 - Вторая глава посвящена принципам организации РАОС.
Рассмотрены способы организации сетевой среды распределенной обучающей системы, которая включает в себя локальную вычислительную сеть (ЛВС) и предоставляет доступ через Internet.
В работе определена функциональная структура РАОС (рис. 2).
"Тонкий" "Тонкий" "Толстый" "Толстый" Е Е клиент 1 клиент N клиент 1 клиент N ЛКПО ЛКПО ЛППО ЛППО ППО БПО "Толстый" "Тонкий" сервер АОС сервер АОС локальная (Windows) вычислительная Мультиплатформенный сеть учебный сервер (BSD UNIX) Сервер базы данных "Толстый" "Тонкий" сервер АОС сервер АОС ППО БПО Лингвистический Web-сервер сервер Графический сервер Е Internet Аналитический сервер Web-браузер Web-браузер Web-браузер Web-браузер ЛППО ЛППО "Тонкий" Е "Тонкий" "Толстый" "Толстый Е клиент 1 клиент N клиент 1 клиент N Рис. 2. Структура распределенной АОС Здесь используются следующие сокращения:
БПО - базовое программное обеспечение;
- 8 - ППО - прикладное программное обеспечение;
ЛППО - локальное прикладное программное обеспечение;
ЛКПО - локальное коммуникационное программное обеспечение. При доступе через Internet в качестве ЛКПО выступают Web-браузеры.
Центральное место в этой структуре занимает сервер, который управляет работой всей системы в целом. В состав сервера входит ядро РАОС и сервер базы данных (БД). Состав и функции ядра зависят от технологии организации работы режима клиентЦсервер.
РАОС должна функционировать и в локальной вычислительной сети (ЛВС), и в сети Internet. В работе рассмотрены наиболее распространенные решения для организации работы внутри ЛВС и через Internet. Предложена конфигурация мультиплатформенного учебного сервера, включающего в себя сервер РАОС под Windosw, ориентированный на работу с пользователя в рамках ЛВС, и сервер РАОС под UNIX, предназначенный для управления базой данных, организации распределенных вычислений и доступа через Internet.
Распределенность обучающей системы заключается в размещении отдельных компонентов РАОС на различных узлах сети для повышения производительности системы. В качестве этих компонентов выступают данные и программные модули. Поддержка распределенных данных в рамках ЛВС обеспечивается средствами сетевой файловой системы, а в рамках глобальной сети - средствами Internet.
Программные компоненты являются вспомогательными модулями, которые предназначены или адаптированы для выполнения отдельных функций, поддерживающих процесс обучения. В совокупности с ядром РАОС они обеспечивают выполнение всех внутренних функций системы путем распределенных вычислений. Повышение надежности функционирования РАОС может быть обеспечено с помощью специального протокола обмена данными между ядром РАОС и вспомогательным программным обеспечением с динамической реконфигурацией системы.
Далее во второй главе рассматривается внутренняя логическая организация РАОС. Для выполнения функций обучения в состав РАОС должны входить знания о стратегии обучения (методиках обучения), модель предметной области и модель обучаемого.
Стратегия обучения обычно определяется алгоритмом функционирования системы, что противоречит принципам открытости РАОС. Поэтому более логичным представляется подход, при котором стратегия управления обучением оформлена как внешняя база знаний, замена которой позволяет менять поведение системы. Такая организация РАОС дает преподавателю возможность вложить в обучающую систему свои знания и представления о методике преподавания.
Правила базы знаний определяют последовательность работы системы на основании модели предметной области и модели обучаемого.
- 9 - Модель предметной области (МПО) должна отражать взаимосвязи понятий (тем) предметной области и может быть использована для определения последовательности изучения тем и для получения целостного образа знаний, относящихся к данной предметной области.
Для представления структуры предметной области предложена семиотическая модель, позволяющая объединить декларативные и процедурные знания и использовать для анализа МПО аппарат теории графов. Графическая визуализация взаимосвязей дисциплин и тем в рамках дисциплины дает обучаемому возможность получить целостное представление об изучаемом курсе и о его практической ценности. Это позволяет говорить об использовании когнитивной графики.
Модель обучаемого предназначена для адаптации обучающей системы к конкретному обучаемому, поэтому она должна включать в себя сведения о цели обучения;
о знаниях обучаемого в рамках изучаемого курса (текущее состояние процесса обучения);
об особенностях подачи учебных материалов и выбора контрольных заданий и вопросов.
В работе рассмотрены общие принципы построения модели обучаемого, понятия исходной и целевой модели. Данные, входящие в модель обучаемого, имеют две составляющие:
Х Набор правил взаимодействия системы с обучаемым.
Х Набор параметров, характеризующих степень усвоения знаний обучаемым. Этот набор модифицируется в соответствии с правилами базы знаний по результатам контроля и определяет проекцию знаний обучаемого на МПО.
Для унификации межпрограммного интерфейса предлагается использовать процедурную модель представления знаний не только для описания стратегий обучения, но и для моделей предметной области и обучаемого. В работе обоснована необходимость поддержки параметров, задаваемых пользователем и имеющих произвольную семантику. Такие параметры значительно расширяют возможности по настройке системы и могут использоваться в правилах базы знаний и модели обучаемого.
Контроль знаний обучаемого является важной частью работы с пользователем. Он обеспечивает обратную связь с обучаемым и предназначен в первую очередь для определения уровня знаний обучаемого с целью организации адаптивного управления обучением. Во второй главе рассмотрены различные схемы проведения контроля знаний, определен набор встроенных параметров, предназначенных для параметрической настройки подсистемы контроля знаний.
В третьей главе разработаны методы построения и организация подсистемы контроля знаний РАОС.
В обучающих системах контроль знаний обычно осуществляется с помощью тестов. Были проанализированы различные типы тестовых вопросов и ответов и выделены следующие типы ответов:
1. Множество элементов (неупорядоченное).
- 10 - 2. Список элементов (упорядоченный).
3. Двухуровневые схемы, в которых в качестве элементов списка (множества) могут выступать множества и списки.
4. Выражение (арифметическое).
5. Фраза (текст).
6. Рисунок (графическое изображение).
Первые два варианта относятся к выборочному типу ответов, а двухуровневые схемы предоставляют возможность моделировать вопросы на соответствие (элементов различных множеств), на группирование элементов множества и на упорядочение этих групп.
Такой подход существенно расширяет возможности разработчика тестов по моделированию различных связей между элементами ответа и позволяет использовать для анализа и оценки ответов методы, основанные на положениях комбинаторного анализа.
Для оценки выборочных ответов был разработан метод, который не зависит от семантики вопроса и позволяет проводить оценку дифференцировано, а не по двухбалльной шкале (Д-метод). Оценка правильности ответов основана на расстоянии между эталонным списком (множеством) и ответом, которое определено на интервале от (тождественность) до 1 (множества (списки) состоят из разных элементов или списки упорядочены в противоположном направлении).
Ответы типа "множество" можно оценить по степени сходства между ответом обучаемого (множество Sa = {a1, a2,Е, ai, b1, b2,Е, bj}) и эталонным ответом (множество Se = {a1, a2,Е, ai}). Степень сходства является величиной, обратной расстоянию r (=1Цr), и определяется как:
Ka 1 = L + Kb, где L = |Se |, Ка = |Sa Se|, Кb = |Sa | - Ка.
Для ответов типа "список" вводится отношение порядка, определяемое эталонным списком (эталонным ответом). Эти ответы можно оценить по формуле:
Ki 2 = 1, Kn где Ki - количество перестановок (инверсий) анализируемого списка, Kn - максимальное количество перестановок для списка длиной n:
n(n -1) Kn = Если ответ содержит элементы, не входящие в эталонный список элементов, то для них не определено отношение порядка. Для оценки таких ответов предложено проводить сравнение ответа и эталона в два этапа. Сначала сравнить их как множества, определить степень сходства 1 и исключить "лишние" элементы из ответа. Затем упорядочить оставшиеся элементы ответа и получить степень сходства 2.
- 11 - Окончательную величину степени сходства списков можно рассчитать как среднее арифметическое, минимум или произведение 1 и 2.
Далее в работе показано, что в качестве моделей свободно конструируемых ответов могут использоваться списки и множества.
Например, текстовые ответы, вводимые через шаблоны, можно рассматривать как множество (список) слов (словосочетаний). Для определения правильности текстовых ответов при таком подходе может применяться Д-метод. Также рассмотрена задача качественного анализа графиков. Показана сводимость представления синтаксического описания графиков к типу "список" с последующим применением для определения его правильности Д-метода.
При использовании списков и множеств в качестве моделей свободно-конструируемых ответов соответствие элементов ответа и эталона должно определяться не по полному соответствию, а с помощью функции принадлежности, зависящей от семантики элементов. Например, для текстового ответа это может быть функция, учитывающая возможность грамматических ошибок в ответе и наличие синонимов.
При использовании выборочных ответов существует возможность неадекватной оценки знаний обучаемого в случае случайного ввода правильного ответа. Была проведена оценка предложенных типов ответов (МНОЖЕСТВО, СПИСОК, МНОЖЕСТВО СПИСКОВ и СПИСОК МНОЖЕСТВ) с точки зрения величины такой вероятности.
Для ответа типа МНОЖЕСТВО и схемы "N вариантов ответов - из них 1 правильный" вероятность случайного ввода правильного ответа:
S q1 =, (1) N а для схемы "N вариантов ответов - из них k правильных" (0 k N) :
qS = k (2) 2N.
Для ответа типа СПИСОК и схемы "все N вариантов входят в ответ" вероятность случайного введения правильного ответа равна:
qL = N (3) N!.
Для ответа типа СПИСОК и схемы "N вариантов ответов - из них k вариантов входят в ответ" (2 k N) эта вероятность равна:
qL = k N. (4) N!
(N - k)!
k= На рис. 3 приведены графики зависимости вероятностей случайного ввода правильного ответа от количества вариантов ответов, формулы (1)Ц(4).
- 12 - ln(q) 3 4 5 6 7 8 N q 1S - - q kS - - -10 q NL -12 q kL q 1S - для ответа типа МНОЖЕСТВО (N вариантов - 1 правильный) q kS - для ответа типа МНОЖЕСТВО (N вариантов - k правильных) q NL - для ответа типа СПИСОК (нет лишних вариантов) q kL - для ответа типа СПИСОК (есть лишние варианты) Рис. 3. Графики зависимости логарифмов вероятностей случайного ввода правильного ответа от количества элементов в ответе Вероятности для двухуровневых схем СПИСОК МНОЖЕСТВ и МНОЖЕСТВО СПИСКОВ вычислялись при дополнительном ограничении: ответ должен содержать все N вариантов ответа, соответствующих вопросу.
Для двухуровневой схемы СПИСОК МНОЖЕСТВ вероятность случайного ввода правильного ответа равна:
N - qLS =. (5) N N!(2N-1 - 2) Для схемы МНОЖЕСТВО СПИСКОВ эта вероятность равна:
qSL = N N/2, (6) J(N - J) N!
J!
J= где функция определена рекурсивно таким образом:
N- J(N) = J - 1(N - i) i= при следующих начальных условиях:
1. 1(N) = 1, N ;
2. k(N) = 1, k = N ;
3. k(N) = 0, k > N.
Поправка на J вводится потому, что каждый список должен иметь длину не менее 2. На рис. 4 приведены графики для формул (5)Ц(6).
- 13 - ln(qN) 3 4 5 6 7 8 N - - - - -10 SL q N LS - q N - Рис. 4. Графики зависимости логарифмов вероятностей qNSL (МНОЖЕСТВО СПИСКОВ) и qNLS (СПИСОК МНОЖЕСТВ) от количества ответов N Анализ расчетов вероятности показал:
1. для одноуровневых схем:
Х ответ типа МНОЖЕСТВО, построенный по схеме "N вариантов - k правильных", предпочтительнее ответа, построенного по схеме "N вариантов - 1 правильный", при N > 4;
Х ответ типа СПИСОК имеет меньшую вероятность случайного введения правильного ответа, чем ответ типа МНОЖЕСТВО, при N > 3;
Х при наличии "лишних" вариантов в ответе типа СПИСОК его оценка улучшается еще приблизительно в 2-3 раза.
2. для двухуровневых схем: схема СПИСОК МНОЖЕСТВ значительно лучше схемы МНОЖЕСТВО СПИСКОВ с точки зрения вероятности случайного ввода правильного ответа (примерно в 4-5 раз).
Также была проведена оценка предложенного Д-метода определения правильности ответов, при использовании которого появляются "частично правильные ответы". Оценка осуществлялась с помощью программного моделирования различных схем построения ответа для множеств вариантов разных мощностей.
Анализ полученных результатов моделирования позволяет дать следующие рекомендация для составления тестов:
1. для ответов типа МНОЖЕСТВО и схемы "N вариантов ответа - из них 1 правильный" количество вариантов ответов должно быть не менее 4;
2. не следует использовать дифференцированную оценку ответа типа МНОЖЕСТВО в тех случаях, когда необходим точный ответ и наличие "лишних" вариантов (или отсутствие требуемых) должно расцениваться как неверный ответ;
3. для ответов типа СПИСОК нужно предлагать не менее двух "лишних" вариантов ответов;
4. схема СПИСОК МНОЖЕСТВ имеет хорошие характеристики и может применяться даже при N=5;
5. схему МНОЖЕСТВО СПИСКОВ следует использовать при N>5.
- 14 - Соблюдение этих рекомендаций позволит исключить возможность случайно получить удовлетворительную оценку при использовании стандартной шкалы оценок (2, 3, 4, 5).
Для обеспечения переносимости тестов на уровне текста предложен формат описания тестов, учитывающий различные варианты ответов и вопросов и возможность подключения внешних модулей, что обеспечивает открытость системы. Для обеспечения открытости системы тестирования на уровне методик предложен механизм внешнего управления формированием тестов (на основе контрольных заданий) и управления проведением тестирования.
В четвертой главе описана реализация полнофункциональной РАОС, основанной на принципе открытой архитектуры. Определены требования к программному комплексу и его структура (рис. 5).
В целях экспериментальной проверки применимости предложенных методов построения РАОС был разработан макетный программный комплекс. Основные особенности разработанного комплекса:
1. Ориентация на работу в сети. Система обеспечивает работу в режиме "клиент-сервер" по ЛВС и через Internet с использованием различных технологий. Она включает специализированный протокол обмена данными для поддержки распределенных вычислений. Этот протокол определяет работоспособность узлов сети и вспомогательного программного обеспечения и выполняет реконфигурацию системы в случае возникновения сбоев.
2. Открытость. Принцип открытости подразумевает возможность настройки системы на требования конкретного пользователя. Здесь можно выделить три аспекта:
- Изменение режимов и параметров функционирования программного обеспечения, входящего в состав ядра системы, путем настройки параметров в файлах конфигурации.
- Возможность использования различных учебных материалов на машинных носителях и методов подачи этих материалов: электронный справочник (от просмотра текстовых файлов до подключения гипертекста), запуск демонстрационных программ и т.д.
- Организация внешнего управления процессом обучения. Это достигается путем вынесения во внешние файлы (в базу данных и в базу знаний) правил организации управления обучением и всех возможных параметров и характеристик, которые можно измерить в процессе работы с обучаемым.
3. Переносимость на различные аппаратные платформы на уровне исходных текстов программ.
Переносимость системы обеспечивается за счет того, что монитор и ядро системы контроля знаний написаны на языке C и адаптированы к использованию под управлением ОС DOS (не ниже 3.3), UNIX (точнее, Free BSD и Linux Mandrake 8.0) и WIN9x/NT.
- 15 - Обучаемый Интерфейс Выбор Демонстрация режима учебных Вопрос Ответ работы материалов Иденти фикация Файлы с обучае Консуль мого учебными тация Внешние материалами модули Визуа лизация МПО Подсистема контроля знаний Монитор Результаты контроля МПО для Описания обучаемого База тестов данных Стратегия обучения Управление контролем знаний и моделями Управление моделью обучаемых предметной области База Описание МПО знаний Рис. 5. Фунцкиональная структура программного комплекса РАОС Для системы разработан декларативный язык описания тестов с учетом схем и параметров, рассмотренных во второй главе. Этот язык позволяет хранить описание тестов во внешних по отношению к системе - 16 - файлах, что делает тест независимым от программного обеспечения. Язык предоставляет возможность параметрической настройки тестов, поддерживает набор встроенных параметров и параметры, задаваемые пользователем.
На основе разработанного языка описания тестов и Д-метода создана система контроля знаний (СКЗ), в которой реализованы рассмотренные ранее формы представления ответов.
Использование в СКЗ двухуровневых схем дает широкие возможности по представлению связей между элементами. Эти схемы позволяют моделировать ответы на соответствие, не ограничивая количество исходных множеств, и используются, например, для анализа синтаксического описания графических образов.
Открытость архитектуры СКЗ также обеспечивается возможностью подключения внешних модулей для выполнения следующих функций:
- реализации тех форм ответов, которые не включены в систему;
- получения оценок ответов;
- управления формированием теста;
- управления проведением тестирования.
В рамках СКЗ созданы базы знаний, реализующие:
Х формирование теста на основе параметров вопросов для различных схем тестирования;
Х проведение тестирования в соответствие с линейной, пороговой и адаптивной схемами.
Система контроля знаний реализована в двух вариантах: как приложение под ОС Windows (система TS) и как консольное приложение (система IPDO).
С использованием системы IPDO в режиме удаленного доступа через Internet проведено тестирование студентов по различным дисциплинам. Сравнение результатов основной и контрольной групп показало преимущество расширенных типов ответов перед ответами выборочного типа.
Наибольшая корреляция между результатами автоматического контроля и устного зачета наблюдается для ответов следующих типов:
ВЫРАЖЕНИЕ, СПИСОК МНОЖЕСТВ и МНОЖЕСТВО СПИСКОВ. Это подтверждает результаты моделирования случайного ввода правильного ответа для двухуровневых схем.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ 1. Проведен анализ существующих автоматизированных обучающих систем. Предложен метод многомерной классификации АОС, использование которого позволяет проводить сравнительный анализ обучающих систем. Показана необходимость исследования сетевых технологий для создания распределенных систем (РАОС), - 17 - обеспечивающих удаленный доступ к системе и объединение сетевых ресурсов для решения стоящих перед системой задач.
2. Разработаны методы построения полнофункциональных РАОС с открытой архитектурой, применение которых обеспечивает:
- использование вычислительных ресурсов сети для выполнения функций обучающей системы;
- осуществление адаптивного управления процессом обучения на основе знаний о предметной области и об обучаемом;
- использование в обучающих системах произвольных методик преподавания и контроля знаний.
3. Сформулированы и решены следующие задачи, возникающие при создании РАОС:
- организация распределенных вычислений и повышение надежности функционирования системы путем ее динамической реконфигурации;
- организация внешнего управления взаимодействием с обучаемым путем вынесения управляющих правил во внешний модуль для обеспечения возможности алгоритмической настройки системы без необходимости программирования;
- поддержка пользовательских параметров для организации параметрической настройки системы.
4. Для оценки выборочных ответов разработан Д-метод, который не зависит от семантики вопроса и позволяет получать дифференцированную оценку ответов. Показано, что в качестве моделей свободно-конструируемых ответов (в том числе, для качественного анализа графиков) могут использоваться списки и множества. Для определения правильности свободно-конструируемых ответов при таком подходе может применяться Д-метод.
5. Разработана подсистема контроля знаний, обеспечивающая более полные возможности представления и анализа ответов обучаемых и включающая:
- методы сравнения множеств и списков;
- средства поддержки удаленного доступа для тестирования в рамках ЛВС и через Internet;
- базы знаний, управляющие формированием теста на основе набора контрольных заданий и проведением тестирования по различным методикам.
Получены расчетные и эмпирические оценки вероятности случайного ввода правильного ответа или получения положительной оценки для различных форм выборочных ответов, что позволило сформулировать рекомендации по составлению контрольных заданий.
6. На основе разработанных методов и алгоритмов создан макетный программный комплекс РАОС и подсистема контроля знаний, которая в настоящее время используется в учебном процессе. Результаты - 18 - анализа работы с этим комплексом подтвердили основные положения диссертационного исследования.
ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ 1. Саксонов Е.А., Карпова И.П. Анализ требований к программным обучающим системам // Проблемы передачи и обработки информации в информационно-вычислительных сетях: Тезисы докл. Международ. науч. технич. семинара. - М.: НИЦПрИС, 1998.
2. Карпов В.Э., Карпова И.П. Язык описания системы контроля знаний // Компьютеры в учебном процессе, 2000, №4. - с. 147-155.
3. Карпова И.П. Анализ ответов обучаемого в автоматизированных обучающих системах // Информационные системы, 2001, № 11. - с. 49-55.
4. Карпов В.Э., Карпова И.П. К вопросу о принципах классификации систем // Информационные системы, 2002, №2. - с. 35-38.
5. Карпова И.П., Потомский С.Ю. Система контроля знаний TS // Тезисы докладов научно-технической конференции студентов, аспирантов и молодых специалистов института, посвященной 40-летию МИЭМ. - М.:
МИЭМ, 2002. - с. 165-167.