Программно-инструментальные средства автоматизации Разработки тестовых заданий в системе переподготовки персонала промышленных предприятий

Вид материала

Автореферат

Содержание Общая характеристика работы Актуальность проблемы Цель и основные задачи исследования Методы исследования Научная новизна Достоверность научных положений, рекомендаций и выводов Практическая ценность и реализация результатов работы Апробация работы Содержание работы 1 Анализ методов и моделей компьтерного тестового контроля Тестовое задание формулируется так, что в его структуре заложена возможность однозначного ответа, преобразующего это утверждение Вопрос, который может предполагать отсутствие ответа, не может использоваться при конструировании тестового утверждения. Сведение исходного тестового задания к утверждениям оптимальной энтропии необходимо выполнить в случае прагматически некорректно 2 Разработка методов дифференцирования оценки корректности ответа на задание 3 Разработка инструментальной среды конструирования тестовых заданий На упорядоченное соответствие Модуль построения сцены Модуль проектирования решения Модуль скриптов теста Модуль упаковки теста Модуль проигрывания теста ... Полное содержание

Подобный материал:

• Автоматизация процесса формирования индивидуальных учебных планов в системе переподготовки, 256.55kb.
• Особенности автоматизации электроснабжения промышленных предприятий, 94.88kb.
• Методология и механизмы разработки инновационно-инвестиционной стратегии промышленных, 1007.1kb.
• Учебная программа (Syllabus) Дисциплина «Инструментальные средства разработки программ», 374.12kb.
• Вадима Сергеевича Аванесова. Остановимся на содержание курса Актуальные проблемы формирования, 79.49kb.
• Вопросы по курсу «Методы автоматизации тестирования», 11.69kb.
• Методы подготовки тестов по информатике и программированию, 55.02kb.
• Удк 681. 3 Контроллеры для автоматизации крупных промышленных объектов, 256.17kb.
• Рабочей программы дисциплины Технические средства автоматизации и управления по направлению, 31.14kb.
• Перечень тестовых заданий к государственному экзамену для студентов специальности «Финансы, 145.2kb.

На правах рукописи


Пеньков ВЛАДИМИР МИХАЙЛОВИЧ


программно-инструментальные средства автоматизации Разработки тестовых заданий в системе переподготовки персонала промышленных предприятий


Специальность 05.13.06 – Автоматизация и управление технологическими процессами и производствами (промышленность)


Автореферат

диссертации на соискание ученой степени

кандидата технических наук


Москва - 2009

Работа выполнена на кафедре «Автоматизированные системы управления» в Московском автомобильно-дорожном институте (государственном техническом университете)

Научный руководитель	Лауреат премии Правительства РФ, доктор технических наук, доцент Строганов Виктор Юрьевич, профессор МАДИ(ГТУ)
Официальные оппоненты	Доктор технических наук, доцент Попов Дмитрий Иванович, профессор Московского государственного университета печати
	Кандидат технических наук Брыль Владимир Николаевич, начальник отдела Научно-исследовательского центра электронно-вычислительной техники (ОАО НИЦЭВТ)

Ведущая организация: Российский научно-исследовательский институт информационных технологий и систем автоматизированного проектирования (Рос НИИ ИТ и АП), г.Москва.

Защита состоится __ апреля 2009г. в 10.00 на заседании диссертационного совета Д212.126.05 Московского автомобильно-дорожного института (государственный технический университет) по адресу: 125319, ГСП А-47, Москва, Ленинградский пр., д.64.


С диссертацией можно ознакомиться в библиотеке МАДИ(ГТУ)


Текст автореферата размещен на сайте Московского автомобильно-дорожного института (государственного технического университета):www.madi.ru


Автореферат разослан __ марта 2009г.


Отзыв на автореферат в одном экземпляре, заверенный печатью, просим направлять в адрес совета института.


Ученый секретарь

диссертационного совета,

кандидат технических наук, доцент Михайлова Н.В.

Общая характеристика работы

Актуальность проблемы

Одной из основных проблем переподготовки персонала промышленных предприятий в настоящее является разработка эффективных технологий создания электронных образовательных ресурсов, включая методически обоснованную систему тестов.

Повышение эффективности компьютерного тестового контроля может быть достигнуто на основании повышения качества конструирования учебных тестовых заданий (УТЗ), использующих разнообразные интерактивные режимы действий пользователей, что особенно важно для рабочих специальностей где необходима визуализация агрегатов и устройств управления технологическими процессами, обеспечивающими производственный цикл.

Мастер производственного обучения или преподаватель системы повышения квалификации и переподготовки персонала промышленных предприятий должны иметь возможность реализовать свой творческий потенциал в процессе создания авторских курсов. В связи с этим в последнее время интенсивно ведутся работы по автоматизации формирования тестов, не только статических, но и адаптивных. Имеется ряд разработок направленных на создание инструментальных средств конструирования УТЗ, но они, в основном, ограничиваются классическими формами заданий открытого типа, закрытого, на соответствие и др.

Однако, в данном направлении отсутствуют работы по созданию программно-инструментальных средств и методик конструирования интерактивных УТЗ, объединяющих все типы и формы представления, включая перемещение графических образов, имитирующих работу устройств. Этим и обосновывается актуальность настоящего диссертационного исследования, поскольку имеет место приближение самого УТЗ к реальной технологической операции. Там, где требуется оперативное принятие решений, тем более во внештатных ситуациях, такие УТЗ дают возможность отрабатывать практические навыки управления технологическим процессом.

Предметом исследования являются информационные технологии. направленные на создание интерактивных тестовых заданий, включаемых в базу данных тестов различных направлений в системе аттестации персонала промышленных предприятий.

Цель и основные задачи исследования

Целью работы является повышение эффективности функционирования системы переподготовки персонала за счет разработки методов, моделей, алгоритмов и программно-инструментальных средств конструирования интерактивных УТЗ.

Для достижения данной цели в работе решаются следующие задачи:

• системный анализ методов организации тестового контроля в системе переподготовки персонала промышленных предприятий;
  
• разработка принципов дифференцированной оценки корректности решения УТЗ;
  
• разработка моделей описания процессов конструирования УТЗ комбинированных форм;
  
• разработка моделей оценки вероятности правильного ответа на УТЗ с учетом доли правильности ответа;
  
• разработка программно-инструментальной среды конструирования интерактивных УТЗ.
  

Методы исследования

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем, теория автоматов, классический теоретико-множественный аппарат и другие.

Научная новизна

Научную новизну работы составляют методы конструирования тестовых заданий, ориентированных на использование в системе переподготовки персонала промышленных предприятий, и модели дифференцированной оценки сложности. На защиту выносятся:

• принципы дифференцированной оценки корректности решения УТЗ для персонала промышленного предприятия;
  
• обобщенные модели описания процессов конструирования и выполнения УТЗ;
  
• описания интерактивного поведения пользователя на основе конечных автоматов как преобразователей и акценторов;
  
• программно-инструментальная среда конструирования интерактивных УТЗ.
  

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным анализом процессов аттестации персонала на промышленных предприятиях, процессов обучения и тестирования в ряде образовательных учреждений, . Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в ряде учебных центрах промышленных предприятий.

Практическая ценность и реализация результатов работы

Внедрение результатов работы позволит повысить качество и эффективность конструирования интерактивных тестовых заданий системе аттестации персонала промышленных предприятий. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде промышленных предприятий, а также используются в учебном процессе МАДИ(ГТУ).

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2005-2008гг.);
  
• на заседании кафедры АСУ МАДИ(ТУ).
  

Совокупность научных положений, идей и практических результатов исследований в области автоматизации образовательного процесса составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля в системе переподготовки персонала промышленных предприятий.

Содержание работы

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов и моделей.

Во введении обосновывается актуальность проблемы и приведено краткое описание содержания глав диссертации.

1 Анализ методов и моделей компьтерного тестового контроля

В первой главе диссертации проводится системный анализ педагогических принципов создания тестовых заданий. Рассмотрены проблемы кадрового обеспечения предприятий промышленности и общие тенденции развития системы непрерывного образования. Рассмотрены математические модели и методы моделирования процессов компьютерного тестового контроля. Проведен сравнительный анализ принципов конструирования тестовых заданий и построения тестов.

В диссертации с системотехнических позиций рассмотрены во взаимосвязи задачи выбора и формирования последовательности предъявления тестовых заданий и задачи мониторинга результатов прохождения тестов.


Взаимодействие компонент системы тестового контроля

Рис.

1.

Данная работа направлена на реализацию инструментальных средств конструирования одного тестового задания, которое затем включается в интегрированную базу данных тестовых заданий по всем направлениям переподготовки. Кроме того, исследованы вопросы оценки вероятности правильного ответа на различные УТЗ в зависимости от ограничения по времени ответа, усталости, истинного уровня знаний, сложности самого задания и др.

В рамках IRT-теории каждому заданию приписан уровень сложности и на основе аналитических моделей вводится формализованное описание вероятности правильного выполнения задания с уровнем сложности  испытуемым с уровнем знаний  на основе условной вероятности:

.

(1)

Семейство графиков при различных уровнях знаний (истинный уровень) приведено на рис.2. Семейство кривых обладает свойством внутренней (чем сложнее задание, тем меньше вероятность правильного ответа) и внешней (если уровень выше, то для всех сложностей вероятности правильного ответа выше) монотонности.

Проведен анализ аналитических соотношений и показано, что IRT-модель может быть использована совместно с регрессионными моделями и моделями классификации. В случае моделирования эффективности гетерогенных тестов из анализируемых моделей факторный анализ позволяет построить модель ответа тестируемого произвольного уровня знаний на задание произвольной сложности. Однако ни в кластерном, ни в латентно-структурном анализе не определяется численное значение оценки уровня знаний по каждому классу тестируемых, а также оценки сложности тестового задания.


Логистические кривые вероятности правильных ответов

Рис.

2.

На практике, в основном, используются классические формы тестовых заданий, к которым относятся: «открытая» (требует сформулированного самим обучаемым корректного ответа в виде строки символов), «закрытая» (выбор тестируемым правильного ответа из предложенных), «на соответствие» (необходимо каждый элемент первой группы связать с одним или несколькими элементами из второй группы), «на упорядочение» (определение порядка следования предложенных объектов: символов, слов, формул, рисунков). В работе предлагается расширение стандартных форм представления тестовых заданий.

Применение методологических правил для проектирования тестовых заданий в рамках описания реальных технологических процессов позволяет избежать конструирования некорректных УТЗ, что дает возможность использования многообразия форм тестовых заданий при одном и то же содержании.

Содержание тестового задания, которое "видят" за словами, должно восприниматься тестируемыми одинаково. Под объектом компьютерного тестирования подразумеваются все сотрудники и рабочие предприятий, участвующие в аттестации, и уровень обученности которых априорно не установлен.

Одно из правил связано с необходимостью представления тестового задания в виде утверждения или повелительного предложения, из которых, в зависимости от качества ответов, получается истинное или ложное высказывание.

Тестовое задание формулируется так, что в его структуре заложена возможность однозначного ответа, преобразующего это утверждение в истинное высказывание.

Ставить вопрос в один ряд с тестовым заданием можно только в том случае, когда вопрос адресативен, причем отнесенность вопроса к самому себе - аномалия.

Вопрос, который может предполагать отсутствие ответа, не может использоваться при конструировании тестового утверждения.

Прагматически некорректным тестовым утверждением является задание с таким значением энтропии, которое является недоступным для формирования истинного ответа. В этом случае необходимо свести исходное тестовое задание с высокой энтропией к тестовым утверждениям с более низким уровнем неопределенности.

Сведение исходного тестового задания к утверждениям оптимальной энтропии необходимо выполнить в случае прагматически некорректного тестового задания.

Для реализации инструментальной среды конструирования интерактивных УТЗ в работе проведен анализ современных программных технологий.

2 Разработка методов дифференцирования оценки корректности ответа на задание

Во второй главе диссертации разрабатываются формализованные методы конструирования тестовых заданий. На основе автоматной схемы разбора строится модель описания интерактивного поведения тестируемого при формировании ответа на тестовое задание.

Классические схемы зачастую не описывают всех возможных формулировок задания. Кроме того, например, в закрытой форме и малом количестве альтернатив (часто их всего три) имеет место простое угадывание правильного ответа. При этом в качестве вероятностной модели ответа на задание предлагается использовать расширение модели Бирнбаума (1):

,

(2)

где с - является параметром модели, характеризующим вероятность правильного ответа на задание в том случае, если этот ответ угадан, а не основан на знаниях,  - уровень знаний,  - сложность задания.

Количественные оценки угадывания могут быть достаточно велики, что приведено в таблице 1. Естественно, что вероятность угадывания ответа на УТЗ тесно связана со сложностью этого задания и формы его представления.

Таблица

1.

Вероятность угадывания правильного ответа

Число альтернатив	Закрытая	Множественный выбор	На соответствие
3	1/3	1/6	1/6
4	1/4	1/16	1/24
…	…	…	…
n	1/n	1/2n	1/n!

Известно, что сложность представляет собой трудно формализуемый показатель. Существующие способы его формализации относятся к отдельным частным случаям, т.е. конкретным типам задач определенного содержания. В общем случае сложность оценивается экспертным путем. В результате проведенного в работе анализа выявлены основные факторы, влияющие на сложность задания:

• близость искомого результата или данных, требуемых для его получения, к содержанию учебного материала;
  
• полнота и характер представления в условии задачи информации, необходимой для ее выполнения;
  
• объем информации, которая должна быть привлечена для выполнения тестового задания;
  
• сложность метода решения (число его этапов, характер переходов между ними, количество исключений из правил и др.);
  
• состав и характер отношений, связывающих проверяемые положения учебного материала, которые должны быть учтены при выполнении УТЗ;
  
• форма представления условия и результата (с точки зрения их наглядности).
  

Структуру информации УТЗ будем представлять в виде графа, у которого в качестве вершин выступают семантические единицы информации, а ребра, соединяющие соответствующие вершины, определяют отношения между ними (только в смысле: есть ребро — есть какое-то отношение, нет ребра — нет никакого отношения). Различные уровни расположения семантических единиц в информационной иерархии графа представляют ступени иерархии (степенью иерархии). Рассмотрим энтропийную меру структурной сложности. В качестве отношений между семантическими единицами предлагается ввести следующие:

r₁ - отношение непосредственного управления;

r₂ - отношение непосредственного подчинения;

r₃ - отношение опосредованного управления;

r₄ - отношение опосредованного подчинения;

r₅ - отношение соподчинения на одном уровне;

r₆ - отношение соподчинения на более высоком уровне;

r₇ - отношение соподчинения на более низком уровне.

Рассмотрим эти отношения на примере неполного графа (рис.3.а), где вершины обозначены цифрами 1,2,3 и 4:

r₁ - (1, 2) (1, 3) (2, 4) — первая вершина непосредственно управляет второй и третьей вершинами, а вторая — четвертой;

r₂ - (2, 1) (3, 1) (4, 2) — отношение, обратное r₁;

r₃ - (1, 4) — первая вершина управляет четвертой посредством второй;

r₄ - (4, 1) — четвертая вершина подчиняется первой через вторую вершину;

r₅ - (2, 3) (3, 2) — вершины 2 и 3 находятся на одном уровне и подчиняются вершине 1;

r₆ - (3, 4) — вершина 3 находится на более высоком уровне, чем вершина 4, но обе подчинены первой;

r₇ - (4, 3) — вершина 4 находится на более низком уровне, чем вершина 3, но обе они подчинены первой. Между вершинами 4 и 3 существует связь (отношение) через вершину 1.

Экстенсиональная длина l_ij отношения r_i, на элементе m_j, представляет число пар, в которые отношение r_i, включает m_j.


Отношения на неполном графе и расчетные схемы структур

a			b	c	d
Рис.	3.

Так, для графа 3a получаем: r_i : l₁₂+l₁₃+l₂₄=l₁=3; r₂ : l₂₁+l₃₁+l₄₂=l₂=3;
r₃ : l₁₄=l₃=1; r₄ : l₄₁=l₄=1; r₅ : l₂₃+l₃₂=l₅=3; r₆ : l₃₄=l₅=1; r₇ : l₄₃=l₇=1.

Экстенсиональная длина отношения r_i вычисляется как . Пусть P(r_i(m_j)) — вероятность реализации отношения r_i, на элементе m_j. Она определяется как . Энтропия, приходящаяся на элемент, определяется как . И, соответственно, общая энтропия системы равна:

.

(3)

Эту величину и предлагается считать мерой сложности УТЗ. Расчеты для систем, графы которых приведены на рис. 3. дают следующие значения энтропии: H(b)(m,r)=0,8293; H(c)(m,r)=1,5071; H(d)(m,r)=1,7629.

Данная методика учитывает не только количество вершин и число связей (отношений), но также полноту и неполноту графа.

В основном в системах тестового контроля считается два варианта интерпретации ответа на задание – решено, не решено. В работе предлагается методика формирования количественной оценки корректности решения тестового задания.

Пусть V – множество компонентов ответа, V, V_s –подмножество компонентов, выбранных обучаемым, V_sV; V_r – подмножество компонентов, соответствующих верному результату V_rV; V_а – подмножество компонентов, бессмысленных в контексте УТЗ. Подмножества V_r и V_а будут выделяться при конструировании УТЗ. В такой постановке правила оценивания определяют следующие варианты интерпретации:

• если V_s=V_r, то ответ верный;
  
• если V_sV_r  V_s, то ответ неточный или неполный;
  
• если (V_s\ V_r  V_s\ V_a=)(V_s=  V_r), то ответ ошибочный;
  
• если V_sV_a, то ответ абсурдный.
  

Наборы оценок для разных УТЗ могут отличаться по полноте. Обязательными их элементами являются оценки верного и ошибочного результатов.

Дифференцирование решения УТЗ по сложности позволит увеличить дискретизацию этой шкалы, что будет выражено в интегральной рейтинговой оценке.

Так, естественное расширение закрытой формы – множественный выбор. Пусть: A={A_m}_m=1..M – множество альтернативных вариантов ответов; ZA={ZA_m}_m=1..M, ZA_m{0,1} – вектор правильного выбора (1 – альтернатива входит в выбор, 0 - нет); TA={TA_m}_m=1..M, TA_m{0,1} – вектор выбора тестируемого (1 – альтернатива выбрана, 0 - нет). В качестве расхождения предлагается использовать обычную равномерную метрику, но нормированную по количеству альтернатив:

.

(4)

Для заданий на соответствие и установление правильной последовательности (по оценке правильности они идентичны) введена другая мера. Левая часть задания определяет первоначальную перестановку (без ограничения общности ее можно считать возрастающей) A={A_m}_m=1..M – также множество альтернативных вариантов ответов; ZA={ZA_m}_m=1..M, ZA_m{1…M} –правильная перестановка; TA={TA_m}_m=1..M, TA_m{1…M} – перестановка тестируемого. В данном случае процент правильности предлагается определять на основании:

(5)

Логическое условие <…=…> принимает значение 1 при равенстве аргументов и 0 в противном случае.

Соотношения (4) и (5) дает значение 1 при полном соответствии ответа, 0 – при полном расхождении. Промежуточные значения определяют процент правильности решения тестового задания. Аналогично задаются меры различия для заданий на кластеризацию объектов и др.


Дифференциация оценочной шкалы ответа на УТЗ

Рис.

4.

Такая количественная оценка может быть использована для формирования интегральной оценки по всему тесту (рис.4.) При разделении шкалы [0, 1] на четыре области, каждому ответу можно приписать одну из четырех оценок: верный - 1, неточный – 0,8, ошибочный 0,5 и абсурдный - 0.

Такой подход к оценке результатов ответа на УТЗ предлагается использовать и для расширения модели адаптивного тестового контроля, где сложность следующего задания выбирается на основании решения предыдущего. Так, неточный ответ на УТЗ определенной сложности можно рассматривать как решение УТЗ пониженной сложности.

Расчет процента правильности решения с учетом дифференцированной шкалы ответа на УТЗ предлагается вычислять

,

(6)

где R определяет балл в шкале [0, 1] по ответу на тестовое задание, что по IRT-модели просто снижает уровень сложности задания.

3 Разработка инструментальной среды конструирования тестовых заданий

В третьей главе на основании построенных моделей формируются принципы конструирования УТЗ в программно-инструментальной среде.

Для такого вида тестовых форм в работе предлагается технология формирования ответов в виде перетаскивания альтернатив, что является максимально адаптированным вариантом для переподготавливаемого контингента.

Первичным при формировании теста, является конструирование тестового задания. В работе предлагается формализованное описание методики конструирования тестовых заданий с использованием разработанного конструктора тестовых заданий, который имеет следующие функциональные компоненты:

• графический редактор формирования структуры задания;
  
• формирование схемы разбора ответа;
  
• параметризация выполнения задания;
  
• подсистема генерации тестового задания (JAVA).
  

Функции графического редактора используются для создания графического образа с интерактивными полями.

G={G_i}_i=1..I – множество неактивных графических образов (картинка, формула и т.п. все что делается в других инструментальных средствах, текст, линия, стрелка и т.п., непосредственные функциональные возможности рисования в конструкторе);

V={V_j}_j=1..J – множество полей ввода для заданий открытого типа;

Z={Z_n}_n=1..N – множество полей захвата;

A={A_m}_m=1..M – множество альтернативных вариантов ответов.

Формирование схемы разбора правильности ответа вводит понятия позиций, которые связаны с множествами Z и A. Обозначим – P_Z и P_A. Множество действий D.

D₁ - iP_Zi> - перетаскивание поля альтернативы;

D₂ -i  P_Ai> - изменение положения альтернативы;

D₃ -< V_Ai> - ввод текста;

D₄ -i> - подтверждение завершения задания.

Введенные формализации позволяют представить все известные типы тестовых заданий, а также их расширения.

Закрытый тип – G={G_i}_i=1..J , Z₁ – единственное поле захвата, A={A_m}_m=1..M, D=D₁{D₁D₂D₄}. Альтернативы - m*{1..M}.

Открытый тип – G={G_i}_i=1..J , V=V₁ - единственное поле ввода, D={D₃, D₄}. Альтернативы - <строка символов>

Классическое соответствие - G={G_i}_i=1..J , Z={Z_n}_n=1..N, A={A_m}_m=1..M, N=M. D=D₁{D₁D₂D₄}. Альтернативы – перестановка на {1..M} – соответствие альтернатив полям захвата.

На соответствие – G={G_i}_i=1..J , Z={Z_n}_n=1..N, A={A_m}_m=1..M, M>N. D=D₁{D₁D₂D₄}. Альтернативы – упорядоченная последовательность из {1..M} длины N – соответствие альтернатив полям захвата.

На порядок – эквивалент заданию на «соответствие», где исходный порядок определен в виде пронумерованной порядковой шкалы.

На кластеризацию – G={G_i}_i=1..J , Z={Z_n}_n=1..N, A={A_m}_m=1..M, M>N. D=D₁{D₁D₂D₄}. Альтернативы – отношение на ZA {1..M} длины N – соответствие альтернатив полям захвата. Матрица отношения имеет блочный вид.

На упорядоченное соответствие (перетаскивать определенные альтернативы в определенное место, либо вводить определенный текст в определенном поле, и все это в определенной последовательности) G={G_i}_i=1..J, V={V_j}_j=1..J, Z={Z_n}_n=1..N, A={A_m}_m=1..M, M>N. D=D₁D₂D₃.

Правильность действий формализуется на основе задания конечного автомата (рис.5.). В случае жесткой последовательности он представляет вырожденный случай, где дуги помечаются либо некоторым действием (iP_Zi>,<V_Ai>) либо его отрицанием (iP_Zi>,<V_Ai>).

Для общего случая произвольной последовательности действий пользователя в работе предлагается использовать конечный автомат , который представляет:

=(A, Q, B, , ),

(7)

где A – конечный входной алфавит A=(a¹, a²,..., a^m);

Q- конечное множество состояний Q=(q¹, q²,..., q^m);

B – конечный выходной алфавит B=(b¹, b²,..., b^m);

 - функция переходов QAQ;

 - функция выходов QAB;

При конструировании тестовых заданий:

• входной алфавит представляет множество действий пользователя (ввод значения, перетаскивание объекта, выбор альтернативы и др.);
  
• выходной алфавит множество действий пользовательской оболочки (появление, перемещение или удаление объекта, )
  
• множество состояний определяется схемой разбора содержательной части тестового задания.
  

Автоматная схема описания интерактива тестового задания

Рис.

5.

Для конструирования и последующего проигрывания УТЗ рассматривается два проведения автомата: автомат как преобразователь (для формирования сценария решения УТЗ) и автомат как акцентор (идентификации решенности УТЗ).

Пусть ^m – входное слово длины m. Преобразование задает словарная функция f(^m)=(q, ^m), отображающая множество A* в B*. Сама функция f(^m) представляет кончно-автматную функцию, реализуемую или вычисляемую инициальным автоматом _q.

Для акцентора в инициальном автомате _q выделяется подмножество B’, B’B и рассматривается подмножество L_B’, L_B’A*:

LB’={mA: (q, m) B}.

(8)

Подмножество L_B’ определяет поведение инициального автомата _q по отношению к множеству B’.

Обозначим символами a, b, c... символы входного алфавита. При этом: aa — последовательность из 2-х символов a; а* - любое число символов; (aVb) — один из символов а или b. Любую строку, состоящую из букв, применяемых для обозначения символов * и V обозначим как регулярное выражение, при условии что она может быть построена с учетом правил:

• любой одиночный символ является регулярным выражением;
  
• если E и F — регулярные выражения, то (EF) является регулярным;
  
• если E, F ... G — регулярные выражения, то (EVFV...VG) — регулярное выражение;
  
• если E — регулярное выражение, то E* - регулярное выражение.
  

Согласно теореме Клини, множество последовательностей, распознаваемых автоматом, есть множество регулярных последовательностей, а любое регулярное выражение может быть распознано автоматом с конечным числом состояний. Последовательность действий пользователя по прохождению теста представима в виде последовательности переходов автомата. Таким образом, построив регулярное выражение, описывающее верный ответ теста, можно составить автомат, проверяющий корректность прохождения теста. Регулярное выражение строится с помощью графа действий.

Начальной вершиной графа является исходное состояние теста. Далее проверяются возможные действия теста, указывается параллельность вариантов действий, то есть те действия, которые можно выполнять в произвольном порядке.

Для реализации данной схемы к проигрывателю теста добавляется слушатель событий. Он сохраняет все события, произведённые пользователем (ввод текста, перенос поля захвата). Полученные события передаются анализатору последовательностей, который обрабатывает последовательность, удаляя лишние элементы.

Данное удаление необходимо, например, в случае ввода текста в текстовое поле, так как тестируемый сохранит по одному действию на каждый ввод символа, в итоге полученная последовательность будет излишне длинной. Удалятся все события кроме последнего, последнее событие и будет представлять конечный результат ввода текста.

Компоненты перетаскиваются из палитры компонент на сцену теста. У каждого компонента можно задать свойства (размер, положение, надпись, картинка и т.д.). Компоненты можно выравнивать друг относительно друга. В палитре компонентов есть надписи (как вариант представления графических компонент), кнопки, поля ввода, Приложение содержит несколько модулей.

Для формирования правильного ответа разработчик задания после размещения всех компонент сам указывает правильную последовательность действий. Далее в сформированном графе действий, отображающем его ответ, вносятся коррективы, такие как указание действий, последовательность которых не важна (например, после некого действия А нужно выполнить действия B и C в любом порядке, а далее выполнить действие D). Пример фрагмента сценария, сформированного по данной схеме приведен на рис.6. В итоге будут собраны все данные для создания структуры теста, сохранения его в виде отдельного файла и последующей интеграции в Базу Данных тестовых заданий, которая является исходной для формирования адаптивных тестов.


Сценарий тестового задания

Рис.

6.

Модульная структура программных приложений

Рис.

7.

Структура основных компонентов инструментальной среды конструирования УТЗ приведена на рис.7.

Модуль построения сцены ответственен за визуализацию расположения объектов на сцене и задание свойств объектов. Содержит основные компоненты: инспектор компонент, инспектор свойств выделенного компонента, редактор сцены, палитра компонент. Эти компоненты взаимосвязаны друг с другом, таким образом, что изменения свойства объекта в одном компоненте (например, в инспекторе свойств) немедленно влечет обновление остальных компонент (например, изменения сразу отображаются в редакторе сцены).

Модуль проектирования решения визуализирует граф решения. Позволяет задавать последовательность действий для правильного решения теста, указывать какие действия можно совершать параллельно. На основе данных графа модуль строит регулярное выражение, задающее класс правильных ответов на тест.

Модуль скриптов теста позволяет добавить программные обработчики к тесту. Обработчики пишутся на языке программирования " onclick="return false">
Модуль упаковки теста позволяет собрать XML документ теста вместе со всеми ресурсами и библиотеками в единую структуру, готовую для сохранения в базе данных и распространению конечным пользователям.

Модуль проигрывания теста позволяет запустить тест в режиме проигрывания. Все действия пользователя автоматически записываются для дальнейшего анализа.

Модуль обработки ответа пользователя проверяет правильность действий пользователя при прохождении теста и сравнивает его на совпадение с регулярным выражением, задающим правильный ответ теста.

Данные модуля построения сцены поступают в модуль проектирования решения, далее происходит компоновка всех объектов теста в модуле упаковки теста и тест готов к проигрыванию в модуле проигрывания теста. Результаты проигрывания поступают в модуль обработки решения.

4 Программная реализация конструктора тестовых заданий

В четвертой главе диссертации приведено описание программно-инструментальной среды конструирования тестовых заданий. Форма конструктора представляет приложение вида «выбери-и-размести» (drag-and-drop). Разработчику дается возможность путем перетаскивания разместить компоненты теста из палитры компонентов на сцене. Таким образом, достигается наглядность представления теста еще на этапе его проектирования.

Для реализации конструктора УТЗ используется Java, так как она независима от платформы и способа выполнения программ. Другими словами, тестовые задания можно выполнять как в обычной программе, так и на интернет странице, где тест представлен в виде Java-апплета. Java является объектно-ориентированным языком со строгой типизацией, что позволяет точно описывать объекты и модули системы. Исходный код объектов компилируется в платформонезависимый байт-код, который выполняется в виртуальной машине, это обеспечивает высокую скорость работы, автоматические функции по сбору памяти, отказоустойчивость и предоставляет доступ к функциям операционной системы. Для платформы Java реализовано множество библиотек для различных операции.

Работа с XML широко реализована в самой Java и в огромном количестве сторонних библиотек. Методы работы с XML позволяют напрямую отображать объекты и классы Java в код XML, загружать представление XML структуры в виде DOM-дерева, когда загружается вся структура XML документа, или с помощью SAX-парсеров, в случае если XML документ слишком большой и требуется сократить расходы занимаемой памяти. Имеется встроенная поддержка пространств имен документа. Таким образом в Java реализованы все возможности языка XML что позволяет эффективно связать объекты Java и документ XML.

Тестовое задание сохраняется в виде xml-файла (по сути, простой текстовый файл с определенными полями), что позволяет его тесно интегрировать с любой современной базой данных и наглядно отображает его содержимое. Структура хранит как описание всех компонент, содержащихся в УТЗ, так и вариант правильного ответа на УТЗ.

Основные функции конструктора тестов: newTest создание нового теста, очистка полей; openTest — открытие теста для редактирования; saveTest - сохранение XML документа теста; addWidget — добавление виджета (графического компонента) на форму; deleteWidget — удаление виджета; buildPackage -упаковка теста в единую структуру. Основные функции проигрывателя тестов: runTest — запуск теста на выполнение, addActionListener — добавить слушателя событий, fireActionOccured — уведомить слушателей событий о произошедшем событии.

Пример конструирования тестового задания приведен на рис.8. В верхней части окна расположена панель инструментов. На ней последовательно располагаются кнопки: «Создать новое УТЗ», «Открыть УТЗ», «Сохранить УТЗ», «Показать окно редактора сцены», «Показать окно XML документа», «Показать окно редактирования скрипта УТЗ», «Показать окно редактирования графа решения», «Запустить построитель правильного решения», «Упаковать УТЗ».


Пример формы конструктора тестового задания

Рис.

8.

Под панелью инструментов располагается палитра компонент. На ней последовательно расположены компоненты: «Надпись», «Мультистроковая надпись», «Кнопка», «Группа кнопок выбора», «Текстовое поле», «Флажок», «Кнопка выбора», «Зона захвата», «Зона приема», «Бегунок». Для добавления элемента на сцену необходимо нажать на соответствующий компонент на палитре, в появившемся окне нажать кнопку ОК, после чего элемент появится на сцене. С левой стороны последовательно располагаются инспектор компонент и инспектор свойств. В последнем можно изменять свойства выбранного компонента, изменения тут же отображаются на сцене теста. В центре располагается сцена теста с компонентами. Элементы на сцене можно перетаскивать, изменять размер, выравнивать по краю.

При построении графического интерфейса программы активно применяется шаблон программирования MVC (модель-представление-контроллер), это позволило связать между собой различные модули так, что при изменении данных в одном из модулей, об изменении уведомляются все остальные модули.

В заключении представлены основные результаты работы.

Приложение содержит документы об использовании результатов работы.

Публикации. По результатам выполненных исследований опубликовано 8 печатных работ, которые приведены в списке публикаций.

Основные выводы и результаты работы

1. Проведен системный анализ задач организации процедур тестового контроля и аттестации персонала промышленных предприятий, определен круг методов и моделей формализованного представления компонент системы тестового контроля и конструирования тестовых заданий.
   
2. Разработаны принципы дифференцированной оценки правильности решения тестового задания, что дает возможность более точной оценки уровня знаний.
   
3. В раках единого формализованного представления разработаны модели описания процессов конструирования стандартных форм тестовых заданий, а также их расширенных комбинированных форм.
   
4. С использованием теории конечных автоматов и формальных грамматик построена формализованная модель процедуры конструирования тестового задания.
   
5. Разработаны механизмы конструирования тестовых заданий и требования к инструментальной среды формирования графических образов УТЗ с возможностью реализации интерактивных режимов их выполнения.
   
6. Разработана программно-инструментальная среда конструирования интерактивных УТЗ, объединяющая возможности граяического редактора и автоматной схемы разбора результатов выполнения задания.
   
7. Разработанный программный комплекс, методы и алгоритмы прошли апробацию и внедрены для практического применения на ряде промышленных предприятий, а также используются в учебном процессе МАДИ(ГТУ).
   

Публикации по теме диссертационной работы

1. Пеньков В.М. Сервисно-ориентированная архитектура распределенных информационных систем / Николаев А.Б., Пеньков В.М. // Автоматизация управления предприятиями промышленности и транспортного комплекса: сб. науч. тр. /МАДИ (ГТУ). – М, 2006. -С. 153-159.
   
2. Пеньков В.М. Модели и методы адаптивного тестового контроля / Рожин П.С., Пеньков В.М.. Липсиц Л.М., Круглов А.М. // Инновационные технологии на транспорте и в промышленности: сб. науч тр. /МАДИ (ГТУ). – М, 2007, -С. 41-48.
   
3. Пеньков В.М. Подсистема мониторинга результатов группового гетерогенного тестового контроля / Николаев А.Б., Пеньков В.М., Баринов А.П., Рожин П.С., Строганов В.Ю., // Инновационные технологии в промышленности, строительстве и образовании: сб. науч. тр. /МАДИ (ГТУ). - М, 2007. -С.39-45.
   
4. Пеньков В.М. Программная реализация инструментальной среды конструктора гетерогенных тестов / Рожин П.С., Пеньков В.М., Баринов А.П. // Инновационные технологии в промышленности, строительстве и образовании: сб. науч. тр. /МАДИ (ГТУ). - М, 2007. - С.68-74.
   
5. Пеньков В.М. Создание скрипта в конструкторе гетерогенных тестов / Пеньков В.М., Баринов К.А., Подберезкин А.А. // Информационные технологии: программирование, управление, обучение: сб. науч. тр. /МАДИ(ГТУ). - М, 2007 г. С. 117-121.
   
6. Пеньков В.М. Обобщенные графовые модели оценки качества учебно-методических материалов / Пеньков В.М., Макаренко Л.Ф., Саакян И.Э., Белоус В.В. // Аналитико-имитационное моделирование и ситуационное управление в промышленности, строительстве и образовании. Сб. науч. тр. МАДИ(ГТУ), № 4 (38). ч.1. - М, 2008. - С. 9-15.
   
7. Пеньков В.М. Организация баз данных системы мониторинга промышленных предприятий / Гоголин С.С., Пеньков В.М., Лукащук Р.П. // Аналитико-имитационное моделирование и ситуационное управление в промышленности, строительстве и образовании: сб. науч. тр. МАДИ(ГТУ), № 4 (38), ч.2. - М, 2008. - С. 22-28.
   
8. Пеньков В.М. Графовая модель оценки сложности учебной информации / Д.В.Строганов, К.А.Николаева, Н.А.Красникова, Пеньков В.М., Г.Г.Ягудаев. Вестник / МАДИ(ГТУ). – М, 2009. –Вып.1(16). - С.70-73.