Модели, методы и инструментальные средства оценки потребительского качества тестовых систем в образовании тема диссертации по экономике, полный текст автореферата
Автореферат
| Ученая степень | кандидат экономических наук |
| Автор | Жилина, Елена Викторовна |
| Место защиты | Ростов-на-Дону |
| Год | 2012 |
| Шифр ВАК РФ | 08.00.13 |
Диссертация
Автореферат диссертации по теме "Модели, методы и инструментальные средства оценки потребительского качества тестовых систем в образовании"
На правах рукописи
Жилина Елена Викторовна
МОДЕЛИ, МЕТОДЫ И ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА ОЦЕНКИ ПОТРЕБИТЕЛЬСКОГО КАЧЕСТВА ТЕСТОВЫХ СИСТЕМ В ОБРАЗОВАНИИ
Специальность 08.00.13 - математические и инструментальные
методы экономики
АВТОРЕФЕРАТ
диссертации на соискание ученой степени кандидата экономических наук
1 0 Нг~|
Ростов-на-Дону - 2012
005042833
Работа выпонена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования Ростовский государственный экономический университет (РИНХ).
Научный руководитель: доктор экономических наук, профессор
Ефимов Евгений Николаевич
Официальные оппоненты: Долятовский Валерий Анастасиевич
доктор экономических наук, профессор, заслуженный деятель науки Российской Федерации, ФГБОУ ВПО Ростовский государственный экономический университет (РИНХ), профессор кафедры менеджмента
Карелин Владимир Петрович
доктор технических наук, профессор, НОУ ВПО Таганрогский институт управления и экономики, профессор кафедры управления и информационных систем
Ведущая организация: ФГБОУ ВПО Ростовский
государственный университет путей сообщений
Защита диссертации состоится л23 мая 2012 г. в 14:00 часов, на заседании диссертационного совета ДМ 212.209.03 в ФГБОУ ВПО РГЭУ (РИНХ) по адресу: 344002, г. Ростов-на-Дону, ул. Б. Садовая 69, ауд. 302.
С диссертацией можно ознакомиться в научной библиотеке ФГБОУ ВПО РГЭУ (РИНХ) по адресу: 344002, г. Ростов-на-Дону, ул. Б. Садовая, 69.
Электронная версия автореферата размещена на официальном сайте ВАК Минобрнауки России: Ссыка на домен более не работаетp>
Автореферат разослан л20 апреля 2012 г.
Ученый секретарь л,
диссертационного совета РИ.Ю. Шполянская
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы исследования. Отказ от устоявшихся и введение новых технологий (тестирование при приеме в вузы вместо традиционных экзаменов, бально-рейтинговая система оценивания, обучение в виртуальной среде и т.д.) выводит проблему качества образования в ряд приоритетных государственных и общественных проблем.
В настоящее время в российской системе высшего образования большинство вузов в своей деятельности обращается к автоматизированным системам тестирования не только в процессе текущего и итогового контроля знаний студентов, но и в качестве механизма оценки уровня образования выпускников.
Тестовые системы в образовании обеспечивают: накопление информации о процессе тестирования каждого испытуемого (учет времени тестирования, статистику результатов, рейтинг и др.); большой объем банка заданий, распределенных по уровням сложности; расчет статистических характеристик и показателей надежности функционирования тестовых заданий; динамическую оценку знаний испытуемого при любой системе оценивания; уменьшение доли субъективизма при оценке результатов освоения дисциплины испытуемым и др.
Важным является тот факт, что с точки зрения пользователя системы тестирования, аналогичные по своему назначению и выпоняемым функциям, имеют разную стоимость, обладают разными возможностями. В сложившейся ситуации необходимо адекватно оценивать потребительское качество тестовых систем, степень ее соответствия требованиям пользователя.
Это обусловило необходимость проведения анализа информационных процессов, разработки моделей и методов, обеспечивающих потребительское качество систем тестирования в образовании.
Степень разработанности проблемы. Проблемы оценки качества информационных систем (ИС) рассматриваются в трудах ученых Т.П.Барановской, В.В.Дика, А.И.Доженко, Е.Н.Ефимова, В.В.Липаева, Г.А.Титоренко, Е.Н.Тищенко, Г.Н.Хубаева, И.Ю.Шполянской и др.
Общетеоретические, методологические и практические вопросы по проблемам качества образовательной системы Российской Федерации исследуются в трудах С.В.Арженовского, Г.В.Гореловой, В.А.Долятовского, Л.В.Зайцевой, А.Н.Ткачева и др.
Вопросам проведения тестирования, контроля и оценки знаний посвящены работы В.С.Аванесова, В.И.Васильева, Д.Вейса, К.Х.Калугян, П.И.Канивца, Дж.Раша, Т.Н.Тягуновой, М.Б.Челышковой и др.
Вопросы моделирования информационных процессов с использованием языка иМЬ освещены в работах Д. Рамбо, А. Боггса, Г. Буча, А.М.Вендрова, Т.Кватрани, А.В.Леоненкова, Г.Н.Хубаева, И.Ю.Шполянской, С.М.Щербакова, А.Якобсона и др.
Однако до настоящего времени не существует комплексных теоретических и практических разработок, посвященных проблемам оценки потребительского качества образовательных систем. Не упоминается о разработках и использовании моделей, методов и инструментальных средств адаптивного тестирования, а приводится лишь теоретическое обоснование необходимости его использования в образовании. Большинство применяемых в учебных заведениях квалификационных тестов таковыми не являются. Не выпоняется обязательная проверка качества теста, не проводится определение их трудности. Данные обстоятельства обусловили выбор темы диссертационного исследования, определили его цели, задачи и структуру.
Объект и предмет исследования. Объектом исследования являются образовательные учреждения всех организационно-правовых форм. Предметом исследования выступают социально-экономические процессы и явления сферы образования.
Цель диссертационного исследования. Целью диссертационного исследования является разработка методического и инструментального обеспечения для оценки потребительского качества систем тестирования в образовании.
Для достижения поставленной цели потребовалось решить следующие задачи:
- разработать экономико-математические модели, позволяющие оценить потребительское качество тестовых заданий (вопросов);
- разработать модели формирования индивидуальных итоговых оценок знаний испытуемых, агоритмы, уменьшающие время проведения адаптивного тестирования, и инструментарий их реализации;
- выпонить оценку функциональной поноты существующих образовательных систем тестирования;
- разработать комплекс моделей информационной системы адаптивного тестирования (в нотации унифицированного языка моделирования - UML), который позволит отразить рациональную структуру и функции информационной системы, снизить затраты на ее разработку, модернизацию и модификацию.
Теоретическую и методологическую основу исследования составили труды российских и зарубежных ученых, посвященные исследованию проблем потребительского качества информационных систем и технологий, вопросам системного анализа, методам математической статистики, теории вероятностей и теории нечетких множеств. Диссертационное исследование базируется на современных работах, посвященных методам структурного и объектно-ориентированного анализа и моделирования информационных систем, материалах конференций, статьях в сборниках научных трудов и в периодической печати, информационных материалах, опубликованных в Интернете.
Эмпирическую базу исследования составили результаты исследований автора, собранные в ходе активных и пассивных экспериментов.
Инструментально-методический аппарат исследования составили методы системного анализа, математической статистики, теории вероятности, теории нечетких множеств, унифицированный язык моделирования UML, современное программное обеспечение общего и специального назначения: AllFusion Process Modeler r7, AllFusion Erwin Data Modeler r7, IBM Rational Rose (в том числе инструменты Data Modeler, Web Modeler), STATISTICA 6.0, Fuzzy Logic Toolbox средства MATLAB 7.11.0, программа Анализ функциональной поноты ИС, разработанная в ФГБОУ ВПО РГЭУ (РИНХ), программа лModExTest, разработанная автором в среде Visual Basic 6.0.
Работа выпонена в рамках паспорта специальности 08.00.13 -Математические и инструментальные методы экономики п.2.6 Развитие теоретических основ, методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии.
Нормативно-правовая база исследования основана на законодательных и нормативных актах, постановлениях, федеральных государственных стандартах Минобрнауки России.
Рабочая гипотеза заключается в следующем: для эффективной организации деятельности образовательного учреждения при контроле знаний обучаемых необходимы компьютерные системы тестирования, удовлетворяющие требованиям пользователей. Создание и использование моделей, методов и инструментальных средств позволит оценить потребительское качество систем тестирования и минимизировать издержки при их реализации.
Положения, выносимые на защиту:
1. Инструментальное средство для оценки применимости моделей тестирования, учитывающее время прохождения теста, количество вопросов в тесте, уровень сложности тестовых заданий, количество правильных ответов и ошибок испытуемого, вероятность соответствия оценки на каждом уровне знания.
2. Методика оценки вероятности получения качественного тестового задания, определяющая влияние положительных (отрицательных) ответов испытуемых, распределенных по соответствующим уровням знаний, на тестовые задания.
3. Методика оценки уровня обученноеЩ и успешности освоения дисциплины студентом при тестировании в рамках накопительной бально-рейтинговой системы для представления шкалы оценок в естественно-языковых категориях.
4. Результаты сравнительной оценки потребительского качества тестовых систем по критерию функциональной поноты.
5. Построенные визуальные модели информационной системы адаптивного тестирования, функционирующей в Интернет-среде, в нотации иМЬ.
Научная новизна диссертационного исследования заключается в разработке методических и практических основ обеспечения потребительского качества систем тестирования, применяемых в образовательной деятельности вуза.
Основные результаты, содержащие элементы научной новизны, состоят в следующем:
1. Разработано инструментальное средство для оценки применимости комплекса моделей тестирования, отличающееся возможностью выдачи тестовых заданий как случайным образом, так и с учетом адаптации, когда последующее задание отличается от предыдущего коэффициентом трудности, учитывающее время прохождения теста, количество вопросов в тесте, уровень сложности тестовых заданий, контрольные точки тестирования, количество правильных ответов, случайных ответов и ошибок испытуемого (на основе модели бинарной логистической регрессии), вероятность соответствия оценки (на основе байесовского подхода) на каждом уровне знания, что позволяет существенно снизить затраты на оценку характеристик потребительского качества тестовых систем.
2. Разработана методика оценки вероятности получения требуемого тестового задания на основе модели бинарной логистической регрессии, отличающаяся возможностью использования результатов тестирования группы испытуемых, и позволяющая определить влияние положительных (отрицательных) ответов испытуемых, распределенных по соответствующим уровням знаний, на тестовые задания, выявить динамику изменения их категории (качественное, некачественное) и повысить потребительское качество тестовых систем.
3. Разработана методика оценки уровня обученноеЩ и успешности освоения дисциплины студентом при тестировании в рамках накопительной бально-рейтинговой системы на основе теории нечетких множеств, позволяющая динамически оценивать знания студента, отличающаяся возможностью представления шкалы оценок в естественно-языковых категориях.
4. Выпонена сравнительная оценка потребительского качества существующих классов тестовых систем (дистрибутивные тестовые системы, веб-системы тестирования и модули тестирования в образовательных системах) с использованием метода анализа функциональной поноты систем1, позволившая количественно оценить степень подобия рассматриваемых системам, степень соответствия той или иной структуры лэталонной модели информационной системы, учитывающей требования пользователя к информационно-образовательной среде. Результаты анализа помогли выделить группы однородных информационных систем со сходным набором функций, что позволяет сравнивать их между собой, сопоставляя другие характеристики (цена, производительность, надежность и др.), предоставляя пользователям возможность сделать обоснованный выбор.
5. Разработаны визуальные модели в нотации иМЬ информационной системы, отличающиеся описанием процессов адаптивного тестирования. Модели описывают функциональное назначение системы, содержат информационные и образовательные процессы тестирования, отображают структуру объектов и связей в системе в виде модели базы данных и программных компонентов, функционирующих в Интернет-среде, что позволяет существенно снизить затраты на разработку, модернизацию, модификацию и настройку программной системы.
Теоретическая и практическая значимость исследования. Теоретическая значимость результатов диссертационной работы состоит в создании методического обеспечения для оценки потребительского качества систем тестирования.
Практическая значимость диссертационной работы заключается в разработке инструментального средства для реализации комплекса экономико-математических моделей, позволяющего снизить затраты на оценку характеристик потребительского качества тестовых систем. Разработанные иМЬ-модели дают представление о структуре и динамике ИС, что позволяет разработчикам программного обеспечения реализовать решения по созданию системы тестирования для любого образовательного учреждения, а использование объектно-ориентированных технологий на всех стадиях разработки ИС позволяет осуществить ее программную реализацию и адаптацию с минимальными затратами.
Предложенные автором методы, модели и программный инструментарий позволят образовательным учреждениям повысить потребительское качество разрабатываемых систем тестирования, в том числе использующих веб-технологии, сократить временные и финансовые затраты на проектирование.
Апробация работы Теоретические положения и практические рекомендации, сформулированные в диссертационном исследовании, нашли отражение в научно-исследовательских работах кафедры Информационные технологии и защита информации РГЭУ (РИНХ), докладывались автором на научно-практических конференциях: Экономико-организационные проблемы проектирования и применения информационных систем: материалы X междунар. науч.-практич. конф. (г.Кисловодск, декабрь, 2008 г.); Экономические информационные системы и их безопасность: разработка, применение и сопровождение: материалы регион, науч.-практич. конф. (п.Архыз, октябрь, 2009 г.); Современные достижения в науке и образовании: математика и информатика: материалы междунар. науч.-практич. конф. (г.Архангельск, февраль, 2010 г.), Тенденции развития научных
1 Хубаев, Г.Н. Сравнение сложных программных систем по критерию функциональной поноты //Программные продукты и системы (5ой&8у81ет). - 1989. - №2. - С.6-9.
исследований (Тенденцп розвитку наукових досщжень) (г.Киев, февраль, 2011 г.), лZprvy vdeck deje - 2011: materily VII mezinrodn vdecko - praktick konference (г.Прага, октябрь, 2011 г.) и другие.
Отдельные результаты диссертационной работы были использованы в исследованиях по внутривузовскому гранту: "Интерактивный инструментарий анализа качества и эффективности применения тестов в учебном процессе РГЭУ РИНХ" (№ 2/07-вн, 2007 г.).
На основании результатов исследования создан программный продукт Моделирование экспериментов тестирования "ModExTest", зарегистрированный в РОСПАТЕНТе, № 2012612347.
Результаты диссертационной работы нашли применение в учебно-методическом отделе ФГБОУ ВПО Ростовский государственный экономический университет (РИНХ) в рамках накопительной бально-рейтинговой системы и внедрены в учебный процесс; приняты к использованию в НОУ ВПО Ростовский международный институт экономики и управления и др.
Публикации. Основные результаты диссертации отражены в 17 опубликованных научных работах, в том числе 4 - в изданиях, рекомендованных ВАК России. Общий объем публикаций по теме 8,25 п.л, из них авторских 6,65 п.л.
Структура н объем диссертации
Диссертационная работа состоит из введения, четырех глав, заключения, библиографического списка, содержащего 159 литературных источника, и 14 приложений.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обосновывается актуальность рассматриваемой проблемы, формулируются цель и задачи диссертационного исследования, определяются его объект и предмет, рассматриваются теоретические и методические основы исследования, выделяются научная новизна, теоретическая и практическая значимость работы, описывается структура диссертационной работы.
В главе 1 Проблемы оценки потребительского качества компьютерных систем тестирования в образовании рассмотрено понятие качество высшего образования', неотъемлемой частью которого являются результаты деятельности вуза (в том числе, текущие и итоговые оценки студентов, полученные в процессе тестирования).
Общий подход к оценке потребительского качества компьютерной тестовой системы (КТС) базируется на представлении о том, что тестовая оболочка рассматривается как информационная система (ИС). В рамках проведенного исследования было проанализировано более 90 КТС, анализ которых позволил выделить более 100 пользовательских функций. Для анализа информационных процессов КТС применялось CASE-средство AllFusion Process Modeler 7.0 (BPwin), с помощью которого была создана функциональная модель ИС тестирования.
Качество высшего образования - это сбалансированное соответствие всех аспектов высшего образования некоторым целям, потребностям, требованиям, нормам и стандартам [ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Основные положения и словарь. - М.: ИПК Издательство стандартов, 2001].
Информационный процесс (в экономике) - процессы накопления, обработки и распространения экономической информации в целях принятия решений в экономике, разделенных на три вида по назначению информации: 1) обеспечивающие выбор и формирование целей управляемого объекта; 2) предназначенные для разработки программы действий, т.е. методов, и определения средств достижения целей; 3) обеспечивающие нормальное протекание управляемого процесса по заданной программе [Лопатников, Л.И. Экономико-математический словарь; словарь современной экономической науки. - М., 2003],
Работа адаптивной системы основана на изменении ее параметров и структуры. Создание КТС с элементами адаптации может повысить эффективность процесса тестирования и оценки уровня знаний испытуемых за счет уменьшения объема и времени тестирования, а также увеличения точности оценки уровня знаний.
Анализ литературных источников и обзор КТС позволил выделить группу функций адаптивного тестирования (24), приведенных в табл. 1:
Таблица 1
Функции адаптивного тестирования_
Функция Характер истика
I. Функции адаптации процесса тестирования:
FA1 установка диапазона количества вопросов в тесте;
FA2 установка/выбор отправной точки - тестируемому устанавливается уровень знаний, определенный в предыдущих испытаниях;
FA3 обратная связь Ч отбор заданий строится, когда при правильном ответе тестируемого очередное задание выбирается более трудным, а неверный ответ влечет за собой предъявление последующего более легкого задания;
FA4 получение уникального варианта прохождения теста;
FA5 установка контрольных точек тестирования - промежуточный контроль, осуществляемый через установленное количество вопросов;
FA6 установка критерия завершения - когда точность оценки достигает статистически приемлемого уровня, или выдано максимальное число вопросов, или когда тестируемый выходит на некоторый постоянный уровень сложности;
FA7 расчет вероятностей соответствия уровня знания тестируемого той или иной оценке;
FA8 определение уровня обученности тестируемого;
II. Функцпн адаптации Банка задании:
FA19 формирование Банка заданий - формируется на основе функций Объединение вопросов в темы и Калибрование вопросов в балах (группа Создание и редактирование тестов);
FA20 ассигнование времени (распределение) - каждому вопросу можно устанавливать время на ответ, регулируя при этом его уровень сложности;
В главе 2 Экономико-математические модели процесса адаптации в тестовых системах была исследована возможность применения комплекса моделей и агоритмов адаптивного тестирования для оценки знаний испытуемого на основе авторской компьютерной программы лModExTest.
На основе анализа литературы, используя эвристический подход, была разработана базовая модель адаптивного тестирования. Рассмотрим модель в общем виде: Ш =<Q, USCAT, USCAT0,OTVh koef, VOTVh Rl>, (1)
где Q - количество вопросов в тесте; USCAT - уровень сложности вопроса; USCATo - первоначальный уровень сложности; OTV, - i-ый ответ, ie [1..Q]; koef -коэффициент за правильность; VOTV, - i-ый возможный (правильный) ответ, ie[l..Q]; R1 - результат тестирования.
Агоритм реализации базовой модели заключается в следующем:
1) при инициализации процесса тестирования находим уровень сложности первого вопроса: USCAT = USCAT0, USCAT0 = {l;2;3}; (2)
2) при последующем тестировании уровень сложности вопросов изменяется в зависимости от варианта тестирования: USCAT = {l;2;3}; I вариант (3)
{USCAT+1, если ответ положитешый и USCAT<3;
USCAT-1, еслиответ отрицатешыйи USCAT> 1; II вариант (4)
3) вычисляем коэффициент за правильность:
[а, если иЭСАТ,, = 1 или ШСАТ= 1;
кое/ = \ Ь, если ШСАТ; = 2 или ШСТ = 2; при а<Ь<с; (5)
[с, иначе;
4) получаем -ответ: ОТУ = кое^ Хесл" дан всР"ыК ответ. (6)
' \0, иначе; у '
5) вычисляем -ый возможный (правильный) ответ: СО77' = 1 + кое/; (7)
6) находим результат тестирования: = 07У,/К07У:. (8)
Результаты экспериментов базовой модели адаптивного тестирования доказали ее применимость для оценки знаний испытуемого; практически к 35-40-ому тестовому вопросу могут быть сделаны итоговые выводы.
Далее была получена модифицированная базовая модель, общий вид которой выглядит так: Ш=<2, иБСАТ^ОТУ,, Ки, К,л, Кь, И2>, (9)
где С? - количество вопросов в тесте; ШСА'Г - уровень сложности вопроса; ШСАТ0 - первоначальный уровень сложности; ОТУ, - -ый ответ, е [1.-0]; К и -бал за -ый ответ на Ь-ом уровне знания; Кю - первоначальный бал Ь-ого уровня знания, задаваемый экспериментально; Кь - результат на Ь-ом уровне знания; К2 -результат тестирования.
Агоритм реализации модифицированной базовой модели заключается в следующем:
1) и 2) аналогично предыдущему агоритму;
3) получаем -ответ: оту = 11-если лаи верный ответ, (цп
' [0, иначе; 4 '
3) задаем экспериментально значения первоначального бала Ь-ого уровня знания (в нашем случае: 0,25 для каждого уровня, 1=1);
4) вычисляем бал за -ый ответ на Ь-ом уровне знания согласно табл.2, Ь={2;3;4;5} (л+ - положительный ответ, л- - отрицательный ответ).
Таблица 2
Таблица равнораспределенных балов (Яи)
Ур.сложи 3 2 1
Ур.знания + - + - + .
"5" 1,8 0 0 0 0 0
Д4Д 0 0,6 1,6 0 0 0
"3" 0 0,6 0 0,8 1,4 0
"2" 0 0,6 0 0,8 0 1.4
6) вычисляем результат на Ь-ом уровне знания как частное суммы балов на Ь-ом уровне знания с первоначальным балом Ь-ого уровня к сумме всех
результатов: ^ = (][>,.,+ДУ > (П)
7) определяем результат тестирования как максимальный результат на Ь-ом уровне знания: Я2 = шах(Д). (12)
Результаты экспериментов модифицированной базовой модели адаптивного тестирования доказали ее применимость для оценки знаний испытуемого; практически к 30-35-ому тестовому вопросу могут быть сделаны итоговые выводы.
Ограничение на повышение (понижение) уровня сложности обосновывается использованием семиуровневой шкалой уровня знаний, используя промежуточные уровни знания. Нами предлагается использовать промежуточные уровни знания (логическое распределение уточняющих вопросов на оценки 3, 4, 5) во избежание случайности ответов (как положительных, так и отрицательных).
Уровень знания и уровень сложности вопросов рассматриваем в одной шкале (табл. 3):
Таблица 3
Ь=ШСАТ Оценка
Нами предложена расширенная базовая модель адаптивного тестирования.
Модель в общем виде: и=<Ь>, (13)
где и-результат; Ь - уровень знания, Ь={1;2...;7};
Ь=<л>, где Яь - результат на Ь-ом уровне знания; (14)
Ь = /(тах(Д,)); /(тах(^)) - принимает значение Ь, в котором максимальный; \1,=<рМ, О, и8САТ, иЗСАТо, ОТУц, РОЬьД ОТЯи, ЯД 4 (, >, (15)
где рШ - шаг контрольной точки; О - количество вопросов в тесте; иЭСТ -уровень сложности вопроса; и8САТ0 - первоначальный уровень сложности ОТУц -.-ый ответ на Ь-ом уровне знания, ОТУц ={-1; 0; 1}; РОЬц - количество правильных ответов на Ь-ом уровне знания на -ом этапе; ОТЯи - количество неправильных ответов на Ь-ом уровне знания на -ом этапе; Нц - результат на Ь-ом уровне знания на -ом этапе адаптации; ^ - время, отведенное на выпонения -го задания; ^ -время, затраченное на ]-ый ответ; е [1..п]; je [1..ргП].
Агоритм реализации расширенной базовой модели заключается в следующем:
1) устанавливаем максимальное количество этапов тестирования (целесообразно задавать число не более /(целое(т/рп1)), где т Ч общее количество вопросов в банке знаний);
2) при инициализации процесса тестирования устанавливаем уровень сложности первого вопроса: ЮСАТ = и5САТ0, ШСАТд = {1;2;..;7}; (16)
результаты не зависят от первоначального уровня знания, при любом иЯСТ0 испытуемый выйдет на соответствующий ему уровень знания (Ь), разным будет только количество шагов адаптации;
3) вычисляемой ответ на Ь-ом уровне знания:
{Ч1, если дан не верный ответ или ^ <
1, если дан верный ответ, (17)
0, иначе;
4) при последующем тестировании уровень сложности вопросов изменяется в зависимости от условий:
{и8САТ+1, если ответ положительный и и5САТ<7;
ШСАТ-!, если ответ отрицательный и и5САТ>1; (1В)
5) определяем количество правильных и количество неправильных ответов на Ь-ом уровне знания на -ом этапе:
рп! рп!
Р01и если ОТп = 1 ; отки = XI0Т1'ц 1-если ОТУц=-1; (19, 20)
7=1 У=1
6) вычисляем результат на Ь-ом уровне знания на -ом этапе адаптации:
< л>Д+0^*0; (21)
(^POLu+^OTRj О, иначе
7) определяем результат на L-ом уровне знания: 1, если RLi = /(тах(д), при /(max() = l,j е[1..л])
или 2 POLh >=2uJ^POLu = /(тах( POL )); i-1 1-1 1-1
0, иначе;
(22) (23)
Если п=МТ, то л, ={'Х СЛИ =/<Х*)> ' >=2),
[0, иначе;
Результаты экспериментов расширенной базовой модели адаптивного тестирования доказали ее применимость для оценки знаний испытуемого, уже к 2530-ому тестовому вопросу могут быть сделаны итоговые выводы.
В работе были построены эталонные модели расширенной базовой модели адаптивного тестирования оценки знаний испытуемого, соответствующие уровню л2 (неудовлетворительно), л3 (удовлетворительно), л4 (хорошо), л5 (отлично).
Рассмотрим эталонные модели расширенной базовой модели адаптивного тестирования.
1. На оценку л2 (неудовлетворительно) и л5 (отлично).
Модель в общем виде \У1=<К>, где I - результат; (24)
К Ч уровень знания , К={1;2;...;7};
К=<рп(, а ОТУк> Р01кД ОТИк,, и, Ц >, (25)
где рп1 - шаг контрольной точки, рШ > 4;<3 - количество вопросов в тесте; ОТУк; - .-ый ответ на К-ом уровне знания, ОТУ^={-1;0;1}; РОЬю - количество правильных ответов на К-ом уровне знания на -ом этапе; ОТГ^ - количество неправильных ответов на К-ом уровне знания на -ом этапе; - время, отведенное на выпонения -го задания; Ц. - время, затраченное на ]-ый ответ; е [1..п]; ]е [1..рп1];п={1;2}.
Агоритм эталонной модели на оценку л2 и л5 расширенной базовой модели аналогичен агоритму расширенной базовой модели, для реализации которого необходимы формулы:
1,еслиХ/>0А1=0;
7, если ОГДи = 0 > (26)
К=1 г=1
РОЬв = 07^,если ОТУк,= 1, 077?л = | 07УА-. |, если 07Уа;=-1. (27,28)
2. На оценку л3 (удовлетворительно) и л4 (хорошо).
Модель в общем виде \\'2=<А/>, (29)
где М - уровень знания , М={1;2;...;7};
М=</(тах(РД ))>, где Рм - результат на М-ом уровне знания; (30)
/(шах(РД)) - принимает значение М, в котором Рм максимальный; Рм Ч<рШ, 0, ОТУщ, РОЬщ, ОТЯмь Рмь 4 (/>, (31)
где рги - шаг контрольной точки, рЩ > 4;(} - количество вопросов в тесте; ОТУщ - j-ый ответ на М-ом уровне знания, ОТУ^=(-1;0;1}, Р01.М| - количество правильных ответов на М-ом уровне знания на -ом этапе; ОТ11м - количество неправильных ответов на М-ом уровне знания на -ом этапе; Ч время, отведенное на выпонения -го задания; - время, затраченное на .-ый ответ; е [1..п]; ]е [1..рп1].
Агоритм эталонной модели на оценку л3 и л4 расширенной базовой модели аналогичен агоритму расширенной базовой модели, для реализации которого необходимы формулы:
р _ /1, если Ри2 = 1 и РОЬм = /(гпах(РОЬм), Г2\
л ~ \0, иначе; >
1=1 1-1 О, иначе
+огаД * (33)
Р01К,^Р0ЬШ. (34)
Результаты экспериментов эталонных моделей расширенной базовой модели адаптивного тестирования доказали их применимость для оценки знаний испытуемого, агоритмы которых позволяют завершить тестирование уже на второй контрольной точке.
По всем разработанным моделям итоговые вероятности гипотез подтверждают, что при 50% ответов испытуемый получит оценку "2", при 60% ответов - оценку "3", при 70% ответов - оценку "4", при 80% ответов - оценку "5". Это в целом соответствует общей практике оценки знаний при тестировании.
На основе байесовского подхода разработана методика динамической оценки знаний при адаптивном тестировании, учитывающая результаты тестирования знаний испытуемого и его предыдущие ответы как вероятности гипотез об уровне знаний при реализации события (ответа или не ответа на вопрос определенной сложности).
Условная вероятность Р(Н,\А) гипотезы II, при появлении события А по
формуле Байеса определяет как1: Р(НЛА) = Р(Н:.) * Р(А \ Н,) / Р(Н,,) * Р(А \ Н,). (35)
Обозначения: Р(Н/) - априорная вероятность гипотезы II,; Р(А\Н,) - условная вероятность события А при существовании гипотез; /=/, 2.....п - номера гипотез.
Определены следующие гипотезы: испытуемый имеет уровень знаний на "неудовлетворительно"; "удовлетворительно"; "хорошо"; "отлично". Состояния испытуемого составляют поную группу событий, следовательно, сумма вероятностей этих состояний равна единице. Априорная вероятность каждой гипотезы до эксперимента равна 0,25, т.е. гипотезы равновероятны.
Используя авторскую программу с помощью функции Кпс1()
генерировались случайные числа ответов или не ответов (1 или 0) на вопрос в зависимости от заранее выбранной доли правильных ответов. Независимо от этого с
1 Вентцель, Н.С. Теория вероятностей: учеб. для вузов. - 5-е изд. стер. - М.: Бысш. шк., 1998.
помощью той же функции генерировались случайные числа трудности тестового задания (1, 2 и 3) по равномерному закону распределения.
При этих условиях определены события А/, Л2, А3 - верные ответы, события А], Л2, А3 - не верные ответы на вопросы сложности 1, 2 и 3 соответственно. Вероятности этих событий при соответствующих гипотезах заданы в табл. 4.
Таблица 4
__ Вероятности гипотез и событий_
Гипотезы Вероятности гипотез /'(//() Вероятности событий
А, А, А, А2 Аз Аз
"2" 0,25 0.6 0,4 0,5 0,5 0,4 0,6
"3" 0,25 0,7 0,3 0,6 0,4 0,5 0,5
"4" 0,25 0,8 0,2 0,7 0,3 0,6 0,4
"5" 0,25 0,9 0,1 0,8 0,2 0,7 0,3
Вероятности событий при соответствующих гипотезах для каждого этапа тестирования рассчитывались по формуле Байеса динамически, т.е. в качестве априорных вероятностей гипотез для следующего этапа брались соответствующие вероятности гипотез предыдущего этапа.
Дифференцирующую способность оценки знаний можно наблюдать на графике при доле верных ответов в 70% (рис. 1). Причем такое положение сохраняется для всех условий эксперимента.
Из результатов экспериментов видно, что практически к 20-ому тестовому вопросу могут быть сделаны итоговые выводы по оценке знаний испытуемого.
В качестве критерия остановки тестирования (К0) может быть использован показатель разности энтропий предыдущего и последующего этапов тестирования, значение которого меньше заданной величины:
К0 = \1,-11+1\<б, где / = -^(Р(Я,.)1оё2Р(Я,.), (36,37)
1 - мера степени неопределенности состояния системы (энтропия);
/ - этап тестирования; 3 - устанавливаемый предел приращения энтропии.
Динамику изменения критерия К0 для данных проведенного эксперимента (доля верных ответов в 70%, <5 = 0,08) можно проследить на графике (рис. 2).
Рассмотренный подход показывает
хорошую дифференцирующую способность оценки знаний, которая наблюдается при различных долях верных ответов (уровне обученности) испытуемых на вопросы различной сложности. Экспериментально установлено, что применение данного метода оценки знаний позволяет снизить объем тестирования на треть, т.е. повысить критерия остановки тестирования эффективность тестирования примерно на
Рис. 1. Изменения вероятностей гипотез для разных этапов тестирования при доле верных ответов в 70%
Рис. 2. Динамика изменения значений
Используя модель бинарной логистической регрессии, предложена методика вычисления количества угаданных ответов и количества случайных ошибок испытуемого, увеличивающая точность оценки.
Во множественной линейной регрессии предполагается, что зависимая переменная (лу) является линейной функцией независимых переменных (х), т.е.: у = а + Ьх, где хЧ уровень сложности вопроса; (38)
Ь Ч коэффициент, расчёт которого является задачей бинарной логистической регрессии; а Ч некоторая константа.
Рассматривая исход ответа на тестовое задание, задаем переменную лу со значениями 1 (тестируемый правильно ответил на вопрос) и 0 (неправильно). Задача регрессии может быть сформулирована так: предсказываем непрерывную переменную со значениями на отрезке [0,1] при любых значениях независимых переменных. Это достигается применением следующего регрессионного уравнения
(логит-преобразование): Р = Ч(39)
1 + е у
где Р - вероятность того, что произойдет интересующее событие (гипотеза Н(0) предполагает, что тестируемый ответит на вопрос правильно); е - основание натуральных логарифмов 2,71...; у - стандартное уравнение регрессии.
Если для Р получится значение меньшее 0,5, то можно предположить, что событие не наступит; в противном случае предполагается наступление события.
РД1 - начальное значение - принимаем равным 0,5 на каждом уровне сложности. Рассчитываем коэффициент изменения вероятности ДР,:
АР; =Р|+1-Р, (40)
Используя программный продукт 8ТАТ18Т1СА 6.0, были обработаны результаты тестирования1 (рис. 3): р-уровень менее 5%, следовательно, модель значима; значение статистики хи-квадрат для разницы между текущей моделью и моделью, содержащей лишь свободный член, высоко значимо.
N=20 Model: Logistic regression (logit) N of С Dep. var: Ответ Loss: Max likelihood Final loss: 11,224787155 Chi?(1)=5,27 's: 10 1'e:1 0 (4. st a) P4 ДР
2 0,893857171 0.07126606
3 0,719151396 0,06914133
Const. ВО |У|>_сложности | 4 0,437762443 0,01118651
5 0.19142888 -0.0381388
Estimate 4.52558: -1 19415{Ц1^ш| 7 0.021420351 -0,0242051
Odds ratio (unit ch) 92,34928: 0,30296 И
Cfii-square -2"iog(UkainoocJ) 5,276313 22,44957 Intercept only 27.72589
Рис. 3. Результаты логистической регрессии четвертого шага адаптации теста Одним из критериев оценки качества логистической регрессии является отношение несогласия2 (Odds ratio) (рис^).__
I Odds ratio: 6.РОЩ I
угадывание
случайная ошибка
Рис. 4. Отношение несогласия Предлагается интерпретировать результаты классификации наблюдений для установления количества угаданных ответов и количества случайных ошибок, совершенных испытуемым (рис. 4).
Адаптивное тестирование проводилось на основе расширенной базовой модели с помощью экспериментов авторской компьютерной программы лPlodExTest.
Отношение несогласия вычисляется как отношение произведения чисел правильно расклассифицированных наблюдений к произведению чисел неправильно расклассифицированных. Отношение несогласия больше I показывает, что построенная классификация лучше, чем, если бы мы просто провели классификацию наугад [Паклин, Н. Логистическая регрессия и ROC-анализ - математический аппарат. - [Электронный ресурс]. - Режим доступа: Ссыка на домен более не работаетlibrary/analisys/ regression/logistic].
На основании пробного тестирования (проверка остаточных знаний по дисциплине Информатика на тему: Табличный процессор MS Excel) были вычислены числовые характеристики (дисперсия, коэффициент вариации1 и др.), позволившие выявить дифференцирующую способность данной совокупности тестовых вопросов при оценке знаний тестируемыми. Коэффициент вариации показывает, какую долю среднего значения количества правильных ответов составляет их средний разброс, в нашем случае равен: 0,5458. Коэффициент вариации является числом больше 0,3, т.е. распределение не является нормальным.
Разбиение тестовых заданий по уровням сложности позволяет получить распределения ответов, близких к нормальному закону распределения.
В работе предложена методика оценки вероятности получения качественного тестового задания на основе модели бинарной логистической регрессии, позволяющая выявить динамику изменения их категории при дальнейшем использовании банка заданий адаптивного теста.
Рассматривая тестовое задание (вопрос), задаем переменную у (категория) со значениями 1 (тестовое задание качественное) и 0 (некачественное). Для решения задачи регрессии предсказываем непрерывную переменную со значениями на отрезке [0,1] при любых значениях независимых переменных. Это достигается применением регрессионного уравнения (формула 39). Зависимая переменная (у) является линейной функцией независимых переменных (х,):
у = b0 + b,x, + Ь2х2 + ...+ Ь9х9, (41)
где xi Ч уровень сложности тестового задания;
х2 Ч положительные ответы тестируемых, чей уровень знаний соответствует л2; х3 Ч отрицательные ответы тестируемых, чей уровень знаний соответствует л2; х4 Ч положительные ответы тестируемых, чей уровень знаний соответствует л3; х5 Ч отрицательные ответы тестируемых, чей уровень знаний соответствует л3; х6 Ч положительные ответы тестируемых, чей уровень знаний соответствует л4;
Х7 Ч отрицательные ответы тестируемых, чей уровень знаний соответствует л4; х8 Ч положительные ответы тестируемых, чей уровень знаний соответствует л5, х9 Ч отрицательные ответы тестируемых, чей уровень знаний соответствует л5; bi Ч коэффициенты, расчёт которых является задачей бинарной логистической регрессии, Ь0 Ч некоторая константа.
После обработки исходных данных (результаты пробного тестирования, расчеты с использованием метода бисериального коэффициента корреляции2, позволяющего распределить задания по категориям: 1 Ч соответствует качественному тестовому вопросу, 0 - некачественному и данных распределения тестовых вопросов по уровням сложности) в пакете STATISTICA 6.0 были получены следующие результаты (рис.5):
N=80 Model: Logistic regression (logit) N ot0's:12 1's 68 (jtorni1 sta) Defj var KareropHH Loss: Max likelihood Final loss: 7.384182238 Chi?(9)=52,865 p= ,00000 1 Classification of Cases (логиг1. lOdds tatio: Э6Э.Ш Pred. I Pred I Percent
Const. BИ Хпожност 2+ 2- 3+ 3- 4+ 4- 5+ 5- 0,000000 I 111 1П91.ЕЁЁ66 1ДЮ000 1 2: B6fl97,05882
Estimate 10 0 -0.097709 -1,94048 1 Х1,05158 0.Б47: -1,30542 : 0,38685 1,31951
Рис. 5. Результаты бинарной логистической регрессии
1 Аванесов, B.C. Композиция тестовых заданий. - М.: Центр тестирования Минобразования РФ, 2002. Кречетников, К.Г. Методология проектирования, оценки качества и применения информационных технологий обучения. - М.: Госкоорцентр, 2001.
Уравнение регрессии имеет вид: у = 10-0,097709х2 -1,94048х3 + х4 -1,05158х, +0,647хб -1,30542х7 +0,38685х, -1.31951Х,
Анализируем полученные результаты: р-уровень менее 5%, следовательно, модель значима; значение статистики хи-квадрат для разницы между текущей моделью и моделью, содержащей лишь свободный член, высоко значимо; коэффициент х[=0, следовательно распределение вопросов по уровням сложности незначимо для определения их качества, коэффициенты, полученные для х4, х6, х8 говорят о положительном влиянии переменных на качество тестового задания. Результаты классификации логит-преобразования показывают, что тестовые задания будут относиться к некачественным (для ОЬ5егуес1=1, РгеШс1ес1<0,5), к качественным (для ОЬзегуесИО Ргес1|'с1ес1>0,5), а остальные будут соответствовать заявленной категории (1 или 0).
Вычисляя АР, по каждому тестовому заданию через -отрезки времени в разных группах тестирующихся, можно проследить динамику изменения вероятностей наступления события У (категория)=1, тем самым повышая потребительское качество систем тестирования.
В главе 3 Оценка знаний студента при адаптивном тестировании на базе теории нечетких множеств проведено моделирование лингвистических оценок обученности студента и успешности освоения дисциплины, позволяющее динамически получать результат на каждом этапе адаптивного тестирования.
При интегральной оценке знаний студента необходимо вести учет количественных и качественных факторов с использованием лингвистических переменных. В работе предложена методика лингвистической оценки обученности студента и исследована возможность ее использования на каждом этапе тестирования:
1. Необходимо определить для исследуемого параметра (Оценка уровня обученности) его качество как нечеткую переменную, функция которой имеет следующий вид:
0, при0<л<т|Д,
Ч, при <х<хт1,,
0, при х > *тД,
В такой интерпретации1, если оценка меньше или равна хтш (х < хт1П) и оценка больше или равна хтах (х > хтах), то значение параметра недопустимо низкое (ц(х)=0), что позволяет задавать диапазон, в котором изменение значения параметра плавно влияет на оценку уровня обученности.
2. В процессе оценивания использовать лингвистическую интерпретацию в виде тетрарной шкалы Ы-У-Х-О, где уровень N (неудовлетворительно), уровень У (удовлетворительно), уровень X (хорошо) и уровень О (отлично).
Лингвистическая переменная Оценка уровня обученности (Р) с терм-множеством Т1={Неудовлетворительно (Ы), Удовлетворительно (У), Хорошо (X), Отлично (О)} имеет соответствующие функции принадлежности треугольного вида:
1 Доженко, А.И. Нечеткие модели - эффективный инструментарий для анализа потребительского качества информационных систем: монография. - Ростов-на-Дону: РГЭУ (РИНХ), 2008.
mid min
при 0 < х < xmjn, при хт1п < X < хш
при 0<x<xmin,
Х при *Дл х<хш,
. при хш <х<хтД, при х>хпш,
при 0 < х < хтах, Ч. при хм<х< х,Д
при Х>ХЩ*>
Xiriiih
- некоторые числовые параметры, принимающие произвольные действительные значения и упорядоченные отношением: хт1П<хД,у <хтах.
4. Сформировать значения числовых параметров функций принадлежности исследуемого параметра Оценка уровня обученности путем планирования эксперимента.
5. Построить классификатор терм-множеств значений лингвистической переменной Оценка уровня обученности (рис. 6).
Х \ ДщрД^ШЯЧжЯвИч
Х > ь Д1- Ф & t? </Х & # Р а* & дО р V- & & & N# | Ч*Ч li=N -ХХХ (jFY IJFX -><-ХХХ MFO 1
Рис. 6. Классификатор терм-множеств значений лингвистической переменной Оценкауровня обученности
6. Сформулировать правила нахождения значений числовых параметров (*mm .xДid') результирующей функции Y, фрагмент которых приведен в табл. 5. Показатели х) (j={min, mid, max}) определяются на первом (предыдущем) этапе тестирования, показатели х" (j={min, mid, max}) - на втором (текущем) этапе тестирования. Значения показателей x'j | х" зависят от правильности ответа студента на вопрос соответствующего уровня сложности. Значение коэффициента sgl (сглаживание) определяется экспериментальным путем (в нашем случае sgl=2).
7. Определить лингвистическое значение уровня исследуемого параметра (Оценка уровня обученности) на основании минимума расстояния р^ между нечетким множеством, заданным функцией принадлежности х, xmm, xmld, хтх), и каждым из нечетких множеств показателя качества, соответствующих функциям принадлежности и!х,хщш,х^,,хпт) (j=N, Y, X, О). Расстояние между нечеткими множествами можно представить так:
ри =maxfaL-ъЦ\актШ-ьЩа^-ЬЦ\1 = \А (46)
Таблица 5
Правила нахождения значений числовых параметров (хтп, хтШ, х1ШХ) результирующей функции У (фрагмент)
Минимальные значения показателей близости: расстояние между нечеткими множествами, абсолютное расстояния Хемминга и абсолютное расстояния Евклида1 определили одинаковую принадлежность показателя Оценка уровня обученноста к одному из четырех лингвистических уровней тетрарной шкалы классификатора в 95%.
Результаты адаптивного тестирования с использованием динамического оценивания нечеткого показателя Оценка уровня обученности доказывают несостоятельность классического оценивания тестируемого, исходя из процента правильно выпоненных заданий, и позволяют уже на 20 этапе завершить тест.
В работе предложена методика оценки успешности освоения дисциплины студентом (ОУ) на основе теории нечетких множеств (модель формирования лингвистической оценки в общем представлена на рис. 7), позволяющая проводить интегральный учет как количественных (количество вопросов, количество правильных ответов, суммарный бал), так и качественных факторов (освоение на 2 (х1), освоение на 3 (х2), 4 (хЗ) и 5 (х4)), учитывая неопределенность последних:
Рис. 7. Модель формирования лингвистической оценки успешности освоения
дисциплины студентом в общем виде где Б Ч накопленная сумма балов; х1 - освоение на 2; х2 - освоение на 3; хЗ - освоение на 4; х4 - освоение на 5.
1 Круглое, В.В. Нечеткая логика и искусственные нейронные сети / В.В.Круглое, М.И.Дли, Р.Ю.Голунов. - М.: Физматлит, 2001.
1. Необходимо произвести нормирование накопленной суммы балов на отрезок [0..100] по уровням.
2. Задать классификационную шкалу и функции принадлежности качества лингвистических переменных.
Лингвистические переменные лосвоение на 2 (х1), лосвоение на 3 (х2), лосвоение на 4у> (хЗ), лосвоение на 5 (х4) интерпретированы в виде терм-множества с триарной шкалой Т2={НС, СН, ПС}, где значение НС - не соответствует уровню (на 2, на 3, 4 или 5), СН - соответствует незначительно и ПС - соответствует поностью.
Каждая из лингвистических переменных лосвоение на 2 (3, 4, 5) имеет одну треугольную кривую принадлежности (47) и две Т-образных кривых принадлежности (48) ,' = 1.4), в общем виде которые могут быть заданы выражениями':
а<х<Ь, _
1 = 1Д Уе{Г2], (47)
fJJA(xi,a,b,c) =
Ь-а с-х ,
-, Ь<х<с,
где а, Ь, с - некоторые числовые параметры, характеризующие основание треугольника (а, с) и его вершину (Ь), причем дожно выпоняться условие: а<Ь<с. х<а,
l4(.xi,a,b,c,d) =
а<х<Ь, b <х<с, с <x<d, d<x
i = l,4,
где a, b, с, d Ч некоторые числовые параметры, характеризующие основание трапеции (a, d) и верхнее основание трапеции (Ь, с), принимающие произвольные действительные значения и упорядоченные отношением: a<b<c<d.
На рис. 8-9 приведены графики функций принадлежности нечетких терм-множеств лингвистической переменной лосвоение на 2 (3, 4, 5) (input 1-xl, input2-x2, input3-x3, input4-x4):
Рис. 8. Формирование входных лингвистических переменных лосвоение на 2 (х1),л освоение на 3 (х2)
1 Доженко, А.И. Нечеткие модели - эффективный инструментарий для анализа потребительского качества информационных систем: монография. - Ростов-на-Дону: РГЭУ (РИНХ), 2008.
лосвоение на 4 (хЗ), лосвоение на 5 (х4) Значения параметров а, с, с1 и Ь могут уточняться в соответствии с экспериментальными данными.
3. Определить классификационную шкалу и функции принадлежности исследуемого параметра Оценка успешности освоения дисциплины студентом в виде терм-множества значений Т1={Неудовлетворительно (Н), Удовлетворительно (У), Хорошо (X), Отлично (О)}.
Лингвистическая переменная Оценка успешности освоения дисциплины студентом имеет две треугольных кривых принадлежности (47) и две Т-образных кривых принадлежности (48) (ц"г, цДг, , )(рис. 10 - дайриИ - ОУ).
4. Определить нечеткие продукционные правила формирования оценки успешности освоения дисциплины студентом (табл. 6).
Таблица 6
Нечеткие продукционные правила (фрагмент)
Правило Цецеменная Вид тер.ма ЧЧ х1 \2 хЗ х4 ОУ
БП1 )!( + ОУ
СН + + +
ПС +
БП2 НС + ()УЛ
СН + +
ПС +
БПЗ НС + + ОУч
СН +
ПС + +
5. Аккумулировать выводы по всем правилам с применением операции шах-дизъюнкция. При дефазификации использовать метод центра тяжести для дискретного множества значений функций принадлежности.
С использованием авторской компьютерной программы лModExTest проводилось моделирование данных тестирования и определялись значения входных параметров лингвистических переменных лосвоение на 2 (xl), лосвоение на 3 (х2), лосвоение на 4 (хЗ), лосвоение на 5 (х4). Моделирование нечетких моделей проводилось с использованием специализированного пакета Fuzzy Logic Toolbox средства MATLAB. Выпонение нечеткого вывода реализовано на основе агоритма Мам дани (Mamdani)1.
Рассмотрим один из вариантов адаптивного тестирования, результаты которого приведены в табл. 7.
Таблица 7
Результаты адаптивного тестирования
ВОПРОС V 1 2 3 4 5 6 7 8 9 10 11 12 13
Вопрос на 3 4 5 5 5 5 5 4 3 4 5 4 3
Ответ 1 1 1 1 1 1 0 0 1 1 0 0 0
Вопрос 14 15 16 17 18 19 20 21 22 23 24 25
Вопрос ил 3 4 5 4 3 4 3 4 3 4 5 4
Ответ 1 1 0 0 1 0 1 0 1 1 0 1 60%
Значения входных параметров лингвистических переменных приведено в табл. 8. При значении классификатора триН= 97.59 значение лингвистической переменной х1 - лосвоение на 2 соответствует терму НС - не соответствует с уровнем уверенности цХ|НС = 1. При значении классификатора при12= 83 значение лингвистической переменной х2 - лосвоение на 3 соответствует терму СН -соответствует незначительно с уровнем уверенности ц^0" = 1. При значении классификатора прШЗ= 78.5 значение лингвистической переменной хЗ - лосвоение на 4 соответствует терму ПС - поностью соответствует с уровнем уверенности Цхз110 = 0,5. При значении классификатора при14= 82.6 значение лингвистической переменной х4 - лосвоение на 5 соответствует терму СН Ч соответствует незначительно с уровнем уверенности рх4сн = 0,9.
Таблица 8
Значения входных параметров лингвистических переменных_
Переменная Значение Уровень уверенности Переменная Значение Уровень уверенности
xl 97,59178 1 хЗ 78,5 цДпс 0,5
х2 83 1 х4 82,61019 1ЫНС 0,9
По заданным условиям активизируются правила 1, 2 и 3. Результирующее значение классификатора выходной переменной 01ЯриП соответствует значению 81.7, что определяет значение лингвистической переменной ОУ Оценка успешности освоения дисциплины студентом, равное X - хорошо с уровнем уверенности Цоу* = 0,5. Реализация правил нечеткого вывода приведена на рис. 11.
Семестровая оценка успеваемости студента по каждой учебной дисциплине выводится, исходя из максимальной суммы балов, равной 1002. Если по каждому виду учебной работы (/^/...^л) известны лингвистические оценки ОУ = (ОУ, ... ОУп) и определены весовые коэффициенты р = (р;.....рД), тогда оператор агрегирования
1 Wang, L.X. Generating Fuzzy Rules by Learning from Examples, IEEE Transactions on System // Man and Cybernetics. - 1992.-Vol. 22. -Nr. 6. -P. 1414-1427.
Положение об организации учебного процесса в Ростовском государственном экономическом университете (РИНХ) с использованием зачетных единиц (кредитов) и бально-рейтинговой системы. -Ростов-на-Дону: РГЭУ (РИНХ), 2011.
информации представляет собой взвешенную сумму и характеризуется своей лингвистической оценкой, определяемой функцией принадлежности на 01-
классификаторе цог (х) = ^ р, (х)р{. (49)
Рис. 11. Реализация правил нечеткого вывода Определим итоговую оценку: ц>(х)=91 х 0.08 + 79 х 0.08 + 83 х 0.1 + 82 х 0.12 + 87 х 0.12 + 84 х 0.5 = 84.66л85, что соответствует терму лингвистической переменной OY Оценка успешности освоения дисциплины студентом О -Отлично с уровнем уверенности ц0у = 0,5. При установке критерия значимости уровня уверенности KrZ=0.05, полученное значение переменной OY принимается, поэтому студенту выставляется оценка Отлично.
Экспериментально установлено, что применение данного подхода к оценке успешности освоения дисциплины студентом позволяет точно выставить оценку на любом этапе адаптивного тестирования. В рамках накопительной бально-рейтинговой системы использование теории нечетких множеств позволяет накапливать балы в 100-бальной шкале по всем видам учебной работы и формировать итоговый бал в зависимости от максимально возможных балов, установленных за каждый объем выпоненной работы.
В главе 4 Моделирование информационной системы адаптивного тестирования для проведения анализа функциональной поноты1 предложено все ИС тестирования разбить на 2 группы: дистрибутивные тестовые системы (ДТС) Ч системы, которые требуют установки на каждом ПК; веб-системы тестирования (ВСТ) и модули тестирования в обучающих образовательных системах (МТОС). Предложенная группировка позволяет выделить общие функции, присущие каждой группе ИС, и индивидуальные, а также сформировать перечень функций (53) для проведения анализа функциональной поноты ИС адаптивного тестирования. Общие функции, представленные во всех группах ИС тестирования, не рассматривались.
Из поного списка анализируемых тестовых систем были выделены системы, поддерживающие анализируемые функции (29 ДТС: S1 - Конструктор тестов, S2 -Кафедральные тесты СГУ, S3 - ACT-Тест, ..., S28 - Test 2002. Professoinal Edition, S29 - СТ М-Тест ;19 ВСТ и МТОС: VS1 - Тест. Программная среда
1 Хубаев, Г.Н, Методика экономической оценки потребительского качества программных средств // Программные продукты и системы (SOFTWARE and SYSTEMS). - 1995. - № 1.
лLEMON, VS2 - лKnowledgeCT, VS3 - Телетестинг-99, ..., VS18 -Microsoft E-Learning (модуль "Тестирование"), VS19 - IBM Lotus LearningSpace (модуль "Тестирование")).
Конструктивные особенности создания, применения и выбора дистрибутивных систем и веб-разработок не позволяют провести совместный анализ их функциональной поноты, поэтому данную методику применяли отдельно для каждой из двух групп. Из анализируемых ИС близкими к лэталонной адаптивной тестовой системе оказались дистрибутивные системы: S3 (ACT-Тест), S4 (МастерТест), S5 (СИнТеЗ), S15 (КТС Net 2), S17 (Quizzz), S25 (FastTEST Professional Testing System, 2.0), S26 (Test4DL , РЭА), S27 (MSCat Demo), S28 (Test 2002. 2.2.0.356. Professoinal Edition), S29 (CT М-Тест) и веб-системы: VS6(WebTutor (модуль "Тестирование"), VS1 l(eLearning Server 3000 (модуль "Тестирование"), VS12(LAMS (модуль "Тестирование"), VS14(Sakai (модуль "Тестирование"), VS15( Прометей (модуль "Тест"), VS17(Learn eXact (модуль "Тестирование"), VS 18(Microsoft E-Learning (модуль "Тестирование"), VS19 (IBM Lotus LearningSpace (модуль "Тестирование").
Современные CASE-средства позволяют создавать сложные программные системы от описания информационных процессов предметной области до создания программного кода. В настоящее время наибольшее распространение получил объектный подход к созданию ИС, в частности основанный на унифицированном языке моделирования UML (Unified Modeling Language).
Модель ИС адаптивного тестирования представлена в нотации UML в виде диаграмм прецедентов (главная диаграмм прецедентов представлена на рис. 12), описывающих основные цели системы и ее пользователей, диаграмм деятельности для анализа содержания необходимых управляющих и образовательных процессов процесса тестирования, диаграмм классов для отображения объектов и связей в системе.
Рис. 12. Главная диаграмма прецедентов ИС адаптивного тестирования
Фрагмент структуры объектов и связей в системе в виде модели базы данных представлен на рис. 13.
Рис. 13. Модель данных ИС адаптивного тестировании (фрагмент)
Созданная в нотации иМЬ модель ИС адаптивного тестирования позволяет существенно снизить затраты на разработку, модернизацию, модификацию и настройку программной системы, а также повысить потребительское качество программного продукта и поставку ИС в запланированные сроки.
В заключении приведены основные выводы и перечислены практические результаты исследования.
ПО ТЕМЕ ДИССЕРТАЦИИ ОПУБЛИКОВАНЫ РАБОТЫ
Статьи в изданиях, рекомендованных ВАК Минобрнауки России
1 Жилина, Е.В. Использование бинарной логистической регрессии для оценки качества адаптивного теста /Е.В.Жилина // Вестник Томского государственного университета.-Томск, 2010,-№ 334.-С. 106-109. - 0,5 п.л.
2 Жилина, Е.В. Проектирование семантического ядра контента учебного интернет-ресурса с поддержкой функций адаптивного контроля знаний / Е.В. Жилина, И.И. Мирошниченко // Вестник Ростовского государственного экономического университета. - Ростов-на-Дону, 2010. - № 3 (32). - С. 219-226. -0,6 п.л. (лично автора 0,3 п.л.).
3 Жилина, Е.В. Нечеткие модели оценки успешности освоения дисциплины студентом /Е.В.Жилина //Управление экономическими системами: электронный журнал. - 2011. - (35) № 11. - № гос.рег.статьи: 0421100034. (дата публикации 30.11.2011). - Электронный ресурс: Ссыка на домен более не работаетp>
4 Жилина, Е.В. Сравнительный анализ образовательных систем тестирования по критерию функциональной поноты / Е.Н.Ефимов, М.Ю.Денисов, Е.В.Жилина //Управление экономическими системами: электронный журнал. Ч 2012. - (40) № 4.
- № гос.рег.статьи: 0421200034. (дата публикации 09.04.2012).- Электронный ресурс: Ссыка на домен более не работаетp>
Статьи в журналах, сборниках научных трудов и сборниках материалов докладов конференций
5 Жилина, Е.В. Оценка эффективности использования компьютерных адаптивных тестовых систем в образовании /Е.В.Жилина // Информационные системы, экономика, управление трудом и производством: Ученые записки. Вып. 12.
- Ростов-на-Дону: РГЭУ РИНХ, 2008. - С. 66-72. - 0,5 п.л.
6 Жилина, Е.В. Экономико-организационные аспекты применения адаптивных тестовых систем в высшей школе /Е.В.Жилина // Экономические информационные системы и их безопасность: разработка, применение и сопровождение: материалы регион, науч.-практич. конф. 1-5 октября 2009 г. / п.Архыз. - Ростов-на-Дону: РГЭУ РИНХ, 2009. - С. 75-80. - 0,5 п.л.
7 Жилина, Е.В. Линейная модель адаптивного тестирования /Е.В.Жилина // Проблемы создания и использования информационных систем и технологий: материалы III межрегион, конф. 11 декабря 2009 г. - Ростов-на-Дону: РГЭУ РИНХ, 2009. - С. 10-15,- 0,45 п.л.
8 Жилина, Е.В. Эталонные модели адаптивных систем тестирования в образовании /Е.В.Жилина // Информационные системы, экономика, управление трудом и производством: Ученые записки. Вып.13. - Ростов-на-Дону: РГЭУ РИНХ, 2010. - С. 76-83. - 0,45 п.л.
9 Жилина, Е.В. Моделирование данных системы адаптивного тестирования в Rational Rose /Е.В.Жилина // Актуальные вопросы развития современной науки, техники и технологий: материалы II всерос. науч.-практич. (заочной) конф. 1-3 февраля 2010 г. / г. Москва. - М.: Редакционно-издательский комплекс Независимый издательский институт развития рыночных реформ, 2010. -С. 56-60. - 0,3 п.л.
10 Жилина, Е.В. Визуальное моделирование процессов адаптивного тестирования /Е.В.Жилина // Современные достижения в науке и образовании: математика и информатика: материалы междунар. науч.-практич. конф. 1-5 февраля 2010 г. - Архангельск, 2010. -С. 550-553. - 0,3 п.л.
11 Жилина, Е.В. Расчет показателей вариации для анализа распределения балов в адаптивном тесте /Е.В.Жилина // Новые технологии в образовании: материалы V междунар. Интернет-конф. 31 марта 2010 г. / Таганрогский государственный педагогический институт. - М.: Спутник+, 2010. - С.20-24. -0,2 п.л.
12 Жилина, Е.В. Применение логит-преобразования для оценки качества банка заданий адаптивного теста /Е.В.Жилина // Молодежь и экономика: материалы VII междунар. науч. конф. молодых ученых, аспирантов и студентов. 22 апреля 2010 г. - Ярославль, 2010. - С. 178-180. - 0,2 п.л.
13 Жилина, Е.В. Функциональное моделирование информационной системы тестирования в образовании / Е.В. Жилина, К.А. Бородин // Перспектива: V материалы междунар. науч.-практич. Интернет-конф. 5 апреля 2010 г. - 30 июня 2010 г. -Железногорск, 2010. -С. 80-87. - 0,6 п.л. (лично автора0,3 п.л.).
14 Жилина, Е.В. Байесовский подход к оценке знаний при тестировании / E.H. Ефимов, Е.В. Жилина // Проблемы информационной безопасности: материалы VI всерос. науч.-практич. Интернет-конф. 20 мая - 20 июня 2011 г. - Ростов-на-Дону: РГЭУ РИНХ, 2011. - 0,3 п.л. (лично автора 0,15 п.л.).
15 Жилина, E.B. Визуализация компонентов веб-модели автоматизированной системы тестирования в Rational Rose /Е.В.Жилина // Тенденции развития научных исследований (Тенденцн розвитку наукових досщжень): материалы междунар. науч.-практич. конф. 21.02.2011 г. / Украина. - Киев: НАИРИ, 2011. - С.107-112. -0,5 п.л.
16 Жилина, Е.В. Динамическая оценка знаний при тестировании: байесовский подход / E.H. Ефимов, Е.В. Жилина // Информационные системы, экономика, управление трудом и производством: Ученые записки. Вып. 14. - Ростов-на-Дону: РГЭУ РИНХ, 2011. - 0,45 п.л. (лично автора 0,2 п.л.).
17 Жилина, Е.В. Анализ применяемых моделей и методов тестирования для оценки знаний специалиста /Е.В.Жилина // Zprvy vdeck ideje - 2011 : materily VH mezinrodni vdecko - praktick konference. 27 fijna - 05 listopadu 2011 roku. Dil 4. Ekonomick vdy. - Praha: Publishing House лEducation and Science s.r.o, 2011. -C. 53-62. - 0,7 п.л.
Зарегистрированные программные средства
18 Моделирование экспериментов тестирования "ModExTest" / Авторы-правообладатели: E.H. Ефимов, Е.В. Жилина // Свидетельство о государственной регистрации программы для ЭВМ. - № 2012612347. -М.: РОСПАТЕНТ, 2012.
Печать цифровая. Бумага офсетная. Гарнитура Тайме. Формат 60x84/16. Объем 1,1 уч.-изд.-л. Заказ № 2581 Тираж 120 экз. Отпечатано в КМЦ КОПИЦЕНТР 344006, г. Ростов-на-Дону, ул. Суворова, 19, тел. 247-34-88
Диссертация: содержание автор диссертационного исследования: кандидат экономических наук , Жилина, Елена Викторовна
ВВЕДЕНИЕ
1 ПРОБЛЕМЫ ОЦЕНКИ ПОТРЕБИТЕЛЬСКОГО КАЧЕСТВА
КОМПЬЮТЕРНЫХ СИСТЕМ ТЕСТИРОВАНИЯ В ОБРАЗОВАНИИ
1.1 Тестирование как результат образовательной деятельности вуза
1.2 Анализ применяемых моделей и методов тестирования для оценки знаний студента
1.3 Проблемы построения информационной системы тестирования
1.4 Использование адаптивного тестирования для оценки знаний студента
2 ЭКОНОМИКО-МАТЕМАТИЧЕСКИЕ МОДЕЛИ ПРОЦЕССА 55 АДАПТАЦИИ В ТЕСТОВЫХ СИСТЕМАХ
2.1 Модели и агоритмы адаптивного тестирования и их реализация
2.2 Динамическая оценка знаний при тестировании: байесовский подход
2.3 Использование бинарной логистической регрессии для вычисления количества угаданных ответов и случайных ошибок испытуемого
2.4 Модели и методики оценки потребительского качества банка заданий тестовых систем
3 ОЦЕНКА ЗНАНИЙ СТУДЕНТА ПРИ АДАПТИВНОМ ТЕСТИРОВАНИИ НА БАЗЕ ТЕОРИИ НЕЧЕТКИХ МНОЖЕСТВ
3.1 Обоснование возможности использования нечетких моделей для расчета количественных показателей качества подготовки студента
3.2 Моделирование лингвистической оценки обученности студента при адаптивном тестировании
3.3 Нечеткая модель оценки успешности освоения дисциплины студентом
4 МОДЕЛИРОВАНИЕ ИНФОРМАЦИОННОЙ СИСТЕМЫ АДАПТИВНОГО ТЕСТИРОВАНИЯ
4.1 Функциональная понота адаптивных образовательных тестовых систем
4.2 Визуальное моделирование информационных процессов адаптивного тестирования
4.3 Разработка модели web-ориентированной информационной системы адаптивного тестирования ЗАКЛЮЧЕНИЕ
Диссертация: введение по экономике, на тему "Модели, методы и инструментальные средства оценки потребительского качества тестовых систем в образовании"
Актуальность темы исследования. Отказ от устоявшихся и введение новых технологий (тестирование при приеме в вузы вместо традиционных экзаменов, бально-рейтинговая система оценивания, обучение в виртуальной среде и т.д.) выводит проблему качества образования в ряд приоритетных государственных и общественных проблем.
В настоящее время в российской системе высшего образования большинство вузов в своей деятельности обращается к автоматизированным системам тестирования не только в процессе текущего и итогового контроля знаний студентов, но и в качестве механизма оценки уровня образования выпускников.
Тестовые системы в образовании обеспечивают: накопление информации о процессе тестирования каждого испытуемого (учет времени тестирования, статистику результатов, рейтинг и др.); большой объем банка заданий, распределенных по уровням сложности; расчет статистических характеристик и показателей надежности функционирования тестовых заданий; динамическую оценку знаний испытуемого при любой системе оценивания; уменьшение доли субъективизма при оценке результатов освоения дисциплины испытуемым и Др.
Важным является тот факт, что с точки зрения пользователя системы тестирования, аналогичные по своему назначению и выпоняемым функциям, имеют разную стоимость, обладают разными возможностями. В сложившейся ситуации необходимо адекватно оценивать потребительское качество тестовых систем, степень ее соответствия требованиям пользователя.
Это обусловило необходимость проведения анализа информационных процессов, разработки моделей и методов, обеспечивающих потребительское качество систем тестирования в образовании.
Степень разработанности проблемы. Проблемы оценки качества информационных систем (ИС) рассматриваются в трудах ученых
Т.П.Барановской, В.В.Дика, А.И.Доженко, Е.Н.Ефимова, В.В.Липаева, Г.А.Титоренко, Е.Н.Тищенко, Г.Н.Хубаева, И.Ю.Шполянской и др.
Общетеоретические, методологические и практические вопросы по проблемам качества образовательной системы Российской Федерации исследуются в трудах С.В.Арженовского, Г.В.Гореловой, В.А.Долятовского, Л.В.Зайцевой, А.Н.Ткачева и др.
Вопросам проведения тестирования, контроля и оценки знаний посвящены работы В.С.Аванесова, В.И.Васильева, Д.Вейса, К.Х.Калугян, П.И.Канивца, Дж.Раша, Т.Н.Тягуновой, М.Б.Челышковой и др.
Вопросы моделирования информационных процессов с использованием языка ЦМЬ освещены в работах Д. Рамбо, А. Боггса, Г. Буча, А.М.Вендрова, Т.Кватрани, А.В.Леоненкова, Г.Н.Хубаева, И.Ю.Шполянской, С.М.Щербакова, А.Якобсона и др.
Однако до настоящего времени не существует комплексных теоретических и практических разработок, посвященных проблемам оценки потребительского качества образовательных систем. Не упоминается о разработках и использовании моделей, методов и инструментальных средств адаптивного тестирования, а приводится лишь теоретическое обоснование необходимости его использования в образовании. Большинство применяемых в, учебных заведениях квалификационных тестов таковыми не являются. Не выпоняется обязательная проверка качества теста, не проводится определение их трудности. Данные обстоятельства обусловили выбор темы диссертационного исследования, определили его цели, задачи и структуру.
Объект и предмет исследования. Объектом исследования являются образовательные учреждения всех организационно-правовых форм. Предметом исследования выступают социально-экономические процессы и явления сферы образования.
Цель диссертационного исследования. Целью диссертационного исследования является разработка методического и инструментального обеспечения для оценки потребительского качества систем тестирования в образовании.
Для достижения поставленной цели потребовалось решить следующие задачи:
- разработать экономико-математические модели, позволяющие оценить потребительское качество тестовых заданий (вопросов);
- разработать модели формирования индивидуальных итоговых оценок знаний испытуемых, агоритмы, уменьшающие время проведения адаптивного тестирования, и инструментарий их реализации;
- выпонить оценку функциональной поноты существующих образовательных систем тестирования;
- разработать комплекс моделей информационной системы адаптивного тестирования (в нотации унифицированного языка моделирования - ИМЬ), который позволит отразить рациональную структуру и функции информационной системы, снизить затраты на ее разработку, модернизацию и модификацию.
Теоретическую и методологическую основу исследования составили труды российских и зарубежных ученых, посвященные исследованию проблем потребительского качества информационных систем и технологий, вопросам системного анализа, методам математической статистики, теории вероятностей и теории нечетких множеств. Диссертационное исследование базируется на современных работах, посвященных методам структурного и объектно-ориентированного анализа и моделирования информационных систем, материалах конференций, статьях в сборниках научных трудов и в периодической печати, информационных материалах, опубликованных в Интернете.
Эмпирическую базу исследования составили результаты исследований автора, собранные в ходе активных и пассивных экспериментов.
Инструментально-методический аппарат исследования составили методы системного анализа, математической статистики, теории вероятности, теории нечетких множеств, унифицированный язык моделирования UML, современное программное обеспечение общего и специального назначения: AllFusion Process Modeler r7, AllFusion Erwin Data Modeler r7, IBM Rational Rose (в том числе инструменты Data Modeler, Web Modeler), STATISTICA 6.0, Fuzzy Logic Toolbox средства MATLAB 7.11.0, программа Анализ функциональной поноты ИС, разработанная в ФГБОУ ВПО РГЭУ (РИНХ), программа лModExTest, разработанная автором в среде Visual Basic 6.0.
Работа выпонена в рамках паспорта специальности 08.00.13 -Математические и инструментальные методы экономики п.2.6 Развитие теоретических основ, методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии.
Нормативно-правовая база исследования основана на законодательных и нормативных актах, постановлениях, федеральных государственных стандартах Минобрнауки России.
Рабочая гипотеза заключается в следующем: для эффективной организации деятельности образовательного учреждения при контроле знаний обучаемых необходимы компьютерные системы тестирования, удовлетворяющие требованиям пользователей. Создание и использование моделей, методов и инструментальных средств позволит оценить потребительское качество систем тестирования и минимизировать издержки при их реализации.
Положения, выносимые на защиту:
1. Инструментальное средство для оценки применимости моделей тестирования, учитывающее время прохождения теста, количество вопросов в тесте, уровень сложности тестовых заданий, количество правильных ответов и ошибок испытуемого, вероятность соответствия оценки на каждом уровне знания.
2. Методика оценки вероятности получения качественного тестового задания, определяющая влияние положительных (отрицательных) ответов испытуемых, распределенных по соответствующим уровням знаний, на тестовые задания.
3. Методика оценки уровня обученности и успешности освоения дисциплины студентом при тестировании в рамках накопительной бально-рейтинговой системы для представления шкалы оценок в естественноязыковых категориях.
4. Результаты сравнительной оценки потребительского качества тестовых систем по критерию функциональной поноты.
5. Построенные визуальные модели информационной системы адаптивного тестирования, функционирующей в Интернет-среде, в нотации имь.
Научная новизна диссертационного исследования заключается в разработке методических и практических основ обеспечения потребительского качества систем тестирования, применяемых в образовательной деятельности вуза.
Основные результаты, содержащие элементы научной новизны, состоят в следующем:
1. Разработано инструментальное средство для оценки применимости комплекса моделей тестирования, отличающееся возможностью выдачи тестовых заданий как случайным образом, так и с учетом адаптации, когда последующее задание отличается от предыдущего коэффициентом трудности, учитывающее время прохождения теста, количество вопросов в тесте, уровень сложности тестовых заданий, контрольные точки тестирования, количество правильных ответов, случайных ответов и ошибок испытуемого (на основе модели бинарной логистической регрессии), вероятность соответствия оценки (на основе байесовского подхода) на каждом уровне знания, что позволяет существенно снизить затраты на оценку характеристик потребительского качества тестовых систем.
2. Разработана методика оценки вероятности получения требуемого тестового задания на основе модели бинарной логистической регрессии, отличающаяся возможностью использования результатов тестирования группы испытуемых, и позволяющая определить влияние положительных (отрицательных) ответов испытуемых, распределенных по соответствующим уровням знаний, на тестовые задания, выявить динамику изменения их категории (качественное, некачественное) и повысить потребительское качество тестовых систем.
3. Разработана методика оценки уровня обученности и успешности освоения дисциплины студентом при тестировании в рамках накопительной бально-рейтинговой системы на основе теории нечетких множеств, позволяющая динамически оценивать знания студента, отличающаяся возможностью представления шкалы оценок в естественно-языковых категориях.
4. Выпонена сравнительная оценка потребительского качества существующих классов тестовых систем (дистрибутивные тестовые системы, веб-системы тестирования и модули тестирования в образовательных системах) с использованием метода анализа функциональной поноты систем1, позволившая количественно оценить степень подобия рассматриваемых системам, степень соответствия той или иной структуры лэталонной модели информационной системы, учитывающей требования пользователя к информационно-образовательной среде. Результаты анализа помогли выделить группы однородных информационных систем со сходным набором функций, что позволяет сравнивать их между собой, сопоставляя другие характеристики (цена, производительность, надежность и др.), предоставляя пользователям возможность сделать обоснованный выбор.
5. Разработаны визуальные модели в нотации ЦМЬ информационной системы, отличающиеся описанием процессов адаптивного тестирования.
1 Хубаев, Г.Н. Сравнение сложных программных систем по критерию функциональной поноты //Программные продукты и системы (8ой&8уз1ет). -1989. - №2. - С.6-9.
Модели описывают функциональное назначение системы, содержат информационные и образовательные процессы тестирования, отображают структуру объектов и связей в системе в виде модели базы данных и программных компонентов, функционирующих в Интернет-среде, что позволяет существенно снизить затраты на разработку, модернизацию, модификацию и настройку программной системы.
Теоретическая и практическая значимость исследования. Теоретическая значимость результатов диссертационной работы состоит в создании методического обеспечения для оценки потребительского качества систем тестирования.
Практическая значимость диссертационной работы заключается в разработке инструментального средства для реализации комплекса экономико-математических моделей, позволяющего снизить затраты на оценку характеристик потребительского качества тестовых систем. Разработанные ЦМЬ-модели дают представление о структуре и динамике ИС, что позволяет разработчикам программного обеспечения реализовать решения по созданию системы тестирования для любого образовательного учреждения, а использование объектно-ориентированных технологий на всех стадиях разработки ИС позволяет осуществить ее программную реализацию и адаптацию с минимальными затратами.
Предложенные автором методы, модели и программный инструментарий позволят образовательным учреждениям повысить потребительское качество разрабатываемых систем тестирования, в том числе использующих веб-технологии, сократить временные и финансовые затраты на проектирование.
Апробация работы Теоретические положения и практические рекомендации, сформулированные в диссертационном исследовании, нашли отражение в научно-исследовательских работах кафедры Информационные технологии и защита информации РГЭУ (РИНХ), докладывались автором на научно-практических конференциях: Экономико-организационные проблемы проектирования и применения информационных систем: материалы X междунар. науч.-практич. конф. (г.Кисловодск, декабрь, 2008 г.); Экономические информационные системы и их безопасность: разработка, применение и сопровождение: материалы регион, науч.-практич. конф. (п.Архыз, октябрь, 2009 г.); Современные достижения в науке и образовании: математика и информатика: материалы междунар. науч.-практич. конф. (г.Архангельск, февраль, 2010 г.), Тенденции развития научных исследований (Тенденци розвитку наукових досщжень) (г.Киев, февраль, 2011 г.), лZprvy vdeck ideje - 2011: materily VII mezinrodn vedecko - praktick konference (г.Прага, октябрь, 2011 г.) и другие.
Отдельные результаты диссертационной работы были использованы в исследованиях по внутривузовскому гранту: "Интерактивный инструментарий анализа качества и эффективности применения тестов в учебном процессе РГЭУ РИНХ" (№ 2/07-вн, 2007 г.).
На основании результатов исследования создан программный продукт Моделирование экспериментов тестирования "ModExTest", зарегистрированный в РОСПАТЕНТе, № 2012612347.
Результаты диссертационной работы нашли применение в учебно-методическом отделе ФГБОУ ВПО Ростовский государственный экономический университет (РИНХ) в рамках накопительной бально-рейтинговой системы и внедрены в учебный процесс; приняты к использованию в НОУ ВПО Ростовский международный институт экономики и управления и др.
Публикации. Основные результаты диссертации отражены в 17 опубликованных научных работах, в том числе 4 - в изданиях, рекомендованных ВАК России. Общий объем публикаций по теме 8,25 п.л, из них авторских 6,65 пл.
Структура и объем диссертации
Диссертационная работа состоит из введения, четырех глав, заключения, библиографического списка, содержащего 159 литературных источника, и 14 приложений.
Диссертация: заключение по теме "Математические и инструментальные методы экономики", Жилина, Елена Викторовна
Основные выводы и результаты проведенного исследования заключаются в следующем:
1. На основании анализа литературы была получена классификация тестов, рассмотрены общие атрибуты качества тестов.
2. Проведен анализ применяемых моделей и методов тестирования для оценки знаний студента. Рассмотрены принципы, достоинства и недостатки классической теории тестирования (Classical Test Theory Ч СТТ) и современной теории тестирования (Item Response Theory - IRT).
3. Общий подход к оценке качества компьютерных тестовых систем базируется на представлении о том, что тестовая оболочка рассматривается как информационная система (ИС). В рамках проведенного исследования были проанализированы более 90 образовательных тестовых систем, анализ которых позволил выделить более 100 функций.
4. Для проведения анализа информационных процессов автоматизации тестовых систем применялось CASE-средство AllFusion Process Modeler 7.0 (BPwin). Для разработки информационной модели на базе функциональной модели применялось инструментальное средство Erwin Data Modeler 7.0. Данный подход позволил выделить недостатки существующих систем тестирования.
5. С учетом особенностей сложных систем рассмотрено понятие адаптации как активного действия (управления), изменяющего параметры и
- структуру системы, определяющего критерии ее функционирования. Анализ литературных источников и обзор тестовых систем позволил выделить группу функций адаптивного тестирования (23), включающие функции адаптации процесса тестирования и функции адаптации Банка заданий.
6. Было разработано инструментальное средство лModExTest, написанное на языке Visual Basic 6.0, для оценки применимости комплекса моделей адаптивного тестирования (базовая, модифицированная базовая, расширенная базовая и эталонные модели). По всем разработанным моделям итоговые вероятности гипотез подтверждают, что при 50% ответов испытуемый получит оценку "2", при 60% ответов - оценку "3", при 70% ответов - оценку "4", при 80% ответов - оценку "5". Это в целом соответствует общей практике оценки знаний при тестировании. Результаты моделирования всех приведенных моделей адаптивного тестирования доказали их применимость для оценки знаний испытуемого.
7. На основе байесовского подхода разработана методика динамической оценки знаний при адаптивном тестировании, учитывающая результаты тестирования знаний испытуемого и его предыдущие ответы как вероятности гипотез об уровне знаний при наблюдении появления некоторого события (ответа или не ответа на вопрос определенной сложности).
Результаты моделирования динамической оценки знаний по формуле Байеса доказали их применимость для оценки знаний испытуемого при проведении адаптивного тестирования. Из результатов экспериментов видно, что практически к 20-ому тестовому вопросу могут быть сделаны итоговые выводы по оценке знаний испытуемого. Экспериментально установлено, что применение данного метода оценки знаний позволяет снизить объем тестирования на треть, т.е. повысить эффективность тестирования примерно на 30%.
8. На основе отношения несогласия, рассчитанного методом классификации наблюдений, разработана методика вычисления количества угаданных ответов и количества случайных ошибок. Отношение несогласия является одним из критериев оценки качества бинарной логистической регрессии, позволяющей вычислять вероятность правильного ответа испытуемого на каждом уровне знания. Это достигается применением регрессионного уравнения (логит-преобразование), вычисляющего вероятность того, что произойдет интересующее событие (тестируемый правильно ответил на вопрос), учитывая динамику изменения вероятности (АРО, соответствующего 1 -го уровня сложности.
9. Большинство применяемых в учебных заведениях дисциплинарных, междисциплинарных и квалификационных тестов таковыми не являются. Не выпоняется обязательная проверка качества теста, не проводится определение их трудности.
На основании пробного тестирования были вычислены числовые характеристики (дисперсия, среднее квадратическое отклонение, коэффициент вариации и др.), позволившие выявить дифференцирующую способность данной совокупности тестовых вопросов при оценке знаний тестируемыми. Разбиение тестовых заданий по уровням сложности позволяет получить распределения ответов, близких к нормальному закону распределения. Построены гистограммы долей правильных ответов и распределения количества испытуемых.
10. Расчет с использованием метода бисериального коэффициента корреляции, подходящий для дихотомических шкал, направленный на проверку гипотезы о связи между тестовым вопросами и общим результатом теста, позволяет распределить задания по категориям: 1 - соответствует качественному тестовому вопросу, 0 - некачественному.
11. В работе спрогнозированы вероятности получения качественного тестового задания на основе модели бинарной логистической регрессии, позволяющей выявить влияние положительных (отрицательных) ответов тестируемых, распределенных по соответствующим уровням знаний, на тестовые задания и выявить динамику изменения их категории при дальнейшем использовании банка заданий адаптивного теста.
12. Для определения точности теста и устойчивости его результатов необходимо вычислять его надежность. Для дихотомических шкал тестовых ответов рекомендуется использовать формулу Кьюдера Ч Ричардсона. Рассчитанный показатель контрольного тестирования показал хорошую надежность, что говорит о возможности использования теста в дальнейшем.
13. В работе проведено моделирование лингвистической оценки уровня обученности студента, позволяющее динамически получать результат на каждом этапе адаптивного тестирования. Для исследуемого параметра (Оценка уровня обученности) его качество описано как нечеткая переменная. В процессе оценивания использовалась лингвистическая интерпретации в виде тетрарной шкалы К-У-Х-О, где уровень N (неудовлетворительно), уровень У (удовлетворительно), уровень X (хорошо) и уровень О (отлично). Предложена методика и исследована возможность использования нечеткой модели для оценки уровня обученности студента. Данный подход доказывает несостоятельность классического оценивания тестируемого, исходя из процента правильно выпоненных заданий. Результаты адаптивного тестирования с использованием динамического оценивания нечеткого показателя Оценка уровня обученности позволяют уже на 20 этапе завершить тест.
14. В работе разработана методика оценки успешности освоения дисциплины студентом (OY) на основе теории нечетких множеств, позволяющий проводить интегральный учет как количественных (количество вопросов, количество правильных ответов, суммарный бал), так и качественных факторов (освоение на 2 (xl), освоение на 3 (х2), 4 (хЗ) и 5 (х4)), учитывая неопределенность последних. Экспериментально установлено, что применение данного метода оценки успешности освоения дисциплины студентом позволяет точно выставить оценку на любом этапе адаптивного тестирования.
15. В рамках накопительной бально-рейтинговой системы использование теории нечетких множеств позволяет накапливать балы в 100-бальной шкале по всем видам учебной работы и формировать итоговый бал в зависимости от максимально возможных балов, установленных за каждый объем выпоненной работы.
16. В настоящее время на рынке программных продуктов существует большое количество контролирующих, обучающих, тестовых систем. Выбрать среди них ИС, удовлетворяющую всем требованиям пользователя, достаточно трудно. С использованием демонстрационных и рабочих версий систем тестирования, документации и литературных источников был составлен предварительный перечень функций (103) ИС тестирования.
Предложенная группировка позволяет выделить общие функции, присущие каждой группе ИС, и индивидуальные, а также сформировать перечень функций (53) для проведения анализа функциональной поноты ИС адаптивного тестирования. Конструктивные особенности создания, применения и выбора дистрибутивных систем и веб-разработок не позволяют провести совместный анализ их функциональной поноты, поэтому данную методику применяли отдельно для каждой из двух групп для оптимального выбора адаптивной ИС тестирования.
17. Была разработана UML-модель ИС адаптивного тестирования. С помощью инструмента Data Modeler переход от логической модели ИС к физической в Rational Rose обеспечивася автоматически. Для построения диаграммы компонентов пакет Сущности ИС адаптивного тестирования был преобразован с помощью встроенного средства Data Modeler в модель базы данных, ориентированную на MySQL 5.5.8. Диаграмма классов пакета Границы ИС адаптивного тестирования была преобразована с помощью инструмента Web Modeler в сайт, т.е. набор станиц и форм. В результате была построена диаграмма компонентов веб-ориентированной ИС адаптивного тестирования.
Созданная в нотации UML-модель ИС адаптивного тестирования позволяет существенно снизить затраты на разработку, модернизацию, модификацию и настройку программной системы, а также повысить потребительское качество программного продукта и поставку ИС в запланированные сроки.
Теоретическая значимость результатов диссертационной работы состоит в создании методического обеспечения для оценки потребительского качества систем тестирования.
Практическая значимость диссертационной работы заключается в разработке инструментального средства для реализации комплекса экономико-математических моделей, позволяющего снизить затраты на оценку характеристик потребительского качества тестовых систем. Разработанные UML-модели дают представление о структуре и динамике ИС, что позволяет разработчикам программного обеспечения реализовать решения по созданию системы тестирования для любого образовательного учреждения, а использование объектно-ориентированных технологий на всех стадиях разработки ИС позволяет осуществить ее программную реализацию и адаптацию с минимальными затратами.
Предложенные автором методы, модели и программный инструментарий позволят образовательным учреждениям повысить потребительское качество разрабатываемых систем тестирования, в том числе использующих веб-технологии, сократить временные и финансовые затраты на проектирование.
ЗАКЛЮЧЕНИЕ
Отказ от устоявшихся традиций и введение традиций (тестирование при приеме в вузы вместо традиционных экзаменов, бально-рейтинговая система оценивания и т.д.) выводит проблему качества образования в ряд приоритетных государственных и общественных проблем.
В настоящее время в российской системе высшего образования тестирование применяется не только в процессе текущего и итогового контроля знаний студентов, но и в качестве механизма оценки уровня образования выпускников. В рамках данного направления тестирование зачастую используется в трех случаях: при регулярных проверках остаточных знаний у студентов, проводимых вузами самостоятельно; при проведении комплексных междисциплинарных экзаменов; а также в ходе государственной аттестации вузов.
В диссертационной работе дано новое решение актуальной для вузов задачи: разработка методического и инструментального обеспечения для оценки потребительского качества систем тестирования. В процессе содержательного и количественного анализа тестов и тестовых систем разработаны и реализованы рекомендации по совершенствованию процессов их создания и применения.
Диссертация: библиография по экономике, кандидат экономических наук , Жилина, Елена Викторовна, Ростов-на-Дону
1. ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Основные положения и словарь. М.: ИПК Издательство стандартов, 2001.
2. Закон РФ № 3266-1 от 10.06.1992. Об образовании. М., 1992. - (в ред. Федеральных законов до 03.12.2011, N З8З-ФЗ).
3. Положение об организации учебного процесса в Ростовском государственном экономическом университете (РИНХ) с использованием зачетных единиц (кредитов) и бально-рейтинговой системы. Ростов-на-Дону: РГЭУ (РИНХ), 2011.
4. Аванесов B.C. Композиция тестовых заданий. М.: Центр тестирования Минобразования РФ, 2002. - 239 с.
5. Аванесов B.C. Адаптивное обучение: лекции. Электронный ресурс. - Режим доступа: Ссыка на домен более не работаетcarina/test/lec8.htm.
6. Аванесов В. Item Response Theory: Основные понятия и положения. -Электронный ресурс. Режим доступа: Ссыка на домен более не работаетTheory59.html.
7. Автоматизированные информационные технологии в экономике: учебник / Под ред. проф. Титоренко Г.А. М.: ЮНИТИ, 1998.
8. Автоматизированные информационные технологии в экономике: учебник /М.И. Семенов, И.Т. Трубилин, В.И. Лайко, Т.П. Барановская; Под общ. ред. И.Т. Трубилина. М.: Финансы и статистика, 2000. - 416 с.
9. Айвазян С.А. Прикладная статистика: Моделирование и первичная обработка данных / С.А. Айвазян, И.С. Енюков, Л.Д. Мешакин. М.: Финансы и Статистика, 1983. - 471 с.
10. Афимов Р.В., Золотухина Е.Б. Моделирование данных с использованием моделя Rational Rose Data Modeler. - Электронный ресурс. -Режим доступа: Ссыка на домен более не работаетdesigning/methodology/rational/ rationaldatamodeler.htm.
11. Андреев A.A., Содаткин В.И. Дистанционное обучение: сущность, технология, организация. М.: МЭСИ, 1999.
12. Барановская Т.П. Информационные системы и технологии в экономике / Т.П. Барановская, В.И. Лойко, М.И. Семенов. М.: Финансы и статистика, 2005. - 416 с.
13. Белов В.Ю. Структурная организация типового программного обеспечения информационно образовательной среды 00 //Телематика-2002. Тр. Всеросс. научно-методич. конф. - СПб.: СПбГИТМО, ГНИЙ ИТТ Информика, 2002.
14. Белоусов Е.Ф., Инюшкина Т.А., Самойлова Т.С. Опыт разработки компьютерных тестовых программ // Ссыка на домен более не работает2002/ WVI-0-886.html.
15. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. -М.: Статистика, 1980.
16. Борзенков Д.П. Компьютерная технология обучения: проблемы пользовательского интерфейса // Омский научный вестник. 2001. - Вып. 14. -с. 146-147.
17. Буздова А. А., Семенов И.А. Модели адаптивного тестирования. -Электронный ресурс. Режим доступа: Ссыка на домен более не работаетinfo/ books/favorits.
18. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++, 2-е изд./ Пер. с англ. М.: "Издательство Бином", СПб.: "Невский диалект", 1999 . - 560 с.
19. Васильев В.И., Тягунова Т.Н. Культура компьютерного тестирования. Часть IV. Форма тестовой ситуации и формирование теста. М.: МГУП, 2002, 83 с.
20. Вендров A.M. Case-технологии. Современные методы и средства проектирования информационных систем. М.: Финансы и статистика, 1998. -176 с.
21. Вендров A.M. Проектирование программного обеспечения экономических информационных систем: учебник М.: Финансы и статистика, 2002. - 352 с.
22. Вентцель Е.С. Исследование операций: задачи, принципы,методология / Е.С. Вентцель. М.: Наука, главная редакция физика-математической литература,1980. - 208 с.
23. Вентцель Е.С. Теория вероятностей: учеб. для вузов. 5-е изд. стер. -М.: Высш. шк., 1998.
24. Вокова В.Н., Денисов A.A. Основы теории систем и системного анализа. СПб.: Издательство СПбГТУ, 1997. - 510 с.
25. Гениберг Т.В. Тестирование как метод оценки качества образования выпускников. Электронный ресурс. - Режим доступа: Ссыка на домен более не работает books/favorits/262.
26. Горбунова Е.И., Самойлов В.А., Шевченко К.К. Методические рекомендации по созданию тестовых заданий итогового контроля знаний. М.: МЭСИ, 2000.
27. Горелова Г.В. Формализация проблем управления системой образования в контексте формирования человеческого капитала: монография. -Краснодар, 2011. 172 с.
28. Дик В.В. Методология формирования решений в экономических системах и инструментальные среды их поддержки /В.В. Дик. М.: Финансы и статистика, 2000. - 300 с.
29. Доженко А.И. Информационный менеджмент. Моделирование бизнес-процессов: лабораторный практикум / А.И. Доженко, H.A. Тимченко. -Ростов-н/Д.: РГЭУ РИНХ, 2006. 96 с.
30. Доженко А.И. Управление информационными системами: учебное пособие. Ростов-н/Д.: РГЭУ РИНХ, 2008. - 197 с.
31. Доженко А.И. Нечеткие модели эффективный инструментарий для анализа потребительского качества информационных систем: монография. -Ростов-на-Дону: РГЭУ (РИНХ), 2008.
32. Доженко А.И. Нечеткие методы и модели оценки потребительского качества веб-ориентированных информационных систем: теория, методология и инструментарий: автореф. на соиск. уч. степ. докт. наук. Ростов-на-Дону: РГЭУ (РИНХ), 2009.
33. Долятовский В.А., Мазур O.A., Мелешко E.H. Измерение и управление качеством подготовки специалистов с высшим образованием. -Ростов-на-Дону-Невинномыск: СКНЦ ВШ РГЭУ - НИЭУП, 2003.
34. Долятовский В.А. Исследование систем управления / В.А. Долятовский, В.Н. Долятовская. Ростов н/Д.: ИКЦ "МарТ", 2003.-256 с.
35. Долятовский В.А., Кузнецов Н.Г., Свиридов O.A. Модели и механизмы эффективного управления учреждениями высшего профессионального образования: процессный подход: учебно-методическое пособие. Ростов-на-Дону, 2006. - 165 с.
36. Долятовский В.А., Долятовский Л.В., Андреев A.C., Сущенко Л.Г., Сущенко С. А, Топилина И.И. Адаптивное управление социально-экономическими системами: монография. Ростов-на-Дону-Отрадная: РГЭУ-ОГИ, 2011. -286 с.
37. Долятовский В.А., Воронцова М.В. Оценки требуемых компетенций выпускников вуза //Международный научный альманах. Выпуск 11.-Таганрог-Актюбинск: Изд. Ступин А.Н., 2011. С.45-52.
38. Домрачев В.Г., Полещук О.М., Ретинская И.В. Нечеткие модели рейтинговых систем оценки знаний Электронный ресурс. Режим доступа: Ссыка на домен более не работаетvconf7flles/tm01627.doc.
39. Доссэ Г.Г. Обучающая функция тестов. // Образование в современной школе. 2001. - №12. - с. 5 - 13.
40. Дударов С. П., Фарфоров А. С. Разработка автоматизированной системы адаптивного тестирования знаний на основе методов теории нечетких множества. Москва: Российский химико-технологический университет им. Д. И. Менделеева, 2003.
41. Дюк В.А. Компьютерная психодиагностика: монография. СПб.,1994.
42. Емельянов A.A. Имитационное моделирование экономических процессов / A.A. Емельянов, Е.А. Власова, Р.В. Дума. М.: Финансы и статистика, 2002. - 368 с.
43. Ефимов E.H. Экспериментальные методы оценки потребительского качества распределенных информационных систем / E.H. Ефимов. Ростов-н/Д.: РГЭУ РИНХ, 2001. - 219 с.
44. Ефимов E.H. О подходах к структуре адаптивной системы тестирования знаний / Проблемы создания и использования информационных систем и технологий: материалы III межрегион, науч.-практ. конф. 11 декабря2009. Ростов-на-Дону: РГЭУ РИНХ, 2009.
45. Жилина Е.В. Линейная модель адаптивного тестирования// Проблемы создания и использования информационных систем и технологий: материалы III межрегион, конф. 11 декабря 2009. Ч Ростов-на-Дону: РГЭУ РИНХ, 2009.
46. Жилина Е.В. Использование бинарной логистической регрессии для оценки качества адаптивного теста // Вестник Томского государственного университета. Томск, 2010. - № 334. - 0,5 п.л.
47. Зайцева Л.В., Прокофьева Н.О. Модели и методы адаптивногоконтроля знаний. Рига: Рижский технический университет.
48. Зуева M.JI. Возможности использования адаптивной системы обучения для формирования ключевых компетенций \\ Педагогика и психология. Электронный ресурс. - Режим доступа: www.yspu.yar.pdf.
49. Игнатова О. А. Система оценки качества образования в образовательном учреждении: практический опыт, перспективы. Электронный ресурс. Режим доступа: Ссыка на домен более не работает articles/510804.
50. Илюстрированный самоучитель по SPSS. Электронный ресурс. -Ссыка на домен более не работаетnode/l 1329.
51. Инструментальные средства объектно-ориентированной разработки программных систем. Электронный ресурс. - Режим доступа: Ссыка на домен более не работает dept04/caf46/textbooks/oop/oop4l 1 .htm.
52. Интерактивный инструментарий анализа качества и эффективности применения тестов в учебном процессе РГЭУ РИНХ: отчет по НИР № 2/07-вн / Руководитель Е.Н.Ефимов. Ростов-на-Дону, 2007.
53. Интернет-экзамен в сфере профессионального образования. -Электронный ресурс. Режим доступа: Ссыка на домен более не работаетp>
54. Ильченко O.A. Внедрение e-learning в отечественных вузах: миф или реальность? // Платное образование. 4(42). - 2006. - С.36-38.
55. Иродов М.И., Разумов C.B. Создание системы управления качеством подготовки специалистов в ВУЗе // Университетское управление. 2003. - № 2(25).
56. Искандерова А.Б. Проектирование адаптивных контрольно-обучающих тестов для студентов бакалавриата в техническом вузе: автореф. на соик. канд. педагог, наук. Ижевск, 2011.
57. Калугян К.Х. Системы тестирования в вузе как инструмент управления учебным процессом (на примере дисциплины Экономическая информатика): дисс. на соиск. уч. степ. канд. наук. Ростов-на-Дону: РГЭУ (РИНХ), 1999.
58. Калянов Г.Н. Моделирование, анализ, реорганизация и автоматизация бизнес-процессов / Г.Н. Калянов. М.: Финансы и статистика, 2006.-240 с.
59. Канивец П.И. Модели и методы оценки качества подготовки и повышения конкурентоспособности специалистов: диссер. на соиск. уч. степ, канд. эконом, наук. Новочеркасск: ЮРГТУ (НПИ), 2004.
60. Касьянова Н.Е. Создание системы компьютерного контроля как результат новых информационных технологий в обучении // Ссыка на домен более не работает200 l/ito/VI/VI-0-31 .html
61. Качалов В.А. Проблемы управления качеством в вузах // Стандарты и качество. 2000. - № 10. - С. 96 - 100.
62. Кватрани Т. Визуальное моделирование с помощью Rational Rose 2002 и UML / Т. Кватрани. М.: Вильяме, 2003. - 268 с.
63. Копаков A.B., Захаров A.A. Анализ модели G.Rasch методом численного эксперимента. Электронный ресурс. - Режим доступа: Ссыка на домен более не работает DOKLAD4.htm.
64. Компьютеризованное адаптивное тестирование. Электронный ресурс. - Режим доступа: Ссыка на домен более не работаетpsy/ComputerizedAdaptive Testing.htm.
65. Коновалов П. Стандарты и технологии E-learning \\ Электронный университет: Международный консорциум.
66. Корольков Ю.Д. Сводная оценка качества компьютерных обучающих систем. Электронный ресурс. - Режим доступа: Ссыка на домен более не работаетarchive/ coni7nit/96/sect 1 /node9. html.
67. Котлярова H.A. Экономико-математические методы и модели оценки потребительского качества информационных систем и технологий в образовательном процессе: дисс. на соиск. уч. степ. канд. наук. Ростов-на1. Дону: РГЭУ (РИНХ), 2009.
68. Кречетников К.Г. Методология проектирования, оценки качества и применения информационных технологий обучения. М.: Госкоорцентр, 2001.
69. Кумсков М. Унифицированный язык моделирования (UML) и его поддержка в Rational Rose 98ьСА8Е-средстве визуального моделирования. -Электронный ресурс. Режим доступа: Ссыка на домен более не работаетpublic /990804/uml4b.htm.
70. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. М.: Физматлит, 2001. - 211 с.
71. Леоненков A.B. Нечеткое моделирование в среде MATLAB и fuzzyTECH. Спб.: БХВ-Петербург, 2005.
72. Леоненков A.B. Самоучитель UML. Электронный ресурс. - Режим доступа: Ссыка на домен более не работает Hbraiy/case/leon/gl3/gl3 .htm.
73. Липаев B.B. Качество программного обеспечения. М.: Финансы и статистика, 1983.-263 с.
74. Лобачев С.Л., Поляков A.A. Универсальная инструментальная информационно-образовательная среда системы открытого образования Российской Федерации. М.: ИЦПКПС, 2001.-40 с.
75. Лобачев С.Л., Содаткин В.И. Дистанционные образовательные технологии: информационный аспект. М.: МЭСИ, 1998.
76. Лобачев С.Л. Корпоративная информационная среда сетевого дистанционного образования основа образовательной среды вуза в условиях рынка // Дистанционное образование. - 1998. - №1.
77. Лобачев С.Л. Сетевое дистанционное образование в МЭСИ // Мир INTERNET. 1998. - № 7-8.
78. Лопатников Л.И. Экономико-математический словарь: словарь современной экономической науки / Под ред. Г.Б.Клейнера. М.: Дело, 2003.
79. Майоров А.И. Тесты и их виды // Школьные технологии. 1998. -№4.-с. 176-189.
80. Майер P.A., Комакова Н.Р. Статистические методы в психологопедагогических и социологических исследованиях: Учебное пособие. 4.1. -Красноярск, 1997.
81. Маклаков C.B. Bpwin и Erwin. CASE-средства разработки информационных систем. -М.: ДИАЛОГ-МИФИ, 1999. 256 с.
82. Маслак A.A., Бобрышев Е.А., Анисимова Т.С., Пушечкин Н.П. Исследование влияния числа дистракторов на точность оценивания уровня знаний // Развитие системы тестирования в России: тезисы докладов III Всерос. научно-методич. конф. М., 2001. - С. 204.
83. Минин М.Г., Стась Н.Ф., Жидкова Е.В. Статистический анализ качества тестов, применяемых для контроля знаний по химии \\ Известия Томского политехнического университета. Томск, 2007. - Т. 310. - № 1.
84. Мирошниченко И.И. Формализованный анализ и моделирование информационно-образовательной среды учебного подразделения вуза: дисс. на соиск. уч. степ. канд. наук. Ростов-на-Дону: РГЭУ (РИНХ), 2009.
85. Михайлычев Е.А. Разработка и адаптация в педагогической практике диагностических методик // Школьные технологии. 2002. - №4. - С. 126 - 132.
86. Новикова Е.Ю. Контроль знаний учащихся при помощи тестов // Образование в современной школе. -2002. №3. - С. 49 - 52.
87. Нейман Ю.М. О шкалировании результатов централизованного тестирования в 2001 году // Вопросы тестирования в образовании. 2001. - № 1. - С. 94-106.
88. Овчинников В.В. Анализ внутренней валидности тестовых заданий аттестационного тестирования 2002 года. // Развитие системы тестирования в России: тезисы докладов всерос. научно-методич. конф. М., 2002. - С. 243244.
89. Овчинников В.В. Оценивание учебных достижений учащихся при проведении централизованного тестирования. М.: Век книги, 2001. - 27 с.
90. Ойхман Е.Г. Реинжиниринг бизнеса: Реинжиниринг организаций и информационные технологии / Е.Г. Ойхман, Э.В. Попов. М.: Финансы и статистика, 1997. - 336 с.
91. Паклин H. Логистическая регрессия и ROC-анализ математический аппарат. - Электронный ресурс. - Режим доступа: Ссыка на домен более не работаетlibrary/analisys/ regression/logistic.
92. Переверзев В.Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов. М.: НМЦ СПО Минобразования РФ, 1998.-152 с.
93. Преподавание в сети Интернет: учебное пособие / Под ред. В.И.Содаткина.- М.: Высшая школа, 2003. 792с.
94. Раднер JI. Вопросы, которые нужно задать, оценивая качество теста // Конспект руководства лStandards for Educational and Psychological Testing. -Электронный ресурс. Режим доступа: Ссыка на домен более не работаетscores/questions.htm.
95. Разумовский Д. Технологии разработки контента \\ МЭСИ Электронный университет. НИИ Управление знаниями.
96. Растрыгин JI.A. Адаптация сложных систем. Методы и приложения. -Рига: Зинатне, 1981.
97. Репин В.В. Процессный подход к управлению. Моделирование бизнес-процессов / В.В. Репин, В.Г. Елиферов. М.: Стандарты и качество, 2006.-408 с.
98. Румянцева Н.М. Проблемы адаптивного тестирования и адаптации тестов к национальным и личностным особенностям тестируемых. -Электронный ресурс. Режим доступа: Ссыка на домен более не работаетfiles/ Conferens/problsovtest/ Probladapttest.doc.
99. Садков В.Г., Силаева О.А., Брехова Т.Б. Система управления качеством высшего образования в регионах России. Электронный ресурс. -Режим доступа: Ссыка на домен более не работаетMATERIALY5/sadkov.html.
100. Сахарчук Е. И. Организационный механизм управления качеством подготовки специалистов в педвузе // Университетское управление: практика и анализ. 2004. - № 3(31). С. 63-67.
101. Сергеев В.В. Адаптивное тестирование в системах дистанционногообучения // Наука и образование. 2007. - №4. - Электронный ресурс. - Режим доступа: Ссыка на домен более не работаетdoc/65577.htm.
102. Симанков B.C., Луценко Е.В., Лаптев В.Н. Системный анализ в адаптивном управлении: монография. Электронный ресурс. Режим доступа: Ссыка на домен более не работаетDocuments/2004-09-13/lB2AE.asp
103. Смирнова Г.Н. и др. Проектирование экономических информационных систем: учебник /Т.Н. Смирнова, A.A. Сорокин, Ю.Ф. Тельнов; Под ред. Ю.Ф. Тельнова. М.: Финансы и статистика, 2002. - 512 с.
104. Соколов B.C. Оценка качества подготовки специалистов в российской высшей школе. Электронный ресурс. - Режим доступа: Ссыка на домен более не работаетmodules/shkola/rusreadme.php.
105. Соловей Е.В. Методы и модели интелектуального автоматизированного контроля знаний. Электронный ресурс. - Режим доступа: Ссыка на домен более не работаетrefs/67/26254Zl .html.
106. Тельнов Ю.Ф. Интелектуальные информационные системы в экономике: учеб. пособие для вузов. 3-е изд., расш. и дораб. - М.: СИНТЕГ,2002.-316 с.
107. Тестология в России: модели и методы тестологии. Электронный ресурс. - Режим доступа: Ссыка на домен более не работаетp>
108. Тищенко E.H. Анализ защищенности экономических информационных систем: монография /РГЭУ РИНХ. Ростов-на-Дону,2003.-192 с.
109. Трофимов С. UML диаграммы в Rational Rose. Электронный ресурс. - Режим доступа: Ссыка на домен более не работаетarticles/rose2.html.
110. Ткачев А.Н. Оценка и прогнозирование потребности предприятия в выпускниках вузов // Вестник Южно-Российского государственного технического университета (НПИ) /Социально-экономические науки. 2011. -№ 1. - С.49-55 (в соавторстве).
111. Ткачев А.Н. Оптимальное проектирование адаптивных траекторий подготовки специалистов в корпоративной среде обучения / Креативнаяэкономика. 2011. - № 1. - С. 49-55 (в соавторстве).
112. Тягунова Т.Н. Философия и концепция компьютерного тестирования. М: МГУП, 2003. - 246 с.
113. Харрингтон Дж. Оптимизация бизнес-процессов: документирование, анализ, управление, оптимизация / Дж. Харрингтон, К.С. Эсселинг, Х.В. Нимвеген. СПб.: АЗБУКА, 2002. - 324 с.
114. Хубаев Г.Н. О построении шкалы оценок в системах тестирования // Высшее образование в России. -1996. № 1. - С. 122-125.
115. Хубаев Г.Н. Сравнение сложных программных систем по критерию функциональной поноты // Программные продукты и системы. -1998. №2. -С. 6-9.
116. Хубаев Г.Н. Методика экономической оценки потребительского качества программных средств // Программные продукты и системы (SOFTWARE and SYSTEMS). 1995. - № 1. - С. 2-8.
117. Хубаев Г.Н. Сложные системы: экспертные методы сравнения // Известия ВУЗов. Северо-Кавказский регион. Общественные науки. 1999. -№3. - С. 7-23.
118. Хубаев Г.Н. Экономика проектирования и применения банков данных / Г.Н. Хубаев. Ростов н/Д.: РИСХМ, 1989. - 69 с.
119. Хубаев Г.Н. Построение имитационных моделей для оценки трудоемкости деловых процессов с использованием языка UML: Препринт / Г.Н. Хубаев, С.М. Щербаков. -Ростов-н/Д.: РГЭУ РИНХ, 2004. 80 с.
120. Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология). М: Исследовательский центр проблем качества подготовки специалистов, 2001. - 165 с.
121. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. М.: Логос, 2002. - 432 с.
122. Шафранов-Куцев Г. Ф., Деревнина А. Ю. Качество образования в стратегии управления классическим университетом. Электронный ресурс. -Режим доступа: Ссыка на домен более не работаетp>
123. Шмелев А.Г., Ларионов А.Г. Адаптивное тестирование знаний в системе Телетестинг // Информационные технологии в образовании: IX междунар. конф.-выставка. Часть II. М.: МИФИ, 1999. С.405.
124. Шполянская И.Ю. Объектные методы моделирования процессов управления в бизнес-системах с использованием UML и Rational Rose: Учебное пособие/ РГЭУ РИНХ. Ростов н/Д., 2004. - 110 с.
125. Шполянская И.Ю. Реализация модели гибкого развития малого предприятия с помощью адаптивного механизма принятия стратегических решений // Научный поиск: По страницам докторских диссертаций/ РГЭУ (РИНХ). Ростов-на-Дону, 2003.
126. Шполянская И.Ю. Имитационное моделирование бизнес-процессов и систем: научно-практическое пособие / И.Ю. Шполянская. Ростов-н/Д.: РГЭУ РИНХ, 2005. - 224 с.
127. Шухардина В.А. Квалиметрическая технология конструирования адаптированных тестовых измерителей. Электронный ресурс. - Режим доступа: Ссыка на домен более не работаетies2000/doclad/b/135.htm.
128. Щербаков С.М. Экономико-математические модели процессов использования интернет-приложений: методология построения и инструментарий разработки: дисс. на соиск. уч. степ. докт. наук. Ростов-на-Дону: РГЭУ (РИНХ), 2010.
129. Янченко С.И. Математическая модель оценки результатов тестирования // Развитие системы тестирования в России: тезисы докладов всерос. конф. М., 2000. - Ч. 4. - С. 54-56.
130. Cizek Gregory J. Filling in the Blanks Putting Standardized Tests to the Test. - The Thomas B. Fordham Foundation. -1998. - № 10.
131. Chen, Y.-Y., Ankenmann, R. D. Effects of practical constraints on item selection rules at the early stages of computerized adaptive testing // Journal of Educational Measurement. 2004. -№41.-P. 149-174.
132. Gushta M. M. Standard-setting issues in computerized-adaptive testing // Paper Prepared for Presentation at the Annual Conference of the Canadian Societyfor Studies in Education. Halifax, Nova Scotia. - 2003.
133. Hambelton R.K., Swaminathan H., Rogers H.J. Fundamentals of Item Response Theory, Sage publications, 1991.
134. Hornke, L. F. Benefits from computerized adaptive testing as seen in simulation studies //European Journal of Psychological Assessment. 1999. - 15(2). -P. 91-98.
135. Kim-Kang, G., Weiss. D. J. Adaptive measurement of individual change // Journal of Psychology. 2008. - 216(1). - P. 49-58.
136. Linden W.J., Hambelton R.K. Handbook of modern item response theory. -New York, 1997.
137. Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N J. Lawrence Erlba- um Ass., Publ., 1980. - 266 pp.
138. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen, Denmark: Danish Institute for Educational Research, 1960. -250 pp.
139. Rational Rose. Электронный ресурс. - Режим доступа: Ссыка на домен более не работает rational/rosemain.htm.
140. Scalise К., Wilson M. Bundle models for computerized adaptive testing in e-learning assessment // Proceedings of the 2007 GMAC Conference on Computerized Adaptive Testing. 2007.
141. Triantafillou E. Computerized Adaptive Test Adapting to What? // Proceedings of the Informatics Education Europe II Conference.- South-East European Research Center, 2007.
142. Wang L.X. Generating Fuzzy Rules by Learning from Examples, IEEE Transactions on System // Man and Cybernetics. 1992. - Vol. 22. - Nr. 6. - P. 1414-1427.
143. Weiss D. J. The stratified adaptive computerized ability test. -Minneapolis: University of Minnesota, Department of Psychology, Psychometric Methods Program. -1973.
144. Weiss D.J. New Horizons in Testing: Latent Trait Test Theory and
Похожие диссертации
- Организация и эффективность управления природоохранной деятельностью в сельском хозяйстве
- Научно-технический прогресс и эффективность производства кукурузы
- Формирование системы экологического управления
- Разработка методов и инструментальных средств прогнозирования экономического состояния предприятий на основе генетического программирования
- ПУТИ УЛУЧШЕНИЯ ИСПОЛЬЗОВАНИЯ ОСНОВНЫХ ПРОИЗВОДСТВЕННЫХ ФОНДОВ В СОВХОЗАХ (НА ПРИМЕРЕ ОВЦЕВОДЧЕСКИХ СОВХОЗОВ ВОСТОЧНОЙ ЗОНЫ РОСТОВСКОЙ ОБЛАСТИ)