Книги по разным темам Pages:     | 1 | 2 | 3 |

Таблица 2. Расчетные формулы для сумм квадратов, степеней свободы и средних квадратов в двухфакторной модели со смешанными эффектами при n= Источник вариации df SS MS 2 Между строками I- 1 SSB J I J (случайный фактор Xij Xij I - I В) j i j SSВ = - J IJ i Между столбцами J- 1 SSA I J I (постоянный фактор Xij Xij J - J А) i j i SSА = - I IJ j Взаимодействие А и -1) SSAB (I I J В X ( - 1 J - )( ) I ij I J i j SS = (X ) - SS - SSB - AB ij A (J -1) IJ i j Результаты оформляются в табличной форме, как показано в таблице 3.

Таблица 3. Табулирование оценок модели двухфакторного дисперсионного анализа ANOVA со смешанными эффектами Источник Сумма Число степеней Средний F-отношение вариации квадратов свободы квадрат SS Df MS Фактор В (студенты) Фактор А (задания) * AХB (остаточная) Полная, общая * F- отношение значимо на уровне = 0,05.

Средний квадрат для комбинации факторов А и В отражает остаточную дисперсию или дисперсию ошибочных компонентов измерения. Средний квадрат для случайного фактора отражает истинную дисперсию измерений, т.е. дисперсию, связанную с различиями между студентами. Отношение этих MSAB MSостат.

величин, =, может рассматриваться как оценка ненадежности MSB MSстуденты результатов тестовых измерений. Напротив, MSAB MSостат.

разность(1- ) = (1- ) характеризует надежность тестовых MSB MSстуденты MSAB MSостат.

результатов: rнт = 1- = 1- MSB MSстуд.

Валидность теста по содержанию определяет, что ответы на задания позволяют обоснованно судить о знаниях студентов. Мерой валидности является коэффициент корреляции ответов по заданию с критерием. В качестве критерия обычно берутся оценки выставленные группой преподавателей экспертов. Высокая согласованность оценок по тесту и у экспертов указывает на высокую валидность. Оценка валидности теста производится с помощью анализа методом ANOVA данных таблицы 4.

Таблица 4. Сравнительные результаты экспертных оценок и теста.

ЭКСПЕРТЫ ТЕСТ Сумма баллов Сумма баллов Сумма баллов Сумма баллов тест эксперт I эксперт II эксперт III Студент Студент...

Полученные показатели надёжности и валидности можно оценить с помощью таблицы 5.

Таблица 5. Требования к надежности и валидности тестов Величина коэффициента Надежность Валидность корреляции Отличная Отличная 0,90 - 0,Очень хорошая Отличная 0,85 - 0,Хорошая Отличная 0,80 - 0,Удовлетворительная Отличная 0,75 - 0,Малоудовлетворительная Хорошая 0,70 - 0,Сомнительная Хорошая 0,60 - 0,Неудовлетворительная Хорошая 0,50 - 0,Совсем неудовлетворительная Удовлетворительная 0,40 - 0,- Малоудовлетворительная 0,30 - 0,- - 0,20 - 0,- - 0,10 - 0,- Неудовлетворительная 0,00 - 0,Предложенная методика включила в себя хорошо апробированные методы, основанные на последних работах в области анализа качественных материалов, каждый метод получения качественной характеристики дополнен интерпретацией результата и рекомендациями описывающими действия направленные на повышение качества контролирующих материалов.

В четвёртой главе диссертационной работы описывается программная реализация моделей контролирующих материалов. Приводится структура и реализация автоматизированного программного комплекса получения количественных показателей качества контролирующих материалов. Для программной реализации использовалась среда программирования С++ Builder 3.

Рисунок 6 - Структурная схема модели вербального общения при её применении в качестве элемента тестового пространства дистанционной обучающей системы.

На рисунке 7 приведены интерфейсы пользователя при работе в АОС с использованием описанных тестовых моделей.

Рисунок 7. Интерфейс тестовых моделей (копия c экрана) Использование современных инструментов (компонентов библиотек VLC) программной реализации поставленной задачи позволило обеспечить поддержку статических изображений в формате BMP, JMPEG, GIF, TIFF, PNG, анимированных графических изображений в формате GIF, поддержку видео роликов в формате AVI. Создание контролирующих материалов с применением описанных выше моделей полностью автоматизировано.

Разработан мастер создания тестов.

Комплекс автоматизированного получения количественных характеристик качества тестовых материалов имеет интерфейс показанный на рисунке 8. Программная реализация основана на предложенной методике, имеет встроенную систему помощи и интерпретации результатов.

Программа позволяет обрабатывать данные, ранее сохранённые в формате txt. Данный формат является универсальным для всех существующих операционных систем, прост в редактировании и просмотре.

Исходные данные для анализа должны храниться в виде таблицы следующего формата:

Фамилия1 Вариант1 Рез1 Рез2 Рез3 Е Е РезМ Фамилия2 Вариант2 Рез1 Рез2 Рез3 Е Е РезМ Фамилия3 Вариант3 Рез1 Рез2 Рез3 Е Е РезМ Фамилия4 Вариант4 Рез1 Рез2 Рез3 Е Е РезМ Е Е Е Е Е Е Е Е ФамилияN ВариантN Рез1 Рез2 Рез3 Е Е РезМ Максимальное количество испытуемых N = 1000; Максимальное количество заданий в тесте M = 100.

С помощью программы можно оценить Результаты испытаний, Средний балл, Трудность каждого отдельного задания, Дифференцирующая способность каждого задания, Валидность.

Рисунок 8. Визуализация результатов анализа.

Все полученные количественные характеристики могут быть сохранены в формате txt или Microsoft Excel для дальнейшей обработки.

Кроме этого имеется возможность распечатки и сохранения отчётов содержащих полученные количественные характеристики и их графическая интерпретация в формате QuickReport.

В заключении приводятся основные выводы и результаты работы.

В приложениях приведены акты внедрения работы, инструкции по применению разработанных программных комплексов, листинги программного кода.

Основные результаты диссертационной работы 1. Проведен анализ современной классификации автоматизированных обучающих средств, на его основе выдвинуты рекомендации по созданию универсальной классификации удовлетворяющей мировым стандартам;

2. Проведено исследование методов оценки качества контролирующих материалов, проведен аргументированный выбор их в методику;

3. Создана модель вербального общения для применения в адаптивных обучающих системах;

4. Создана комплексная методика применения количественных показателей качества контролирующих материалов с учётом целей, типов и способов их применения;

5. Разработаны средства создания различных форм контролирующих материалов, позволяющие строить активное взаимодействие с пользователем. 4 тестовые модели внедрены в автоматизированную обучающую систему Виртуальный клон, что позволило реализовать подсистему индивидуализации изложения материала;

6. Создан программный комплекс автоматизированного получения количественных показателей качества контролирующих материалов;

7. Разработаны методические и программные средства процесса формирования индивидуальной траектории обучения при работе с автоматизированной обучающей системой и анализ его качества.

Публикации 1. Сивицкий П.А. Контроль усвоения изучаемого материала по средствам диалогового взаимодействия с компьютером. / Ватулин Я.С., Сивицкий П.А. // Доклады научно-теоретической межвузовской конференции с международным участием - V Царскосельские чтения, Ленинградский государственный областной университет им.

А.С.Пушкина. - Санкт - Петербург, 2001, том 2. С. 21-22.

2. Сивицкий П.А. Использование элементов семиотического аппарата для организации автоматизированного контроля уровня усвоения информации в системе автономного обучения / Ватулин Я.С., Сивицкий П.А.// Доклады научно-теоретической межвузовской конференции с международным участием - V Царскосельские чтения, Ленинградский государственный областной университет им. А.С.Пушкина. - Санкт- Петербург, 2001, Том 2, 90-91 с.

3. Сивицкий П.А. Использование средств активной адаптации изложения материала в автоматизированных обучающих системах// Доклады конференции Пролемы информатизации в образовании (ТулаИнформ 2001) ТуГУ 2001г.

4. Сивицкий П.А. Модели вербального общения в дистанционных обучающих системах // Ватулин Я.С., Сивицкий П.А. - II Международная научно-практическая конференция. Развивающиеся интеллектуальные системы автоматизированного проектирования и управления. Южно-Российский государственный технический университет. Сборник трудов. Часть 2. Новочеркаск, 2002, стр. 41-43.

5. Сивицкий П.А. Разработка и применение тестовых моделей в дистанционных обучающих системах // Доклады. Региональная педагогическая мастерская Сайтостроительство и компьютерные коммуникации в образовании, на базе Тульского государственного коммунально-строительно техникума. 28 января 2003г..

6. Сивицкий П.А., Чернов В.М. Function. Limit. Derivative and differential. Учебнометодическое издание. - Тула, Изд-во Тульского государственного педагогического университета имени Л.Н. Толстого, 2000. - 60 с.

7. Сивицкий П.А. Оценка качества тестовых материалов / Сивицкий П.А., Савинова Л.Н. // Самарский государственный технический университет Межвузовская научно-практическая конференция Компьютерные технологии в науке, практике и образовании, секция Методологическая база новых информационных технологий в научных исследованиях и образовании, Самара, 2003, стр 101-104.

8. Сивицкий П.А. Применение тестового контроля в информационных изданиях и ресурсах / Сивицкий П.А., Теличко Г.Н. // Материалы конференции Проблемы информатизации в образовании (ТулаИнформ 2005) ТуГУ 2005г. Том 1, стр 86-89.

9. Сивицкий П.А. Математические модели контролирующих материалов в современной тестологии // Всероссийская научно-методическая конференция "Открытое образование и информационные технологии", приложение к журналу Открытое образование, Пенза, 2006, стр 201-10. Сивицкий П.А. Организация управления дистанционным учебным процессом на основе дифференцированной системы контроля знаний / Савинова Л.Н., Кузнецов А.А., Сивицкий П.А.// Всероссийская научно-методическая конференция "Открытое образование и информационные технологии", приложение к журналу Открытое образование Пенза, 2006, стр 46-51.

11. Сивицкий П.А. Application of mathematical patterns in pedagogical testing Электронный журнал "ИССЛЕДОВАНО В РОССИИ", 2006г.

Pages:     | 1 | 2 | 3 |    Книги по разным темам