Авторефераты по темам >> Разные специальности - [часть 1] [часть 2]

МЕТОД И АЛГОРИТМЫ ИЗМЕРЕНИЯ ЛАТЕНТНЫХ ПЕРЕМЕННЫХ ПРИ УПРАВЛЕНИИ В ОБРАЗОВАТЕЛЬНЫХ СИСТЕМАХ

Автореферат кандидатской диссертации

На правах рукописи

Поздняков Станислав Александрович

Специальность 05.13.10 - Управление в социальных и экономических

системах

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата технических наук

Курск - 2009

Работа выполнена в ГОУ ВПО Славянский-на-Кубани государственный педагогический институт на кафедре информатики и методики преподавания информатики

Научный руководительаа доктор технических наук, профессор

Маслак Анатолий Андреевич

Официальные оппоненты:а доктор технических наук, профессор,

заслуженный деятель науки РФ

Сизов Александр Семенович

а кандидат технических наук, доцент

Горбатенко Светлана Александровна

Ведущая организация: ГОУ ВПО Воронежский государственный технический университет,

г. Воронеж

Защита состоится л18 амая а2009 в а16:00 ана заседании совета по защите докторских и кандидатских диссертаций Д 212.105.02 при Курском государственном техническом университете по адресу: 305040, г. Курск, ул. 50 лет Октября, 94 (конференц-зал)

С диссертацией можно ознакомиться в библиотеке университета.

Отзывы на автореферат в двух экземплярах, заверенных печатью, просьба направлять по адресу: 305040, г. Курск, ул. 50 лет Октября, 94, КурскГТУ, ученому секретарю совета по защите докторских и кандидатских диссертаций Д 212.105.02.

Автореферат разослан л16 аапреля а2009 г.

Ученый секретарь совета по защите докторских

и кандидатских диссертаций Д 212.105.02аа Титенко Е.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Важнейшей фазой управления в образовательных системах в интересах повышения эффективности управленческих решений является обеспечение объективного контроля уровня подготовленности учащихся на всех этапах. Большинство переменных в этих системах являются латентными, т.е. непосредственно не измеряемыми. Такие переменные определяются операционально, т.е. через набор индикаторных переменных, которые можно непосредственно оценить в логитах - принятой единице измерения латентных переменных. Точное измерение латентных переменных необходимо для последующего принятия эффективных управленческих решений, составления приказов, прогнозирования качества квалификации выпускаемого специалиста.

Существующие методы измерения интегральных показателей характеризуются двумя существенными недостатками, препятствующими применению данных методов для управления в социально-экономических системах:

привнесение субъективности при экспертизе;
отсутствие линейной шкалы измерения.

Поэтому актуальным является применение теории измерения латентных переменных как информационной основы для управления в образовательных системах.

Измерение латентных переменных крайне важно для практики управления, поскольку позволяет в целом оценить уровень функционирования того или иного объекта, провести сравнительный анализ и мониторинг объектов, что, в свою очередь, актуально для выработки оптимальных управленческих решений. Более того, без объективных оценок латентных переменных невозможно установление закономерностей в социально-экономических системах образовательного и иного профиля.

Использование теории измерения латентных переменных является одним из перспективных направлений в создании системы контроля уровня подготовленности учащихся. На основе объективной оценки уровня подготовленности учащихся, вырабатываются управляющие воздействия индивидуальной и коллективной направленности, корректируется учебный процесс, выявляются лузкие места в изложении материала, формализуются межпредметные связи, оценивается эффективность образовательных инноваций и т.д.

Однако в настоящее время существует противоречие между применяемым на практике субъективным контролем уровня подготовленности учащихся и возможностью получения точных объективных оценок латентных переменных.

Разрешение этого противоречия возможно путем применения методов теории измерения латентных переменных в образовательных системах.

Объектом исследования является система оценки уровня подготовленности учащихся в образовательных системах.

Предметом исследования являются средства измерения латентных переменных на линейной шкале в задачах контроля уровня подготовленности учащихся в образовательных системах.

Целью работы является повышение точности измерения на линейной шкале латентных переменных в образовательных системах.

Определение цели исследования обусловило необходимость решения основной научной задачи - разработать в рамках теории латентных переменных метод и средства управления качеством подготовленности учащихся, декомпозированной на частные:

Провести анализ существующих методов оценивания латентных переменных и обосновать наиболее адекватный метод для исследования точности измерения латентных переменных.
Разработать метод генерирования наборов данных, позволяющий оценить точность определения латентных переменных.
Разработать программно-алгоритмические средства для исследования точности измерения латентных переменных в зависимости от числа дихотомических индикаторных переменных.
Разработать структурно-функциональную организацию системы управления качеством тестовых заданий и тестов на основе данной системы для типовых дисциплин.

Методы исследования. Для решения поставленных задач использовались методы системного анализа, теории управления сложными информационными системами, теории алгоритмов, имитационного моделирования, математического планирования эксперимента, прикладной математической статистики.

Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной и выносимые на защиту:

Метод и алгоритм генерирования значений индикаторных переменных в соответствие с моделью Раша, отличающийся тем, что на основе имитационного моделирования формируется полный класс экспериментальных ситуаций и позволяющий исследовать точность измерения латентных переменных методами имитационного моделирования.
Средства оценки точности измерений латентных переменных в зависимости от числа дихотомических индикаторных переменных, отличающиеся тем, что точность измерений оценивается на линейной шкале, что позволяет расширить область применения разработанных средств в различных ситуациях.
Структурно-функциональная организация системы управления качеством тестовых заданий, отличающаяся введением блока поиска заданий не соответствующих модели Раша и блока анализа качества дистракторов, позволяющая создавать тесты для контроля уровня подготовленности студентов на линейной шкале.

Практическая значимость полученных в диссертации результатов состоит в следующем:

Разработаны алгоритм и программа генерирования наборов дихотомических индикаторных переменных, которые используются для исследования точности измерения латентных переменных в различных экспериментальных ситуациях и на их основе получены практически значимые рекомендации по выбору числа дихотомических индикаторных переменных для составления тестов.
Показано применение разработанных алгоритмических и программных средств для составления тестов, обеспечивающих требуемую точность вычислений, что создает основу для контроля уровня подготовленности учащихся в образовательных системах.
Определена точность измерения уровня подготовленности учащихся в зависимости от числа тестовых заданий.

Апробация работы. Основные идеи и результаты исследования были получены при выполнении следующих грантов:

- тематического плана НИР Федерального агентства по образованию Разработка актуальных проблем измерения латентных переменных в образовании (2005-2009гг).

- гранта РГНФ 06-02-38203а/Ю Разработка методики измерения латентной переменнойа луровень жизни населения и мониторинг по этому показателю регионов Южного федерального округа (2006-2007гг);

- гранта РФФИ 05-06-80110 Разработка методики измерения на интервальной шкале латентных переменных в социально-экономических системах (2005-2007гг).

- гранта РГНФ 08-06-00694а Разработка методики анализа качества опросников для измерения латентных переменных (2008-2009гг);

- гранта РФФИ 08-06-00321 Разработка методики измерения и мониторинга на интервальной шкале уровня развития сферы образования в регионах Российской Федерации (2008-2010гг).

Основные идеи и результаты были представлены на следующих конференциях и семинарах: VI, VII, VIII, IX, X, XI всероссийских (c международным участием) научно-практических конференциях Теория и практика измерения латентных переменных в образовании и других социально-экономических системах (Славянск-на-Кубани, 2004 - 2009 гг.); XV, XVI международных научно-практических конференциях Информационные технологии в образовании (Москва, 2005, 2006 гг.); XV международной студенческой школе-семинаре Новые информационные технологии (г. Судак, Украина, 2007 г.); Региональной научно-практической конференции молодых учёных Развитие социально-культурной сферы юга России (г. Краснодар, 2008 г.); научной конференции Психологическое здоровье нации: региональный аспект (Краснодар, 2006 г.).

Внедрение работы. Славянский-на-Кубани государственный педагогический институт, Курский государственный технический университет, отдел мониторинга и образовательной политики Магнитогорского государственного университета, НИИ мониторинга качества образования г. Йошкар-Ола.

Награжден дипломом III степени за третье место конкурса Лучшая научная и творческая работа аспирантов и соискателей Краснодарского края в 2008 году. Награжден дипломом I степени за первое место в конкурсе докладов среди участников региональной научно-практической конференции молодых ученых Развитие социально-культурной сферы юга России в 2008 году.

Публикации. Результаты, полученные в диссертационной работе, опубликованы в 14 печатных работах, в том числе в изданиях по перечню ВАК РФ 3 [1, 2, 3].

ичный вклад автора. Все научные положения и результаты диссертационной работы получены автором самостоятельно. В работах [6, 8, 9, 12], опубликованных в соавторстве, автором представлен алгоритм генерирования значений индикаторных переменных, а также представлена модель точности измерений латентных переменных в зависимости от числа дихотомических индикаторных переменных [5].

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, приложения и библиографического списка включающего 130 наименований. Объем диссертации 133 страниц машинописного текста, 53 рисунка и 20 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

аа Во введении обоснована актуальность темы, сформулированы цели и задачи исследования, используемые методы, научная новизна, практическая ценность, апробация и реализация результатов работы, перечень основных положений, выносимых на защиту, структура и объем диссертационной работы.

В первом разделе в рамках решения первой частной задачи диссертационного исследования проанализированы существующие методы оценивания интегральных показателей (латентных переменных) в образовательных системах, такие как - классическая теория тестирования, метод взвешивания, измерения на основе моделей Бирнбаума. Сравнение перечисленных методов с измерением интегральных показателей на основе модели Раша выявило основные ограничения существующих методов измерений в образовательных системах, а именно:

- оценка уровня подготовленности учащегося зависит от сложности теста;

- оценка трудности тестового задания зависит от уровня подготовленности учащихся;

- шкала измерения уровня подготовленности является нелинейной, что в значительной степени затрудняет применение статистических методов анализа, предполагающих линейную шкалу измерения, для принятия адекватных управленческих решений;

- дисперсия оценки уровня подготовленности наименьшая в середине диапазона измерения и наибольшая по краям, что противоречит логике построения доверительных интервалов.

На практике для описания результатов тестирования нередко используется двухпараметрическая модель Бирнбаума. Однако модель Бирнбаума обладает существенным недостатком. В качестве примера рассмотрим две характеристические кривые с трудностью 1 и 2 логит соответственно (на рисунках 1 и 2).

Рис. 1. Характеристические кривые 2 тестовых заданий с трудностью 1 и 2 логит соответственно, описываемых моделью Раша.

Рис. 2. Характеристические кривые 2 тестовых заданий с трудностью 1 и 2 логит соответственно, описываемых моделью Бирнбаума.

На рисунке 1 эти характеристические кривые описываются моделью Раша. Отличительная особенность этой модели состоит в том, что характеристические кривые тестовых заданий имеют одну и ту же дифференцирующую способность и поэтому не пересекаются на всей их протяженности. Это обусловливает, что ранжирование тестовых заданий по трудности одно и то же при любом уровне подготовленности учащегося. На рисунке 2 представлены характеристические кривые тестовых заданий с теми же уровнями трудности (1 и 2 логит), описываемых двухпараметрической моделью Бирнбаума. В данном случае второе тестовое задание обладает большей дифференцирующей способностью, чем первое. Однако здесь проявляется принципиальный недостаток модели Бирнбаума - размывается сущность понятия трудность тестового задания. Так, для учащихся с уровнем подготовленности от Ц2 логит до +2 логит первое задание является более легким, чем второе, однако, для учащихся с уровнем подготовленности от +2 логит до +5 логит второе задание является более легким чем первое. Этот принципиальный недостаток и не позволяет использовать модель Бирнбаума для измерения латентных переменных. Напротив, важным достоинством модели Раша является то, что она опирается на четкие и конструктивные понятия луровень подготовленности учащегося и трудность тестового задания.

Математическая модель измерения на основе модели Раша имеет вид

, аа аа (1)

где P{Xij=1|bi, ?j} - вероятность правильного ответа i-ого учащегося с уровнем подготовленности bi на j-е задание трудности ?j.

Сущность предлагаемого подхода заключается в том, что модель Раша задает линейную шкалу измерений. Так, вероятность правильного ответа зависит только от разности bi, Ц ?j, а не от конкретных значений этих параметров. Таким образом, равным приращениям латентной переменной соответствуют равные приращения на шкале измерений, т.е. шкала измерений является линейной.

Во втором разделе в рамках решения второй частной задачи диссертационного исследования разработан метод генерирования наборов данных для исследования точности измерения латентных переменных на основе модели Раша для случая дихотомических индикаторных переменных. Результаты тестирования, представленные в виде дихотомических индикаторных переменных, - наиболее типовой способ контроля уровня подготовленности учащихся в образовательных системах, что упрощает автоматизацию расчетов, не сужая при этом спектра применения результатов исследования точности измерения латентных переменных для образовательных систем.

Рис. 4. Блок-схема алгоритма генерирования матриц тестирования на основе дихотомических индикаторных переменных в соответствие с моделью измерения Раша.

Метод генерирования наборов данных для исследования точности измерения латентных переменных на основе модели Раша реализовывается в 6 этапов.

Этап 0. Выбирается управляющий фактор, влияющий на точность измерения латентной переменной.

Этап 1. Задаются уровни подготовленности учащегосяbi и уровень трудности задания ?j. Значения уровней подготовленности учащихся и трудности заданий находятся в диапазоне [Ц4; +4] логит, а шаг изменения уровней - 0,5 логита. Для всех возможных комбинаций уровней подготовленностиа и трудности заданий вычисляются элементы матрицы вероятностей правильного ответа (pij).

, а аа аа (2)

где biЦ уровень подготовленности i-ого учащегося в логитах, ?j - трудность j-ого задания в логитах.

Этап 2. На основе вычисленных вероятностей генерируются результаты тестирования

xij = Int (pij + 1 - Rnd), аа (3)

где Int (Y) - целая часть числа Y, Rnd - случайное число, равномерно распределенное на отрезке [0; 1]. Предложенное выражение (3) для получения модельных результатов тестирования обеспечивает совместимость набора дихотомических индикаторных переменных, что в свою очередь говорит о соответствии данного набора дихотомических индикаторных переменных модели Раша.

Этап 3. Далее сгенерированные данные используются для вычисления оценок аи аистинных значений латентных переменных bi и ?j Для нахождения оценок использовалась лицензионная диалоговая система RUMM (Rasch Unidimensional Measurement Models). Происходит проверка соответствия данного набора дихотомических индикаторных переменных модели Раша.

Этап 4. Поскольку шкала измерения является интервальной, то наибольший интерес представляет абсолютная ошибка измерений. Вычисляется абсолютная погрешность вычисления латентной переменной ?i

?i = | а- ?j | а аа (4)

Этап 5. На основании полученной абсолютной погрешности, с помощью статистических методов (дисперсионный анализ) - определяется значимость управляющего фактора (на основании уровня значимости управляющего фактора - если менее 0,05 - значим, иначе - незначим).

Этап 6. Делается вывод относительно значимости управляющего фактора для точности измерения латентной переменной в соответствие с моделью Раша.

Для автоматизации расчетов и повышения эффективности проведения операции генерирования для решения данной задачи, - была разработана программа генерирования наборов дихотомических индикаторных переменных - RMD_Simulation v.2.0 (Rasch Model Data Simulation), главное окно программы представлено на рисунке 3.

Рис. 3. Главное окно программы RMD_Simulation v.2.0 (Rasch Model Data Simulation).

Преимуществом данной программы является возможность варьирования следующих параметров наборов индикаторных переменных:

несколько параметров:

- интервалы варьирования значений латентной переменной у исследуемых объектов и индикаторных переменных;

- шаг варьирования значений латентной переменной;

- количество индикаторных переменных;

- число повторений уровней латентной переменной у объектов и индикаторных переменных;

- число градаций индикаторных переменных.

Блок-схема алгоритма генерирования наборов дихотомических индикаторных переменных в соответствие с моделью измерения Раша представлена на рисунке 4. Особенность алгоритма определяется введением пороговой проверки вероятности правильного ответа с текущим сгенерированным случайным значением. Это позволяет генерировать не детерминированные модельные наборы данных для последующих вычислений.

В третьем разделе в рамках решения третьей частной задачи диссертационного исследования исследована точность измерения латентных переменных в зависимости от числа дихотомических индикаторных переменных и разработаны соответствующие алгоритмы. Для генерации экспериментальных данных - использовался метод генерирования, описанный во втором разделе диссертационного исследования.

Для оценивания выбран наиболее важный управляющий фактор, влияющий на точность измерения латентных переменных на основе модели Раша - число дихотомических индикаторных переменных.

Для практического использования необходимо установить количественную зависимость абсолютной ошибки измерения от числа индикаторных переменных и подготовить соответствующие рекомендации.

Данные имитационного эксперимента генерировались в соответствии с моделью Раша по выражению (2).

В соответствии с этапами 3, 4 и 5 ранее рассмотренного метода на основе матрицы модельных результатов тестирования размерностью m?n выполнены вычисления абсолютных погрешностей вычисления для ситуаций с числом тестовых заданий 10, 30, 50 и 100 соответственно на основе разработанных алгоритмов.

Вычисления показали:

- точность измерения уровня подготовленности практически одна и та же на всем диапазоне варьирования латентной переменной;

- с увеличением числа тестовых заданий средняя абсолютная ошибка уменьшается. Так, при 10 тестовых заданиях максимальное значение абсолютной ошибки превышает 2,5 логита, при 100 тестовых заданиях абсолютная ошибка не превышает 0,5 логита, то есть порога чувствительности;

- с увеличением числа тестовых заданий дисперсия ошибок оценки одного и того же уровня подготовленности уменьшается.

Для решения поставленной задачи исследуется влияние следующих управляющих факторов:

1) фактор А - уровень подготовленности учащихся - варьируется на 17 уровнях (-4,0 логита, -3,5 логита, Е, +4 логита);

2) фактор B - число тестовых заданий - варьируется на 10 уровнях (10 заданий, 20 заданий, Е, 100 заданий).

Для оценки среднего квадрата ошибки (который необходим для проверки значимости всех источников дисперсии) вводится фактор-повторение, а именно каждый используемый в имитационном эксперименте уровень знания повторяется три раза.

Откликом Y является абсолютная ошибка измерения.

Для обработки результатов аи аисследования использовался дисперсионный анализ, реализованный в диалоговой системе SPSS.

Поскольку оценки параметров bj и?i вычисляются по одному и тому же алгоритму, то в таблице 1 приведены результаты анализа только для оценок уровня подготовленности учащихся. Далее дается интерпретация полученных результатов:

1) фактор А незначим (Fэксп = 0,67 <а Fтабл = 1,66). Это означает, что точностьа измеренияа неа зависита ота уровняа подготовленностиа учащихсяа в

Таблица 1

Анализ точности измерения в зависимости от уровня подготовленности

учащихся и числа тестовых заданий

Источник дисперсии	Сумма квадратов	Степени свободы	Средний квадрат	Fэксп	Fтабл a=0,05	p
Фактор А	1,354	16	0,085	0,67	1,66	0,822
Фактор B	13,090	9	1,454	11,54*	1,90	<0,001
Взаимодействие AB	17,620	144	0,122	0,97	1,28	0,576
Ошибка	42,859	340	0,126
Всего	74,923	509

диапазоне от Ц4 до +4 логит;

2) фактор B, как и следовало ожидать, оказался значим (Fэксп = 11,54 > Fтабл = 1,90). Это означает, что точность измерения зависит от числа индикаторных переменных в диапазоне от 10 до 100;

3) взаимодействие АB незначимо (Fэксп = 0,97 < Fтабл = 1,28). Это означает, что эффект фактора B не зависит от того, на каком уровне находится фактор А, то есть влияние числа тестовых заданий на точность измерения одно и то же для всех исследуемых уровней подготовленности учащихся.

Для повышения точности оценок имитационный эксперимент был повторен 5 раз. Полученные усредненные ошибки измерения уровня подготовленности приведены в таблице 2. Необходимо отметить, что усреднение возможно потому, что точность измерения одна и та же на всем диапазоне варьирования уровня подготовленности.

Таблица 2

Абсолютная ошибка измерения уровня подготовленности учащихся в зависимости от числа тестовых заданий

Число заданий

100

Абсолютная ошибка, логиты

0,85

0,60

0,52

0,42

0,37

0,34

0,31

0,29

0,30

Из таблицы 2 видно, что средняя абсолютная ошибка измерений при 30 тестовых заданиях равна 0,5 логита. Эта точность является приемлемой для многих практических применений. С увеличением числа тестовых заданий абсолютная ошибка, естественно, уменьшается, однако даже при 100 тестовых заданиях не становится меньшей 0,3 логита. Точность же в 0,3 логита достигается при 80 тестовых заданиях.

Полученные результаты по измерению дихотомических переменных позволили обосновать практически значимый диапазон числа тестовых заданий для обеспечения требуемой точности измерений:

- для достижения точности в 0,5 логита достаточно 30 дихотомических тестовых заданий;

- дальнейшее увеличение числа тестовых заданий незначительно увеличивает точность измерения. Так, даже 100 заданий не обеспечивают точность измерения большую, чем 0,3 логита.

В четвертом разделе в рамках решения четвертой частной задачи проведена разработка структурно-функциональной системы управления качеством тестовых заданий в соответствии с моделью Раша и выработаны практические рекомендаций по управлению качеством тестовых заданий.

В соответствие с измерением латентных переменах в образовательных системах разработана структурно-функциональная организация системы управления качеством тестовых заданий (рис. 5), содержащая шесть уровней обработки. Отличительная особенность данной структурно-функциональной организации связана с введением блока поиска заданий, не соответствующих модели Раша и блока анализа качества дистракторов, что позволяет создавать тесты для контроля уровня подготовленности студентов на линейной шкале.

Рис. 5. Структурно-функциональная организация системы управления качеством тестовых заданий.

Рассмотрены две практические задачи - разработка теста для измерения уровня подготовленности студентов (на примере учебной дисциплины Педагогика) и анализ качества тестовых заданий с выбором одного правильного ответа (на примере учебной дисциплины Компьютерные сети.

Исследования проводились в типовом ГОУ ВПО ГОУ ВПО Славянский-на-Кубани государственный педагогический институт.

Разработка и управление качеством тестовых заданий по дисциплине Педагогика

В соответствии с государственным образовательным стандартом и рабочей программой по учебному предмету Педагогика был разработан тест, состоящий из 97 тестовых заданий с выбором одного правильного ответа из четырех.

В соответствие с блоками структурно-функциональной организации системы для управления качеством тестовых заданий, после исключения 34 тестовых заданий был получен набор тестовых заданий, состоящий из 63 заданий требуемого качества.

Разработанный набор тестовых заданий позволяет эффективно оценивать уровень подготовленности студентов на всем диапазоне варьирования латентной переменной. Оценки уровня подготовленности студентов оказались распределенными по нормальному закону: относительно небольшое число студентов с низким и высоким уровнем подготовленности и относительно много студентов со средним уровнем подготовленности. Средний уровень подготовленности студентов на 0,99 логит превышает среднюю трудность теста, это говорит о том, что средний студент имеет больше шансов (на 25%) ответить правильно на разработанный тест, чем неправильно.

Управление качеством теста по дисциплине Компьютерные сети

При управлении качеством набора тестовых заданий наиболее эффективным является управлениекачеством дистракторов - неправильных вариантов ответа на тестовое задание.Один из возможных способов управления качеством дистракторов состоит в следующем. В идеальном случае неправильные варианты ответов (дистракторы) должны выбираться с одинаковой частотой. Теоретически это означает, что можно сравнить эмпирическое распределение дистракторов с равномерным с помощью критерия Хи-квадрат. Однако на практике это, как правило, невозможно из-за небольшого числа наблюдений: для применения критерия Хи-квадрат требуется не менее пяти наблюдений в каждой ячейке. Кроме того, этот анализ неэффективен из-за того, что не позволяет проследить, как меняется частота выбора дистракторов в зависимости от уровня подготовленности студентов.

Поэтому более эффективным является анализ поведения дистракторов в зависимости от уровня подготовленности студентов. В качестве примеров на рисунке 4 показано поведение типовых видов дистракторов.

Из рисунка 4 видно, что вероятность выбора правильного варианта ответа (1) увеличивается с увеличением уровня подготовленности студентов, причем увеличивается в соответствии с моделью измерения - вероятность выбора правильного ответа близка к характеристической кривой.

Вероятность выбора неправильного варианта ответа (3) очень высока у студентов с низким уровнем подготовленности и равна нулю у студентов с высоким уровнем подготовленности.

Неправильный вариант ответа (2) выбирают только студенты с низким уровнем знания.

Вероятность выбора неправильного варианта ответа (вариант 4) увеличивается с увеличением уровня знания студентов. Из рисунка 4 видно, что студенты со средним уровнем знания выбирают неправильный вариант ответа (4) чаще, чем студенты с низким уровнем подготовленности. Более того, студенты с высоким уровнем подготовленности выбирают этот неправильный вариант ответа чаще, чем студенты со средним уровнем подготовленности. Естественно, такие тестовые задания нуждаются в пересмотре - корректировке набора дистракторов.

Проведенный статистический анализ показал, что управление качеством

Рис. 4. Вероятность выбора правильного и неправильного вариантов ответов тестового задания № 28 в зависимости от уровня подготовленности студентов

теста в парадигме измерения латентных переменных на линейной интервальной шкале позволяет дать многоаспектную содержательную оценку теста и получить важные результаты для управления его качеством.

Заключение содержит основные результаты работы.

В Приложении представлены наборы тестовых заданий по дисциплинам Педагогика и Компьютерные сети.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В диссертационном исследовании решена научно-техническая задача по разработке теоретических основ измерения на линейной шкале и управления качеством подготовленности учащихся и получены следующие результаты:

Проведен анализ существующих методов оценивания латентных переменных. На основе полученных результатов для проведения исследования выбрана парадигма измерения латентных переменных на основе модели Раша.
Разработан метод генерирования наборов данных позволяющий оценить точность определения латентных переменных и разработаны алгоритм и соответствующаяа ему программа для имитационного моделирования матриц тестирования. Разработанная программа используется для оценки точности измерения латентных переменных.
На основе разработанных алгоритмов исследована точность измерения латентных переменных в зависимости от числа дихотомических индикаторных переменных. Выполнен анализ точности измерения в зависимости от уровня подготовленности учащихся и числа тестовых заданий. Обоснован практически значимый диапазон количества тестовых заданий для составления тестов, нижнюю границу которого следует отсчитывать от 30 заданий, а верхнюю границу не рационально повышать свыше 80 заданий. Так, при увеличении числа тестовых заданий от 30 до 40 абсолютная ошибка измерения уровня подготовленности учащихся уменьшается на 19%.
Реализована структурно-функциональная организация системы управления качеством тестовых заданий и выполнен анализ поведения дистракторов в зависимости от уровня подготовленности студентов. Новизна разработанной структурно-функциональной организации связана с введением блока поиска заданий, не соответствующих модели Раша и блока анализа качества дистракторов, что позволяет повысить точность измерения уровня подготовленности. Блок анализа качества дистракторов позволяет уменьшить вероятность случайного выбора правильного ответа, что важно для объективного контроля уровня подготовленности студентов.

Основное содержание диссертации изложено в следующих работах:

Публикации в изданиях, рекомендованных ВАК Министерства образования и науки РФ:

1. Маслак А.А., Поздняков С.А. Модель Раша для проверки качества измерения толерантности [Текст] / С.А. Поздняков // Социология: методология, методы, математическое моделирование. - Москва: Институт социологии РАН, 2008. № 26. - С. 87-105.

2. Маслак А.А., Поздняков С.А. Методика измерения и мониторинга уровня жизни населения в субъектах Южного федерального округа Российской Федерации // Вестник Воронежского государственного технического университета, 2008. Т. 4. № 10. - С. 159 - 171.

3. Маслак А.А., Поздняков С.А., Данилов А.А. Измерение уровня развития инфраструктуры сферы образования в субъектах РФ [Текст] // Высшее образование в России. 2008. № 2. - С. 102-108.

Монография:

4. Поздняков С.А. Исследование точности измерения латнтных переменных в образовании [Текст] / С.А. Поздняков - Славянск-на-Кубани: Издательский центр СГПИ, 2007. -118 с.

Статьи и материалы конференций:

5. Анисимова Т.С., Маслак А.А., Осипов С.А., Поздняков С.А. Исследование точности измерения латентной переменной в зависимости от числа градаций индикаторных переменных [Текст] / С.А. Поздняков // Теория и практика измерения латентных переменных в образовании: Материалы Седьмой всероссийской (с международным участием) научно-практической конференции. - Славянск-на-Кубани: Издательский центр СГПИ, 2005. - С. 12 - 22.

6. Анисимова Т.С., Маслак А.А., Поздняков С.А. Исследование точности измерения латентной переменной в зависимости от коррелированности индикаторных переменных [Текст] / С.А. Поздняков // Вестник СГПИ, 2005, № 1 (1) , с. 126-136.

7. Виноградов Б.В., Маслак А.А., Поздняков С.А., Гайворонская О.В. Измерение на линейной шкале качества выпускной квалификационной работы по истории [Текст] / С.А. Поздняков // Теория и практика измерения латентных переменных в образовании: Материалы 9-ой научно-практической конференции. - Славянск-на-Кубани: Издательский центр СГПИ, 2007. - С. 26 - 42.

8. Маслак А.А., Осипов С.А., Поздняков С.А. Разработка программы имитационного моделирования для исследования точности измерения латентных переменных [Текст] / С.А. Поздняков // XV конференция-выставка Информационные технологии в образовании: Сборник трудов участников конференции. Ч. IV. - М.: БИТ про, 2005. - С. 238 - 239.

9. Маслак А.А., Поздняков С.А., Дейнека В.В. Формализация и анализ индикаторных переменных при измерении латентной переменной [Текст] / С.А. Поздняков // Материалы 8-ой научно-практической конференции Теория и практика измерения латентных переменных в образовании. - Славянск-на-Кубани: Издательский центр СГПИ, 2006. - С. 40 - 45.

10. Маслак А.А., Поздняков С.А., Кукса О.А. Измерение на линейной шкале уровня физической подготовки студентов [Текст] / С.А. Поздняков // Вестник СГПИ, 2006, № 1 (2) , с. 151-164.

12. Осипов С.А., Маслак А.А., Поздняков С.А. Имитационное моделирование ситуаций возникающих при измерении латентных переменных в социально-экономических системах [Текст] / С.А. Поздняков // Вестник СГПИ, 2005, № 1 (1) , с. 117-125.

13. Поздняков С.А. Исследование точности измерения латентной переменной в зависимости от вида распределения индикаторных переменных [Текст] / С.А. Поздняков // Сборник материалов научно-практической конференции преподавателей и студентов. Вып. 6. - Славянск-на-Кубани: Издательский центр СГПИ, 2007. - С. 213 - 217.

14. Поздняков С.А., Маслак А.А. Генерирование наборов данных на основе модели измерения RMD_Simulation v.2.0 (Rasch Model Data Simulation) // Программное и информационное обеспечение областей народного хозяйства (Образование). 2009. № 2. С. 71.

В работах, написанных в соавторстве, автору принадлежат основные идеи и построения.

Соискатель С.А. Поздняков

аа Подписано к печати 09.04.2009 Формат 60х84 1/16

аа Печатных листов 1 Тираж 100 экз. Заказ_____

Славянский-на-Кубани государственный педагогический институт

353560, г.Славянск-на-Кубани, ул. Кубанская, 200

Авторефераты по темам >> Разные специальности - [часть 1] [часть 2]

Blog

МЕТОД И АЛГОРИТМЫ ИЗМЕРЕНИЯ ЛАТЕНТНЫХ ПЕРЕМЕННЫХ ПРИ УПРАВЛЕНИИ В ОБРАЗОВАТЕЛЬНЫХ СИСТЕМАХ