В. П. Левин, кандидат физико-математических наук

Вид материала

Документы

Содержание Двухшаговое адаптивное тестирование

Подобный материал:

• А. Б. кандидат физико-математических наук, доцент Трифонов А. Ю. Дата Лекция, 38.71kb.
• Дмитрия Игоревича Шпаро, математика, кандидата физико-математических наук. Творческая, 372.62kb.
• Практических: 34 Лабораторных, 15.9kb.
• Березинец Ирина Владимировна, кандидат физико-математических наук, доцент, berezinets@gsom, 169.64kb.
• Березинец Ирина Владимировна, кандидат физико-математических наук, доцент, berezinets@gsom, 103.21kb.
• Программа для поступающих в магистратуру по специальности 1-25 80 08 «Математические, 100.45kb.
• Лабораторных: 17 0, 18.73kb.
• Б. В. Евтеев кандидат физико математических наук наук, доцент, 666.97kb.
• Избранные главы, 3027.15kb.
• Практических: 34 Лабораторных:, 17.77kb.

В.П. ЛЕВИН, кандидат физико-математических наук

Института металлургии и металловедения им. А. А. Байкова;

В.В. ЗИНОВЬЕВ, зам. генерального директора учебно-производственной фирмы "Дейл"

МЕТОДИКА КОНСТРУИРОВАНИЯ ПЕДАГОГИЧЕСКИХ ТЕСТОВ

АДАПТИВНОЕ ТЕСТИРОВАНИЕ

Для повышения качества образования, степени индивидуализации обучения необходимо увеличение масштабов тестирования в учебном процессе. Классическая теория тестирования обладает многочисленны­ми недостатками. Одним из недостатков является неустойчивость в оп­ределении трудности заданий вследствие некоторой неопределенности в оценке дифференцирующей способности заданий и качества подго­товки тестируемой выборки. Фиксированная длина традиционного тес­та (ТТ) не учитывает индивидуальные способности учащихся. Это при­водило к невозможности эффективного оценивания различной подго­товленности одним и тем же тестом. К другим недостаткам ТТ относятся: значительные материальные и временные затраты на составление теста, недостаточная 'точность в оценке знаний учащихся, наличие не­работающих очень легких или наоборот трудных заданий для тестируе­мого учащегося. Эти несовершенства ТТ создают противоречия между контрольно-оценочной деятельностью педагогов и низкой эффектив­ностью традиционного тестирования.

Для оценки результатов тестирования вводится понятие среднего уча­щегося на основании предположения, что среднеподготовленных учащихся больше и результаты тестирования подчиняются нормальному распреде­лению. Такой подход снижает точность оценок наиболее слабых и наибо­лее сильных учащихся. Кроме того, в этом случае возникают проблемы, связанные с определением единой точки отсчета при выборе шкалы из­мерения результатов выполнения комплекта вариантов теста.

Традиционные тесты не дают прогностической информации, так как имеют ограниченные возможности при сравнении результатов испыту­емых вследствие существенной зависимости оценки испытуемых от ко­личества и трудности заданий. Прогностическая информация, позволя­ющая предсказать вероятность успеха испытуемых определенного уров­ня подготовленности при выполнении различных заданий теста, необ­ходима при конструировании тестов, когда ставится задача генерации эффективных тестов. Корректное сравнение возможно только при наличии комплектов параллельных тестов, что требует больших временных и материальных затрат при подготовке тестов и на практике реализует­ся редко.

К перечисленным недостаткам можно добавить еще и то, что клас­сическая теория тестирования не обеспечивает приемлемого решения ряда проблем, связанных с вопросами моделирования тестов, выбором ма­лых заданий процессе генерации адаптивных тестов и выравнивания результатов их выполнения с целью переноса оценок испытуемых на единую интервальную шкалу.

В рамках традиционного тестирования недостатки классической те­ории частично преодолеваются путем введения норм - системы пока­зателей, установленных эмпирически сообразно результатам тестирова­ния репрезентативной выборки тестируемых. Процесс установления норм называют стандартизацией теста. При этом тест понимается как устойчивая система заданий, неоднократно применявшаяся для всех ис­пытуемых. В связи с этим становится актуальной проблема повышения эффективности системы традиционного тестирования и традиционных тестов, и одно из направлений в решении этой проблемы — адаптация системы тестирования к индивидуальным особенностям учащихся.

Рассмотренные недостатки классической теории, ее ограниченные возможности в решении ряда практических проблем послужили пред­посылкой к созданию методологии новой теории тестов— Item Response Theory (IRT). Преимущества IRT по сравнению с традиционной теори­ей обусловлены соответствующим научным подходом, для которого ха­рактерно стремление к строгому формальному представлению и анали­зу эмпирических данных. В IRT высказываются строгое предположе­ния о характере оцениваемых параметров и процессах, протекающих при выполнении испытуемыми заданий.

Первоначально в IRT вводится основное предположение о существо­вании некоторой функциональной связи между наблюдаемыми результа­тами тестирования и латентными (скрытыми) параметрами испытуемых, выполняющих тест. Эти параметры трактуются как способности испытуе­мых или как уровни подготовки по предмету в зависимости от целей из­мерения, которые выдвигаются при создании педагогического теста. На­блюдаемые результаты связывают с вероятностью правильного выполне­ния задания группой испытуемых либо с вероятностью правильного выполнения испытуемым различных по трудности заданий теста.

Существенное отличие IRT от классической теории тестов заключается в том, что индивидуальный балл тестируемого в классической тео­рии тестов рассматривается как постоянное число, а латентный параметр в IRT — как некоторая переменная. Переменный характер изме­ряемой величины позволяет получить ее значение с заданной точнос­тью путем последовательных приближений. В гомогенных тестах латен­тный параметр один, а в гетерогенных тестах имеется набор латентных параметров. В IRT вводится предположение об одномерности латент­ной переменной для данного гомогенного набора заданий теста. На прак­тике это предположение не выполняется, так как на результаты выпол­нения заданий испытуемым влияет множество фактов, поэтому под од­номерностью латентного параметра понимается наличие одного доми­нирующего фактора. В основе IRT лежат три предположения:

1. под латентным параметром в IRT понимается уровень подготовленности по предмету , тогда группе испытуемых соотносится множество _i Значение латентного параметра образует равные трудности заданий теста _i;
   
2. ответы на вопросы теста предполагаются независимыми друг от друга;
   
3. вводится предположение о нормальном характере распределения значений латентных параметров  и .
   

В рамках IRT необходимо ответить на два вопроса — установить связь между  и  и выбрать вид функциональной зависимости для описания связи между латентными параметрами и наблюдаемыми результатами выполнения теста. Удачную форму связи между  и  нашел G. Rasch в виде разности   ¹. Применение этой разности позволяет ввести единую шкалу интервального типа и единицу ее измерения — легат. Это дает возможность корректно сравнить результаты испытуемых, полученные с помощью различных тестов, подобрел» оптимальные значения трудности заданий  и минимизировать ошибки измерений. На основе оценивания разности    возникает возможность индивидуализации процессов контроля и обучения путем подбора оптимальных по трудности заданий для; каждого учащегося.

Центральным вопросом в IRT является выбор математической модели, описывающей взаимосвязь между эмпирическими результатами тестирования и значениями латентных параметров  и . Эта модель и конкретный вид соответствующей функции базируются на существова­ние вероятностной связи между эмпирическими результатами тестирования и значениями  и . Существенным достоинством IRT является введение информационной функции, которая используется для оценки эффективности теста. Это позволяет ввести дифференцированную оценку эффективности задания теста для оценки уровня подготовки ис­пытуемого .

Переход от традиционной классической теории тестов к IRT в прак­тическом плане неизбежно связан с некоторыми трудностями:

• с необходимостью привлечения довольно сложного математического аппарата;
  
• с использованием дорогостоящей компьютерной техники и разработки специальных программных продуктов;
  
• с необходимостью проведения тщательной работы по стратификации выборки испытуемых статистик с математическими моделями измерения.
  

Достоинством IRT являются:

• устойчивая и объективированная оценка параметров уровня знаний и трудности задания, их относительная инвариантность от конкретного опыта;
  
• наличие единой шкалы для соотнесения параметров трудности заданий и подготовленности испытуемых;
  
• возможность подсчета дифференцированной ошибки измерения способностей испытуемых, что позволяет организовать процесс адаптивного обучения как последовательное приближение к наиболее точным оценкам способностей учащихся;
  
• возможность компьютеризации расчетов всех тестовых баллов.
  

Повышение уровня эффективности тестов возможно при переходе от традиционных тестов фиксированной длины к адаптивному тести­рованию. Идея адаптивного обучения заключается в соотнесении оце­нок параметров испытуемых и трудности заданий путем введения ана­литической зависимости между уровнем подготовленности обучающих­ся и трудностью заданий для каждого учащегося. Другой особенностью адаптивного тестирования является минимизация числа заданий. Эф­фективность тестирования повышается при адаптации тестов по труд­ности к уровню знаний учащегося. Методология адаптивного тестирова­ния строится на основе современной теории конструирования тестов IRT и использования компьютерных технологий. Особенностью адаптивно­го тестирования является тесное переплетение контролирующей и обучающей функций в индивидуализированном режиме, поэтому в качестве перспективного направления развития контрольно-оценочных си­стем следует выделить внедрение методов адаптивного тестирования и активизацию обучающей функции контроля путем перехода к контрольно-обучающим программам с индивидуализированными траекториями обучения. В адаптивном обучении развитие; обучающихся стано­вится доминирующим фактором благодаря дифференцированному под­ходу к учащимся и индивидуализации обучения.

Одним из существующих путей создания адаптивных тесто» являет­ся разделение учащихся на отдельные полгруппы и подбор соответству­ющих заданий. Другой путь заключается в повышении индивидуализации взаимодействия преподавателя с тестируемым при проведении тес­тирования. В этом случае число заданий снижается за счет увеличения труда проводящих тестирование педагогов.

Рассмотрим цели, задачи и функции адаптивного тестирования, а также технологии применения адаптивного теста (AT) в современном учеб­ном процессе. В качестве специфических целей адаптивного тестирования следует выделить следующие направления:²

• ориентация в учебном процессе на адаптивны* методы обучения и контроля;
  
• организация на самостоятельную работу учащихся с помощью адап­тивных контрольно-обучающих программ;
  
• решение образовательных проблем через дифференциацию и индивидуализацию обучения;
  
• использование методов адаптивного тестирования как основы для реализации методик развивающего и продуктивного обучения.
  

Использование методики адаптивного тестирования в учебном про­цессе позволяет существенно ускорить и повысил» качество выполне­ния учебных заданий, оптимизировать реализацию традиционных педа­гогических функций. Основными функциями адаптивного тестирова­ния являются как традиционные, характерные при любой методике обу­чения, так и специфические, присущие только AT: диагностическая, оце­ночная, обучающая, корректирующая, развивающая, прогностическая. Специфические функции AT открывают новые возможности для осу­ществления оперативной и эффективной коррекции в обучении, само­контроля в режиме самоадаптации при выборе заданий адаптивных тес­тов. Диагностическая и корректирующая функции, составляющие сущ­ность адаптивного тестирования, выявляют пробелы в знаниях, уста­навливают причины этих пробелов и позволяют организовать коррекцию учебного процесса. Компьютерные технологии дают возможность наи­более эффективно выполнять эти функции. Использование программ­но-инструментальных средств для генерации и выдачи адаптивных тес­тов позволяет осуществить функцию текущего контроля непосредственно в ходе учебной деятельности.

Наиболее эффективный метод осуществления оценочной процедуры в процессе аттестации основан на адаптивных тестах. В зависимости от потребностей аттестационного процесса оценочная функция адаптивного тестирования может приобретать различные оттенки, влияющие на ин­терпретацию тестовой оценки испытуемого. В одном случае оценка ориен­тирована на характеристику степени освоения требований стандартов, тогда по результатам адаптивного тестирования группа испытуемых делится на две подгруппы: аттестованных и не аттестованных выпускников³. В дру­гом случае, когда есть необходимость выставления баллов аттестованным выпускникам для их ранжирования, оценка выполняет роль диффе­ренцирующего фактора, распределяющего испытуемых на оси перемен­но измерения по результатам выполнения адаптивных тестов.

Оценочная функция адаптивного тестирования связана с подведе­нием итогов обучения путем оценки его результатов в конце опреде­ленного периода учебного процесса. Эффективное выполнение оценоч­ной функции было невозможным до появления IRT и построения на ее основе процессов генерации и оценки результатов выполнения адаптив­ных тестов.

Технология адаптивного тестирования представляет собой системную совокупность методов создания и функционирования AT, адаптивных стратегий, алгоритмов, специальных программно-инструментальных средств, предназначенных для оптимизации и повышения эффективно­сти процессов обучения и контроля знаний. В технологии адаптивного тестирования следует выделить следующие направления:⁴

• разработка и создание теоретико-методологического обоснования тестирования, Методов, алгоритмов и средств технологии AT;
  
• разработка адаптивного тестирования как метода обучения и контроля, являющегося частью общей дидактической системы обучения, снижающего долю преподавательского труда, что позволяет преподавателю перераспределить учебное время и оптимизировать учебный процесс;
  
• разработка на базе AT методологии развивающего, продуктивного обучения и других педагогических инноваций;
  
• разработка методик, направленных на увеличение доли самостоятельного обучения в образовательном процессе;
  
• адаптивное тестирование как методика для организации процесса самообразования;
  
• разработка программно-инструментальных средств, обеспечивающих функционирование адаптивного тестирования.
  

В построении адаптивного тестирования различают двухшаговое и многошаговое тестирование. Двухшаговое адаптивное тестирование пред­полагает наличие двух этапов, отличающихся по целям, задачам и ви­дам используемых тестов. На первом этапе учащиеся выполняют вход­ной ТТ. Цель первого этапа — осуществить дифференциацию испытуе­мых, по результатам которой определяется интервал, в котором строят­ся адаптивные тесты с позиции IRT. Для осуществления двухшагового адаптивного тестирования необходимо решить следующие задачи:

• создание входных тестов для начальной дифференциации и выделения интервалов тестирования по измеряемой шкале для составления AT;
  
• выделение результатов отдельных испытуемых в соответствующих интервалах измеряемой шкалы;
  
• организация процесса моделирования тестов путем генерации AT в выбранных интервалах шкалы;
  
• интерпретация полученных результатов AT.
  

Обеспечение требуемой точности измерений на втором шаге дости­гается путем моделирования адаптивных тестов, ориентированных на оценки испытуемых, полученные на первом тестировании. Генерация адаптивного теста состоит из ряда этапов:

• оценка пределов измерений по результатам первого тестирования;
  
• выбор планируемой точности измерения по стандартной ошибке измерения;
  
• задание формы целевой информационной функции теста, которая строится на выделенном интервале измерений;
  
• выбор планируемого вида распределения оценок трудности заданий теста, например прямоугольное, когда все оценки параметра трудности распределены равномерно;
  
• отбор заданий, информационные функции которых наиболее приемлемым образом заполняют область под целевой информационной функцией;
  
• добавление заданий на основе вычисления количества информации.
  

Отбор заданий из банка продолжается до тех пор, пока очередная информационная функция теста не аппроксимирует в приемлемой сте­пени в целевую информационную функцию.

Метод моделирования помогает отобрать задания с оптимальными параметрами для организации адаптивного тестирования. В качестве па­раметров заданий выбирают обычно два — трудность задания и диффе­ренцирующую способность задания. Метод моделирования для генерации AT должен основываться на IRT и на современных компьютерных технологиях, позволяющих существенно сократить временные затраты на достижение сопоставимого результата. Это дает возможность ввести в широкую педагогическую практику многошаговое адаптивное тести­рование. Алгоритм многошагового адаптивного тестирования строится на полной контекстной зависимости, в которой очередной шаг в вы­полнении тестовых заданий совершается только после оценки пре­дыдущего шага, после чего принимается оперативное решение о подбо­ре трудности следующего задания. Для каждого учащегося в этом слу­чае возможно построение индивидуальной траектории обучения, зада­ния которой строятся на основе обратной связи между результатом вы­полнения задания и последующим тестовым заданием. В случае невер­ного ответа испытуемому предъявляется более легкое задание. Эффек­тивная пошаговая генерация тестовых заданий возможна только с ис­пользованием современных компьютерных технологий. Генерация AT на основе классической теории тестов носит ограниченный характер. Это связано с тем, что отсутствие дифференцированной ошибки измерения в классической теории тестов не позволяет планировать точность оце­нок результатов испытуемых и задействовать эффективный научный ап­парат информационных функций IRT в процессе конструирования адап­тивного теста.

Современное перспективное развитие адаптивного тестирования свя­зано с IRT, где тест моделируется заданной информационной функци­ей и вводится дифференцированная ошибка измерения. Это дает воз­можность в рамках адаптивного тестирования наряду с минимизацией заданий и времени тестирования обеспечить одинаковую для всей группы точность измерения.

В целом применение адаптивного тестирования позволяет:

• совершенствовать объективные процедуры и технологии, обеспечивающие контрольно-оценочную деятельность педагогов;
  
• повышать эффективность аттестационных процессов в области образовательных стандартов;
  
• обеспечивать оптимальные условия для самостоятельной работы уча­щихся с помощью адаптивных контрольно-обучающих программ;
  
• повышать вариативность и доступность образовательных программ для обучающихся путем индивидуализации учебного процесса на основе адаптивного обучения;
  
• обеспечивать условия для дифференциации и индивидуализации массового образовательного процесса на основе адаптивных технологий тестирования;
  
• создавать необходимые условия для реализации идей Педагогичес­кого сотрудничества и различных технологий развивающего обучения методами адаптивного тестирования.
  

Создание, контрольно-обучающих программ адаптивного тестирова­ния с разветвленными траекториями в полной мере отвечает современ­ным мировым тенденциям в переосмыслений роли контрольно-оценочной системы в образовании, когда контроль, оценка и обучение рас­сматриваются как взаимосвязанные и взаимопроникающие составляю­щие единого образовательного процесса. Процесс обучения с помощью контрольно-обучающих программ строится так, чтобы активизировать обучающие и развивающие функции контроля, когда развитие осуще­ствляется путем решения учебных задач. Использование компьютерных технологий позволяет существенно снизить подготовительную работу по созданию адаптивных тестов, связанную с индивидуализацией заданий, осуществить генерацию и предъявление адаптивных тестов.

Авторами был разработан и создан программно-инструментальный комплекс «СОС» ( система обратной связи), позволяющий реализовать контрольно-обучающие функции как на основе ТТ, так и на основе AT. Технологическая схема реализации «СОС» представляет собой сис­тему компьютерных модулей оперативного контроля (МОК) учащихся, соединенных последовательно друг с другом и с портом компьютера пре­подавателя. При работе в режиме контроля учащиеся отвечают на тесты путем актуализации системы МОК-крмпьютер преподавателя как в ре­жиме реального учебного времени, так и вне его. Информация об отве­тах учащихся оперативно обрабатывается в компьютере, и результаты тестирования демонстрируются на мониторе преподавателя и на экране видеопроектора. Преподаватель, имея результаты выполнений учебных заданий от всех учащихся по всем заданиям теста, может адекватно и оперативно вносить необходимые Коррективы в учебную деятельность каждого учащегося и всех учащихся в целом. В режиме обучения обра­ботка ответов AT в реальном времени позволяет осуществить индиви­дуальные обучающие функции учащихся, реализуя тем самым идеоло­гию адаптивного обучения. В режиме контроля применение системы «СОС» позволяет реализовать не только все виды традиционного конт­роля, но внедрить пошаговый контроль в каждодневную учебную дея­тельность. Программно-инструментальный комплекс «СОС» был апро­бирован в ряде школ г. Москвы и показал хорошую эффективность как в решении традиционных учебно-педагогических задач, так и в рамках инновационного подхода в образовании.