Центра Федерации Интернет-образования Боровкова Т. И., Морев И. А. М 79 Мониторинг развития системы образования. Часть Теоретические аспекты: учебное пособие

Вид материалаУчебное пособие

Содержание


4.07. Проведение мониторинговых исследований
Системы кумулятивного индексирования качества знаний
Подобный материал:
1   ...   13   14   15   16   17   18   19   20   21

4.07. Проведение мониторинговых исследований

Компьютерное тестирование знаний


Компьютерное тестирование (аттестация) знаний учащихся признается многими исследователями одной из основных технологий (форм, методов) сбора мониторинговой информации о качестве образования (преподавания, обучения).

С появлением в СССР больших вычислительных машин неоднократно предпринимались попытки автоматизации контроля знаний школьников. Однако для этого чаще использовались не сами вычислительные машины, а картонные перфокарты (бланки). Технология заключалась в следующем: школьники по команде педагога рисовали в определенных местах перфокарт определенные значки, а педагог затем рассматривал эти «криптограммы» через специальные матрицы с отверстиями и выставлял в журнал оценки, основываясь на известных ему правилах. Наиболее широкое распространение эта технология получила первоначально в США.

Более трех десятков лет американские школьники сдают выпускные и переводные экзамены по технологии компьютерного или бланкового тестирования. Во всех штатах США существуют специальные комиссии, занимающиеся оцениванием знаний учащихся на основе тестирований. Результатом работы таких комиссий является информация о предрасположенности учащихся к тому или иному виду профессий, общая информация о состоянии системы образования штата и др. Компьютерной техникой эти комиссии стали пользоваться сравнительно недавно.

В настоящее время учащиеся и абитуриенты многих стран (США, Великобритания, Россия, Китай и мн. др.) сдают большое количество массовых переводных, вступительных, квалификационных и иных экзаменов в тестовой форме. Во многих странах эта форма проверки знаний осталась архаичной, «бумажной», во многих – стала компьютеризованной.

Автоматическое тестирование знаний, как и всякая промышленная технология, имеет свои «плюсы» и «минусы». Положительные стороны очевидны: стандартность, экономичность, объективность. Результаты автоматизированных тестирований лучше поддаются анализу, чем выставляемые людьми оценки.

При правильной постановке массовые тестирования позволяют планировать изменения в региональной образовательной политике и набор абитуриентов, дают основания для предсказания социальных явлений, помогают молодежи определять свои склонности и планировать дальнейшее образование, позволяют объективно поддерживать уровень знаний специалистов.

Имеются, как минимум, три достаточно развитые и известные в масштабе России технологии тестирования - Всероссийское бланковое тестирование, Всероссийское компьютерное тестирование (проводимые в течение ряда лет Центром тестирования Минобразования РФ) и Телетестинг (проводимый Центром Гуманитарных технологий МГУ). Многие их элементы основаны на телекоммуникационных технологиях, способных обеспечить решение задач образовательного мониторинга на федеральном уровне. Опыт, полученный в результате применения этих технологий, позволит в ближайшие годы ввести в системе образования России совершенно новую форму приема экзаменов – ЕГЭ, Единый Государственный Экзамен.

Важно отметить, что ЕГЭ – разовое мероприятие. ЕГЭ проводится один раз в год и позволяет увидеть достаточно объективный «моментальный» снимок качества работы образовательной системы. А мониторинг качества образования (МКО) – мероприятие непрерывное, позволяющее на местном уровне, с необходимой степенью глубины и полноты, оперативно прогнозировать и корректировать развитие системы образования. Естественно, что и ЕГЭ, и МКО должны выполняться на единой материальной базе с привлечением единого коллектива специалистов.

Подобно частице и волне в квантовой механике, технологии ЕГЭ и МКО – дуалистичны, они призваны взаимно дополнять друг друга.

Описание идеологий, а также достаточно полные обзоры и перечни публикаций, посвященных развитию процедур компьютерного тестирования можно найти в приведенном в Приложениях перечне.

В России внедрено, разработано и применяется множество подходов к аттестации знаний, основанных на применении компьютеров и телекоммуникаций технологий. Однако нам не удалось встретить среди известных компьютерных тестирующих средств выдерживающего серьезную критику с точки зрения удобства, привлекательности, полноты набора необходимых функций, объемности. Это объективно сложившееся положение связано со многими причинами.

Во-первых, в России тестирование долгое время было запрещено нормативными документами и, в результате, приходится догонять другие страны в этой технологической области.

Во-вторых, период развития технологий компьютерного тестирования пришелся в России на период экономического кризиса.

В-третьих, среди создателей тестовых систем, в основном, оказались люди «приближенные» к вычислительной технике – технари. Их представления о моделях познания и методах обучения, в силу специфики образования и деятельности, носят механистичный характер. Это нашло отражение в
  • двузначности логики тестовых заданий и тестирующих программ (либо «да», либо – «нет»), не отражающей реальную (нечеткую – математический термин) структуру знаний;
  • стремлении оснастить программные продукты немыслимым количеством «кнопочек» в ущерб удобству педагогов;
  • «прямоугольном» дизайне, якобы «не отвлекающем» внимание, а на самом деле отталкивающем;
  • присутствии затрудняющих работу жаргонных выражений в надписях и текстах описаний программ;
  • отсутствии привлекательности (сюрпризности, церемониальности) у предлагаемых процедур тестирований;
  • неучете присущих человеку свойств и качеств (настроение, усталость, темперамент, возраст, пол, национальность) и пр. , т.е. пренебрежении педагогическими и психологическими приемами, позволяющими ускорить и наполнить новым содержанием образовательный процесс.

Спорными представляются многим изготовителям и исследователям следующие вопросы технологии и идеологии тестирования:
  • должен ли процесс тестирования приносить удовольствие учащемуся?
  • обязательным ли результатом тестирования должно быть «моральное» удовлетворение?
  • можно ли публиковать результаты тестирования?
  • должен ли процесс тестирования носить соревновательный оттенок?
  • следует ли ограничивать время тестирований?
  • должен ли процесс тестирования быть поучающим?
  • нужны ли психологические разгрузки в процессе тестирования?
  • должен ли процесс тестирования опираться на личностно-ориентированную сюжетную линию?
  • следует ли учащемуся разрешать вносить исправления в уже выполненные тестовые задания?
  • следует ли выделять учащемуся лимит подсказок?
  • должен ли процесс тестирования быть мягким, позволяющим учащемуся самостоятельно выбирать план действий?
  • должны ли тестовые задания содержать элемент сюрпризности?
  • эффективней ли для образовательного процесса в целом тестирование как ролевая игра или – тестирование как выбор ответа на вопросы из списков?

Известные нам изготовленные в России тестирующие программы мало отличаются от тех, что предлагают зарубежные производители. Исходя из нашей точки зрения, перечислим наиболее распространенные недостатки существующих обучающих тестирующих комплексов.

1. Недостатки сценария работы учащегося:
  • отсутствие режимов самообучения;
  • отсутствие соревновательного компонента;
  • отсутствие сюрпризности;
  • малый объеме заложенной информации;
  • однообразие представления информации.

2. Недостатки сценария работы автора-составителя тестовых заданий:
  • сложность освоения комплекса;
  • большие затраты времени на ввод информации и конструирование заданий;
  • сложность ввода графической информации;
  • необходимость технического сопровождения, т.е. присутствия специалиста-компьютерщика в течение наполнения преподавателями базы тестовых заданий;
  • отсутствие анимационных средств;
  • сложность редактирования тестовых заданий.

3. Недостатки сценария работы преподавателя-экзаменатора:
  • сложность освоения комплекса;
  • сложность средств оперативного контроля успехов учащихся;
  • сложность средств интегрального наблюдения за успехами группы;
  • сложность сравнения результатов группы по разным дисциплинам.

4. Недостатки сценария работы руководителя учебного заведения:
  • сложность освоения комплекса;
  • отсутствие средств систематизации и хранения результатов тестирований;
  • отсутствие средств оперативного сопоставления успехов учебных групп по разным дисциплинам и т. п.;
  • невозможность оперативного контроля за успеваемостью учащихся образовательного учреждения в целом.

Часть отмеченных недостатков следует отнести, в большой мере, на счет неразвитости компьютерных коммуникаций внутри учебных заведений.

Очевидны трудности и проблемы, с которыми сталкиваются разработчики технологий автоматизированных тестирований:
  • неоднозначность оценки важных человеческих качеств – умений, нестандартности мышления, широты знаний;
  • возможность выдачи неверных оценок и рекомендаций при неучете, например, особенностей местных условий;
  • сценарии компьютерных тестирований часто однообразны, неестественны, способны быстро «отбить» у тестируемого интерес к обучению и анализу своих знаний.

Конечно, имеющиеся технологические разработки, посвященные применению техники для контроля знаний, не исчерпывают всех возможностей компьютера. Возможности компьютера в сфере образования нам еще предстоит открывать и изучать.

Какими должны быть образовательные компьютерные комплексы, чтобы быть удобными в пользовании и востребованными для учителя, учащегося, управленца? Как сделать так, чтобы прохождение сеанса компьютерного тестирования вызывало у учащихся интерес к обучению, повышению качества своих знаний? Как «скрыть» от учащегося саму процедуру тестирования, снять атмосферу волнения, сконцентрировав его на раскрытии творческих качеств и реализации знаний?

Деловая компьютерная игра многими воспринимается как своеобразная панацея. Вероятно, что именно в этой области нужно искать пути построения сценариев компьютерного обучения и контроля знаний – привлекательных и вызывающих желание исследовать, учиться. Удачные попытки построения таких сценариев существуют. Можно привести в качестве примера известный сценарий и игру Сида Мейера «Цивилизация». Однако следует заметить, что такие игры содержат довольно мало по-настоящему учебной информации и могут быть рассматриваемы лишь как основа для дальнейшей методической и сценарной работы.

Создание профессиональных компьютерных игр-тренажеров – вполне разработанная и освоенная специалистами область. Существуют прекрасные тренажеры и средства для их создания – конструкторские программные комплексы, банки реализаций. Вызывает сожаление, что это относится исключительно к специальным тренажерам - для летчиков, танкистов, судоводителей, автогонщиков. Рынок же тренажеров для учащихся общеобразовательных учебных заведений - компьютерных лабораторных работ и учебных практикумов - пока заполнен изделиями несравненно низшего качества. Они малоинформативны, однотипны, не вызывают интереса к обучению.

Разработкой и изготовлением компьютерных тестирующих комплексов в России занимаются, в основном, коллективы базирующиеся при вузах. Среди таких вузов следует назвать МГУ, СПбГУ, НГУ, МФТИ, МИФИ, МЭСИ, ТГУ и др. Как правило, коллективы состоят из физиков, математиков, инженеров-компьютерщиков. Педагоги либо психологи к сценарным работам практически не привлекаются.

Одним из счастливых исключений здесь является МГУ, где в таких разработках принимают активное участие преподаватели и студенты психологического факультета. Созданная ими система «Телетестинг» завоевала в 1997-2002 гг. в России огромную популярность. Скажем, в Приморском крае в 2000-2002 гг. любое компьютерное тестирование (какая бы организация его не проводила) родителями и учащимися однообразно нарекалось «телетестингом».

В качестве другого примера, приведем опыт разработчиков Дальневосточного государственного университета (ДВГУ).

В ДВГУ с 1994 года ведутся научные и экспериментальные работы в области разработки компьютерных обучающих и тестирующих средств. В научных семинарах и работах здесь принимают участие сотрудники, студенты и преподаватели - физики, химики, математики, историки, юристы, педагоги, географы, экологи, филологи, экономисты. Создан ряд разновидностей компьютерных тестирующих комплексов, реализующих известные педагогические идеи, восходящие к Платону и Сократу.

Созданные в ДВГУ игровые тестирующие комплексы популярны в школах Приморского края. На их основе ежегодно проводится около пятидесяти Приморских краевых образовательных олимпиад, выпускные и переводные экзамены в школах, вступительные экзамены для абитуриентов ДВГУ.

Созданный в ДВГУ в 1998 году компьютерный комплекс - деловая игра «Дидактор» является удачной попыткой реализации игровой концепции обучения и контроля. Работа с ним не утомительна, интерфейсы учащегося и преподавателя просты и понятны. Идея «Дидактора», заключающаяся в предложении не отвечать на вопросы, а оценивать ответы виртуальных учеников, привлекательна для учащихся. «Дидактор» предлагает учащемуся шпаргалки (развернутые ответы и пояснения) – в этом его обучающая функция. «Дидактор» умеет работать и на компакт-диске, и в Интернет. Результаты работы учащегося с «Дидактором» могут быть распечатаны и переданы в электронную базу данных для дальнейшего анализа преподавателем.

Составлять учебные материалы для наполнения «Дидактора» просто. Для этого не нужно пользоваться дополнительными средствами. Файлы с наборами тестовых заданий полностью изготавливаются в обычных текстовых редакторах. При этом тестовые задания могут содержать картинки, мультики, звук, и видеофайлы - это позволяет расширить возможности обучения и тестирования. На основе «Дидактора» в ДВГУ создано около 100 электронных учебных курсов для школьников и студентов, снабженных тестовыми комплексами. Многие студенты предпочитают проходить процесс обучения и контроля на компьютере, контактируя с преподавателем только на консультациях либо по электронной почте – это удобно, ведь многие студенты работают, многие одновременно получают два и три образования. В 2001 году в компьютерных классах ДВГУ проведено около 120 тыс. сеансов тестирований.

Тренажер–игра «Диалог» основан на идее вовлечения ученика в разговор между анимированными виртуальными персонажами – известными учеными. Тестирование знаний и обучение происходит завуалировано, в процессе диалога. Наполнение тренажера, «план» диалогов имеет сложную структуру и элементы «случайности». Особый интерес здесь представляет выстраивание процесса обучения на основе гипотетических диалогов известных представителей разных культур и времен (диалоги культур).

В серии изготовленных ранее в ДВГУ тренажеров - «Кроссворд», «Фракон» (конструктор фраз), «Файндер» (найди ошибку), «Диктант», «Вордик» (узнай слово), «Ковер-самолет», «Толмач» - использованы оригинальные, известные и переработанные сценарии. Переработка известных сценариев заключалась в гуманизации интерфейса, внесении элементов случайности и сюрпризности, стандартизации способа регистрации результатов.

Довольно широк круг дисциплин, материал которых послужил наполнением для вышеописанных изготовленных тренажеров – 14 школьных дисциплин (практически полностью материал 9, 10, 11 классов), около 100 вузовских и специальных дисциплин (материал учебных планов специальностей и специализации «Организация коммерческой деятельности предприятия», «Менеджмент в образовании», «Юриспруденция», «Менеджмент», «Финансы и кредит»), английский язык (мультимедийное пособие для студентов гуманитарных специальностей).

На основании материалов всероссийских научно-методических конференций, посвященных компьютерным методам обучения, ДВГУ можно назвать одним из первых вузов России, масштабно внедрившим компьютерные технологии контроля знаний в учебный процесс.

Системы кумулятивного индексирования качества знаний


Системы кумулятивного индексирования качества знаний (или ИКИ – индивидуального кумулятивного индексирования) тесным образом связаны с системами тестирования знаний и являются действенным инструментом
  • повышения уровня качества знаний;
  • активизации учебного процесса.

Как правило, разнообразные системы оценки качества и количества знаний носят констатирующий характер, не влияют прямо на качество и редко доставляют удовольствие как ученикам, так и педагогам. Кумулятивные системы лишены этого недостатка.

Идея кумулятивных систем проста:
  • каждое действие (учебное) учащегося имеет назначенную цену в очках;
  • получаемые каждым учащимся за свои действия очки суммируются (кумулируются) в течение учебного периода;
  • неуспехи учащихся никак не отмечаются (при неверных ответах, пропусках занятий и пр. суммы очков не снижаются, остаются теми же);
  • суммы очков зависят от даты действий (опоздал со сдачей контрольной работы - получи понижение прибавляемого количества очков);
  • итоговые семестровые оценки выставляются педагогом на основании сравнения сумм очков (кумулянтов) в учебной группе, скажем, первые 10% учащихся (имеющих лучшие суммы) получают пятерки, затем следуют четверки и т. д.;
  • учебные "долги", а также самостоятельно изученный дополнительный учебный материал можно также «сдавать» в определенное время, набирая дополнительные суммы очков.

В 70-80-х годах прошлого века на ряде образовательных конференций звучала информация о использовании в вузах СССР систем кумулятивного индексирования знаний. Такие системы развивались в 60-х годах за рубежом. В СССР среди первопроходцев выделяются педагоги ФЕН НГУ - факультета Естественных наук Новосибирского государственного университета.

В 1982-1992 гг. аналогичные эксперименты проводились группой преподавателей Дальневосточного государственного университета (ДВГУ) на химическом, математическом, физическом, историческом факультетах ДВГУ и в классах нескольких государственных и негосударственных средних школах г. Владивостока.

Перечислим отрицательные черты системы, проявляющиеся на начальном этапе внедрения:
  • в группах, где введена кумулятивная система в учебных занятиях по какой-либо дисциплине, учащиеся начинают посвящать данной дисциплине значительное количество сил и времени, в ущерб другим дисциплинам. Это порождает отрицательные эмоции среди коллег-преподавателей;
  • кумулятивная система противоречат традиционной пятибалльной системе (нарушается график отчетности и пр.), что вызывает негативное отношение к введению кумулятивной системы со стороны руководителей учебного процесса;
  • кумулятивная система резко дифференцирует успехи учащихся, их суммы очков часто различаются в десятки раз. Это порождает нервозность родителей учащихся, т.к. они привыкли к традиционной пятибалльной шкале, "нивелирующей" различия в активности учащихся;
  • возникает необходимость дополнительной работы с учащимися, не воспринявшими систему на начальном этапе и значительно отставшими (можно с ними работать и традиционно, однако через некоторое время они все равно захотят быть «как все» и воспринимают кумулятивную систему как должное);
  • кумулятивная система может вызвать "неспортивные" явления среди учащихся (исчезновение у «передовиков» тетрадей, обуви), т.к. не всем желающим иметь пятерку в четверти выгодно присутствие на занятиях лидеров.

Перечислим положительные качества кумулятивных систем:
  • у учащихся значительно возрастает интерес к дополнительной литературе и получению знаний опережающим образом;
  • велика активность учащихся на консультациях и коллоквиумах;
  • публикация кумулянт приводит к возникновению духа состязательности, приводит к появлению у учащихся стремления к овладению дополнительными знаниями по предмету;
  • исчезают текущие "долги", а если и появляются, то сдаются оперативно;
  • на занятиях исчезает "негатив", связанный с боязнью учащихся неправильно решить задачу, не выполнить задание, получить двойку - учащиеся всегда имеют право и возможность улучшить свои результаты.

В целом, по-нашему мнению. положительные качества таких систем с лихвой перекрывает отрицательные. Последние же исчезают по прошествии периода адаптации.

Наилучшим "ареалом" для внедрения кумулятивных систем является среда дистанционного образования. Именно здесь знание оценивается компьютером и, следовательно, есть все предпосылки для отработки количественных критериев.

Текущие значения кумулянт, будучи собранными в компьютерной базе данных, вполне могут служить основой для проведения работ по сравнительному мониторингу качества образования в различных образовательных учреждениях.

В настоящее время коллектив Открытого университета ДВГУ работает над анализом, внедрением и развитием вышеописанных принципов в среде дистанционного обучения и открытого образования. (Морев И. А. Системы кумулятивного индексирования качества знаний – способ повышения качества образования и активизации учебного процесса // Перспективы высшего образования в малых городах. Материалы второй региональной научно-практической конференции, октябрь, 12-14, 2000, Находка. Владивосток, Изд-во Дальневосточного ун-та, 2001. С. 94-97).