Вопросы разработки педагогических тестов Из глубины веков
Вид материала | Документы |
СодержаниеПедагогическое тестирование Форма тестовых заданий Что такое тест? Содержание теста |
- Автор: Вопросы истории возникновения тестов. Из глубины веков, 387.33kb.
- Что знаем мы про "поле Куликово"? Споры о русской истории, 336.03kb.
- Тематические планы лекций и практических занятий, экзаменационные вопросы, примеры, 902.02kb.
- Краткая программа занятий по курсу «основы теории и методики разработки тестов, предназначенных, 90.47kb.
- § Из глубины веков 3 §, 460.44kb.
- Общие рекомендации к составлению тестов компоновка тестов > Требования к тестам, 451.26kb.
- Методика оценки уровня квалификации педагогических работников москва 2010 министерство, 3508.17kb.
- Совершенствование форм педагогического тестирования, 37.86kb.
- Опросник креативности Джонсона, 63.13kb.
- Тематические планы лекций, практических занятий, экзаменационные вопросы, примеры тестов, 2655.04kb.
Вопросы разработки педагогических тестов
Из глубины веков
Еще в середине III тысячелетия до н.э. в Древнем Вавилоне проводились испытания выпускников в школах, где готовились писцы. Благодаря обширным по тем временам знаниям профессиональный писец был центральной фигурой месопотамской цивилизации; он умел измерять поля, делить имущество, петь, играть на музыкальных инструментах. Во время испытаний проверяли его умение разбираться в тканях, металлах, растениях, а также знание всех четырех арифметических действий, и естественно, умение писать.
В Древнем Египте искусству жрецов обучали только тех, кто выдерживал систему определенных испытаний. Вначале кандидат проходил процедуру, которую можно было бы сейчас назвать собеседованием. При этом выясняли биографические данные, уровень образованности, оценивали внешность, умение вести беседу. Затем проверяли умения - трудиться, слушать, молчать. Проводили испытания огнем, водой и угрозой смерти. Пифагор подчеркивал важную роль интеллектуальных способностей, утверждая, что "не из каждого дерева можно выточить Меркурия". И потому придавал значение диагностике, в первую очередь, именно этих способностей, что делалось с помощью трудных математических задач. Он обращая также внимание на походку и на смех молодых людей, утверждая, что манера смеяться служит самым хорошим показателем характера человека. Он внимательно относился к рекомендациям родителей и учителей, тщательно вел наблюдение за каждым новичком, особенно после того, как последнего приглашали свободно высказываться и, не стесняясь, смелее оспаривать мнение собеседников.
В III тысячелетии до н.э. в Китае существовала должность правительственного чиновника. Соответственно, появились и первые элементы профотбора на эту должность. Отбору способствовала атмосфера торжественности и внимания к молодым людям, осмелившимся держать государственные экзамены на занятие по этой должности. В китайском обществе эти экзамены воспринимались почти как празднество. Тему экзамена нередко давал сам император, и он же проводил проверку знаний претендентов и на заключительном этапе конкурса.
Имеется немало свидетельств применения различных испытаний в Древней Греции и Спарте. В Спарте была создана и успешно осуществлялась система воспитания воинов, в Риме - система обучения гладиаторов. "Люди- писал Платон, - рождаются не слишком похожими друг на друга, их природа различна, да и способности к тому или иному делу также... Поэтому можно сделать все в большем количестве, лучше и легче, если выполнять одну какую-нибудь работу соответственно своим природным задаткам".
В Афинах обсуждался вопрос о зависимости могущества государства от способностей лиц, им управляющих. В работе Платона "Государство" на вопрос о том, каких правителей нужно выбирать, Сократ отвечает: "Надо отдавать предпочтение самым надежным, мужественным, и по возможности, самым благообразным; кроме того, надо отыскивать людей не только благородных и строгого нрава, но и обладающих также свойствами, подходящими для такого воспитания. У них... должна быть острая восприимчивость к наукам и быстрая сообразительность. Надо искать человека с хорошей памятью, несокрушимо твердого и во всех отношениях трудолюбивого".
Нередко результаты испытания интеллектуальных способностей становились предметом гордости. Например, индийский царь Девсарам, желая испытать мудрость иранцев, прислал им шахматы. Предполагалось, что иранцы вряд ли сумеют разгадать суть этой игры, и потому они должны были, по условию, отослать в Индию подать. Однако визирь Важургмихр понял правила игры и, в свою очередь, изобрел игру, называемую сейчас нарды. Эту игру он послал в Индию, и там выяснилось, что разгадать правила этой игры индийцы не смогли.
Другим свидетельством использования испытаний являются материалы, излагающие основы религиозного учения чань-буддизма. Учителя чань-буддизма использовали загадки, вопросы-парадоксы, с одновременным созданием ситуации психологического стресса. Отвечать на них необходимо было сразу, на раздумывание не отводилось ни секунды. В чаньских поединках диалогах сама парадоксальность постановки вопросов (например "была ли борода у бородатого варвара", или "Имеет ли собака природу Будды") создавала драматическое напряжение, которое усиливалось всем образом действий наставника. Хватая своего оппонента и крича на него: "Говори! Говори! Отвечай немедленно;", он создавал ситуацию психологического напряжения. В зависимости от того, как тестируемый отвечал на эти загадки, опытный наставник определял, на каком уровне "просветленности" тот находился, и какие меры нужно принять для углубления его опыта. Это позволяло также выявить симулянтов, скрывающих за внешней грубостью и странностью манер свою некомпетентность.
Различные конкурсы и экзамены устраивались и в средневековом Вьетнаме. Всего за два года, в период с 1370 по 1372 г. удалось провести переаттестацию всех гражданских чиновников и военнослужащих, что позволило улучшить работу государственного аппарата. В результате этого Вьетнам стал сильным и жизнеспособным государством. Особое внимание было уделено созданию боеспособного офицерского корпуса. В ХУ в. экзамены были там упорядочены. Они проводились по этапам и турам. Лауреаты получали подарки от короля, их имена вносились в "золотой список", который вывешивался у Восточных ворот столицы, об их победах на конкурсе сообщалось в родную общину. Имена наиболее отличившихся участников высекались на специальных каменных стелах, установленных в Храме Литературы.
Если использование письменных контрольных работ и экзаменов в странах Востока уже в те годы считалось вполне нормальным и естественным делом, то этого нельзя сказать о странах Запада. Там возникали трудности психологического характера, вызванные попытками замены привычных устных форм контроля письменными. Например, в Англии сто лет ушло на слом консервативных традиций, препятствовавших применению письменных контрольных работ в учебном процессе, и еще сто лет на то, чтобы последние начали использоваться на приемных и выпускных экзаменах.
В 1884г. в США вышла первая книга с тестовыми материалами, содержавшая задания и ответы к ним с оценкой по пятибалльной шкале. В этой книге содержались задания по математике, истории, грамматике, навигации, давались примерные тексты сочинений вместе с методом количественной оценки сочинений. Это был первый в истории случай использования простейших статистических расчетов в педагогической работе.
Быстро распространявшись в США, такая форма контроля знаний имела не только много сторонников, но и противников. Сообщается, например, о школьном инспекторе из Чикаго, запретившем в 1881г. проводить письменный контроль и обязавшем осуществлять перевод учащихся в очередной класс не на основе проверок, а опираясь исключительно на мнения учителей и директоров школ. Распространилось мнение, что никто лучше учителя не сможет оценить способности ученика, и потому экзамены и всякие другие формы контроля являются издевательством над здравым смыслом. Этим было положено начало общественному движению против какого-либо контроля в школе. Пик такого движения в США пришелся на конец XIX века (1880-е годы), после чего вновь стали появляться предпосылки для формирования благожелательного отношения к контролю знаний.
Потребность в создании общественно-государственной системы контроля знаний была осознана в США в 1885 году. В Нью-Йорке начал действовать экзаменационный совет — один из немногих советов, которые смогли разработать методы объективного контроля знаний. Начало общегосударственной системы оценки знаний положило создание там в 1900 году комитета по проверке знаний абитуриентов колледжей в США.
В России конца XIX - начала XX века вопрос разработки тестов и их применения не ставился и не обсуждался. "Проверка знаний, - писал один из авторов, - представляется мне по опыту самым скучным, бесполезным и даже вредным занятием. Она терпима, как необходимое зло, только там, где от учителя требуют ежемесячных отметок как средства контроля не только над учениками, но и над учителем". С той поры в российской педагогике стихийно сформировались две противоречащие тенденции: одна за контроль знаний учащихся, другая
- против.
Педагогическое тестирование
Первые научные труды по теории тестов появилась в начале XX века, на стыке психологии, социологии, педагогики и других так называемых поведенческих наук (Behavioral Sciences). Зарубежные психологи называют эту науку психометрикой (Psychometrika), а педагоги - педагогическим измерением (Educational measurement). Поскольку общего названия на русском языке пока нет, автор называет эту науку тестологией, которая может быть педагогической, психологической или социологической, в зависимости от того, где применяется и развивается. Незамутненная идеологией и политикой, интерпретация названия "тестология" проста и прозрачна: наука о тестах.
Педагогическая тестология призвана заниматься вопросами разработки тестов для объективного контроля подготовленности учащихся. В структуре подготовленности большое (но не исчерпывающее) место занимают знания, умения, навыки и представления. Сюда же следует добавить интеллектуальное и физическое и культурное развитие, творческие способности, воспитанность и уровень развития эмоционально-чувственной сферы. Педагогическая тестология
- это прикладная методическая теория научной педагогики. Ключевыми поня
тиями тестологии, как одна из методических теорий, являются измерение, тест,
содержание и форма заданий, надежность и валидность результатов измерения.
Кроме того, в тестологии используются такие понятия статистической науки,
как выборочная и генеральная совокупность, средние показатели, вариация,
корреляция, регрессия и др.
На Западе проблемой разработки тестов занимается наука, называемая "Educational Measurement". Основной предмет этой науки - разработка качественных тестов для измерения уровня подготовленности учащихся.
В наши дни такие тесты используются не только для измерения уровня подготовленности, но и для проведения рейтинга студентов, мониторинга учеб ного процесса, для организации адаптивного обучения и адаптивного тестового контроля, дистанционного образования: в общем, тесты используются во всех современных образовательных технологиях.
Актуальность тестового метода объясняется его несомненными преимуществами перед другими педагогическими методами. Пять основных преимуществ: высокая научная обоснованность самого теста, позволяющая получать объективированные оценки уровня подготовленности испытуемых; технологичность тестовых методов; точность измерений; наличие одинаковых, для всех пользователей, правил проведения педагогического контроля и адекватной интерпретации тестовых результатов. Сочетаемость тестовой технологии с другими современными образовательными технологиями.
Педагогическим тестом называется система заданий специфической формы, определенного содержания, возрастающей трудности - система, создаваемая с целью объективно оценить структуру и измерить уровень подготовленности студентов.
Система означает, что в тесте собраны такие задания, которые обладают системообразующими свойствами. В тесте задания располагаются в порядке возрастающей трудности - от самого легкого, до самого трудного. Специфическая форма тестовых заданий отличается тем, что задания теста представляют собой не вопросы и не задачи, а задания, сформулированные в форме высказываний, в зависимости от ответов, истинных или ложных. Традиционные вопросы, напротив, истинными или ложными не бывают, а ответы на них нередко настолько неопределенны и многословны, что для выявления их правильности требуются заметные, в суммарном исчислении, затраты интеллектуальной энергии преподавателей. В этом смысле традиционные вопросы и ответы нетехнологичны, и потому их лучше не включать в тест. Определенное содержание означает использование в тесте только такого контрольного материала, который соответствует содержанию учебной дисциплины; остальное в педагогический тест не включается, ни под каким предлогом.
Форма тестовых заданий
В тестовом задании внимание педагога привлекает, в первую очередь, содержание и форма. Содержание определяется как отображение фрагмента учебной дисциплины в тестовой форме, форма - как способ связи, упорядочения элементов задания. Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют.
По форме все известные в теории и практике тестовые задания можно разделить на четыре основные группы.
Первую группу образуют задания с выбором одного или нескольких правильных ответов. Если к заданиям даются готовые ответы на выбор (обычно один правильный и остальные неправильные), то такие задания лучше называть заданиями с выбором одного правильного ответа. В таких заданиях, наряду с одним правильным ответом, есть несколько неправильных, ко правдоподобных. Последние называют дистракторами (от англ. to distract - отвлекать); Число ди-стракторов может колебаться, обычно, от одного до 5.
В наше время, наряду с выбором одного ответа, всё большее распространение начинают приобретать задания с выбором нескольких правильных ответов. По содержанию они труднее, чем задания с выбором одного ответа. Этим заданиям предшествует инструкция - Выбрать несколько правильных ответов. При ответах испытуемому приходится определять - какие ответы правильные, а какие - неправильные, а также решать вопрос полноты ответа.
Вторую группу образуют задания, в которых правильный ответ надо дописать; обычно это одно слово, или один знак. Заданиям этой формы предшествует стандартная инструкция — Дополнить...
Третью группу образуют задания, состоящие из элементов двух столбцов. Таким заданиям предшествует инструкция — «Установить соответствие ...»
Четвертая группа - это задания процессуального или алгоритмического толка. Каждому заданию предшествует инструкция: "Установить правильную последовательность...". Испытуемый ставит цифры рангов перед каждым элементом задания.
Что такое тест?
Понятие "длина теста" введено в начале XX века Ч. Спирманом и обозначает, на русском языке, количество заданий в тесте. Чем длиннее тест, тем больше в нем заданий. От числа заданий некоторым образом зависит точность педагогического измерения. В тест стараются отобрать минимально достаточное количество заданий, которое позволяет сравнительно точно определить уровень и структуру подготовленности.
Интерпретация результатов тестирования ведется преимущественно с опорой на среднюю арифметическую и на так называемые процентные нормы, показывающие, - сколько процентов испытуемых имеют тестовый результат худший, чем у любого другого испытуемого. Такая интерпретация тестовых результатов называется нормативно-ориентированной. Тест определяется как система заданий возрастающей трудности, позволяющая эффективно измерить уровень и качественно оценить структуру подготовленности учащихся. Это определение педагогического теста. Смысл всех терминов, включенных в данное понятие, рассматривается в следующей статье.
Содержание теста
Содержание теста - оптимальное отображение содержания образования в системе тестовых заданий. Слова "оптимальное отображение" предполагают необходимость отбора такого контрольного материала, ответы на который с высокой вероятностью (больше 95 %) свидетельствовали бы об уровне подготовленности каждого. Оптимизация содержания является ведущей идеей традиционного теста, а в еще большей степени - адаптивного теста: минимумом числа заданий, за короткое время, быстро, качественно и с наименьшими затратами измерить знания как можно большего числа учащихся.
Критерии отбора содержания теста: 1. Соответствие содержания теста целям тестирования; 2. Значимость проверяемых знаний в общей системе знаний. 3. Взаимосвязь содержания и формы. 4. Содержательная правильность тестовых заданий. 5. Репрезентативность содержания учебной дисциплины в содержании теста. 6. Соответствие содержания теста уровню современного состояния науки. 7. Комплексность и сбалансированность содержания теста. 8. Системность содержания. 9. Вариативность содержания. 10. Соответствие уровня трудности содержанию цели тестирования.
Учебный материал по любой учебной дисциплине является частью образовательной программы, обычно включает в себя основные понятия и термины, факты науки и повседневной жизни, законы и теории, знания о способах и методах деятельности. При отсутствии в стране достоверной образовательной статистики и несвоевременных выплатах зарплаты учителям фактическое выполнение этой нормы по полной, скажем так, номенклатуре всегда остается под вопросом.
Некоторые элементы проверяемых знаний (преимущественно по отдельным темам) используются только в текущем контроле. Другие элементы, охватывающие знания нескольких тем, используются в рубежном контроле. И, наконец, в итоговом контроле используются задания, правильные ответы на которые требуют знания многих, а и иногда и всех тем, изученных в течение учебного года.
Если нужно отобрать небольшое число обучающихся для участия в олимпиаде, то содержание заданий такого теста должно быть трудным. Если требуется отсеять, наоборот, самых слабых, то это лучше сделать с помощью сравнительно лёгких заданий; те, которые не выполняют такие задания, и есть самые неподготовленные. Иногда возникает вопрос - а как быть в случае, когда правильно отвечают на трудные задания, и неправильно - на легкие? Обычно это следствие либо ошибочно сделанного теста, либо пробелы в знаниях. Для обнаружения и анализа подобных ситуаций используются специальные статистические методы.
Чем полнее отображение учебной дисциплины в тесте, тем увереннее можно говорить о так называемой содержательной валидности тестовых результатов (valid - пригодность для поставленной цели).
Тест не может быть пригодным для измерения знаний по любой учебной дисциплине, в любое время, у испытуемых с любым уровнем подготовленности. Таких тестов не бывает. Тест создается для определения уровня подготовленности учащихся и его результаты интерпретируются в зависимости от степени достижения поставленной цели. Именно поэтому результаты тестирования могут быть признаны валидными в различной степени.