Вопросы разработки педагогических тестов Из глубины веков

Вид материала

Документы

Содержание Педагогическое тестирование Форма тестовых заданий Что такое тест? Содержание теста

Подобный материал:

• Автор: Вопросы истории возникновения тестов. Из глубины веков, 387.33kb.
• Что знаем мы про "поле Куликово"? Споры о русской истории, 336.03kb.
• Тематические планы лекций и практических занятий, экзаменационные вопросы, примеры, 902.02kb.
• Краткая программа занятий по курсу «основы теории и методики разработки тестов, предназначенных, 90.47kb.
• § Из глубины веков 3 §, 460.44kb.
• Общие рекомендации к составлению тестов компоновка тестов > Требования к тестам, 451.26kb.
• Методика оценки уровня квалификации педагогических работников москва 2010 министерство, 3508.17kb.
• Совершенствование форм педагогического тестирования, 37.86kb.
• Опросник креативности Джонсона, 63.13kb.
• Тематические планы лекций, практических занятий, экзаменационные вопросы, примеры тестов, 2655.04kb.

Вопросы разработки педагогических тестов

Из глубины веков

Еще в середине III тысячелетия до н.э. в Древнем Вавилоне проводились испытания выпускников в школах, где готовились писцы. Благодаря обширным по тем временам знаниям профессиональный писец был центральной фигурой месопотамской цивилизации; он умел измерять поля, делить имущество, петь, играть на музыкальных инструментах. Во время испытаний проверяли его уме­ние разбираться в тканях, металлах, растениях, а также знание всех четырех арифметических действий, и естественно, умение писать.

В Древнем Египте искусству жрецов обучали только тех, кто выдерживал систему определенных испытаний. Вначале кандидат проходил процедуру, ко­торую можно было бы сейчас назвать собеседованием. При этом выясняли био­графические данные, уровень образованности, оценивали внешность, умение вести беседу. Затем проверяли умения - трудиться, слушать, молчать. Проводи­ли испытания огнем, водой и угрозой смерти. Пифагор подчеркивал важную роль интеллектуальных способностей, ут­верждая, что "не из каждого дерева можно выточить Меркурия". И потому при­давал значение диагностике, в первую очередь, именно этих способностей, что делалось с помощью трудных математических задач. Он обращая также внима­ние на походку и на смех молодых людей, утверждая, что манера смеяться слу­жит самым хорошим показателем характера человека. Он внимательно относил­ся к рекомендациям родителей и учителей, тщательно вел наблюдение за каж­дым новичком, особенно после того, как последнего приглашали свободно вы­сказываться и, не стесняясь, смелее оспаривать мнение собеседников.

В III тысячелетии до н.э. в Китае существовала должность правительст­венного чиновника. Соответственно, появились и первые элементы профотбора на эту должность. Отбору способствовала атмосфера торжественности и внима­ния к молодым людям, осмелившимся держать государственные экзамены на занятие по этой должности. В китайском обществе эти экзамены воспринима­лись почти как празднество. Тему экзамена нередко давал сам император, и он же проводил проверку знаний претендентов и на заключительном этапе конкур­са.

Имеется немало свидетельств применения различных испытаний в Древ­ней Греции и Спарте. В Спарте была создана и успешно осуществлялась систе­ма воспитания воинов, в Риме - система обучения гладиаторов. "Люди- писал Платон, - рождаются не слишком похожими друг на друга, их природа различ­на, да и способности к тому или иному делу также... Поэтому можно сделать все в большем количестве, лучше и легче, если выполнять одну какую-нибудь рабо­ту соответственно своим природным задаткам".

В Афинах обсуждался вопрос о зависимости могущества государства от способностей лиц, им управляющих. В работе Платона "Государство" на вопрос о том, каких правителей нужно выбирать, Сократ отвечает: "Надо отдавать предпочтение самым надежным, мужественным, и по возможности, самым бла­гообразным; кроме того, надо отыскивать людей не только благородных и стро­гого нрава, но и обладающих также свойствами, подходящими для такого вос­питания. У них... должна быть острая восприимчивость к наукам и быстрая со­образительность. Надо искать человека с хорошей памятью, несокрушимо твер­дого и во всех отношениях трудолюбивого".

Нередко результаты испытания интеллектуальных способностей станови­лись предметом гордости. Например, индийский царь Девсарам, желая испытать мудрость иранцев, прислал им шахматы. Предполагалось, что иранцы вряд ли сумеют разгадать суть этой игры, и потому они должны были, по условию, ото­слать в Индию подать. Однако визирь Важургмихр понял правила игры и, в свою очередь, изобрел игру, называемую сейчас нарды. Эту игру он послал в Индию, и там выяснилось, что разгадать правила этой игры индийцы не смогли.

Другим свидетельством использования испытаний являются материалы, излагающие основы религиозного учения чань-буддизма. Учителя чань-буддизма использовали загадки, вопросы-парадоксы, с одновременным созда­нием ситуации психологического стресса. Отвечать на них необходимо было сразу, на раздумывание не отводилось ни секунды. В чаньских поединках диалогах сама парадоксальность постановки вопросов (например "была ли бо­рода у бородатого варвара", или "Имеет ли собака природу Будды") создавала драматическое напряжение, которое усиливалось всем образом действий на­ставника. Хватая своего оппонента и крича на него: "Говори! Говори! Отвечай немедленно;", он создавал ситуацию психологического напряжения. В зависи­мости от того, как тестируемый отвечал на эти загадки, опытный наставник оп­ределял, на каком уровне "просветленности" тот находился, и какие меры нужно принять для углубления его опыта. Это позволяло также выявить симулянтов, скрывающих за внешней грубостью и странностью манер свою некомпетент­ность.

Различные конкурсы и экзамены устраивались и в средневековом Вьетна­ме. Всего за два года, в период с 1370 по 1372 г. удалось провести переаттеста­цию всех гражданских чиновников и военнослужащих, что позволило улучшить работу государственного аппарата. В результате этого Вьетнам стал сильным и жизнеспособным государством. Особое внимание было уделено созданию бое­способного офицерского корпуса. В ХУ в. экзамены были там упорядочены. Они проводились по этапам и турам. Лауреаты получали подарки от короля, их имена вносились в "золотой список", который вывешивался у Восточных ворот столицы, об их победах на конкурсе сообщалось в родную общину. Имена наи­более отличившихся участников высекались на специальных каменных стелах, установленных в Храме Литературы.

Если использование письменных контрольных работ и экзаменов в стра­нах Востока уже в те годы считалось вполне нормальным и естественным де­лом, то этого нельзя сказать о странах Запада. Там возникали трудности психо­логического характера, вызванные попытками замены привычных устных форм контроля письменными. Например, в Англии сто лет ушло на слом консерва­тивных традиций, препятствовавших применению письменных контрольных ра­бот в учебном процессе, и еще сто лет на то, чтобы последние начали использо­ваться на приемных и выпускных экзаменах.

В 1884г. в США вышла первая книга с тестовыми материалами, содер­жавшая задания и ответы к ним с оценкой по пятибалльной шкале. В этой книге содержались задания по математике, истории, грамматике, навигации, давались примерные тексты сочинений вместе с методом количественной оценки сочине­ний. Это был первый в истории случай использования простейших статистиче­ских расчетов в педагогической работе.

Быстро распространявшись в США, такая форма контроля знаний имела не только много сторонников, но и противников. Сообщается, например, о школьном инспекторе из Чикаго, запретившем в 1881г. проводить письменный контроль и обязавшем осуществлять перевод учащихся в очередной класс не на основе проверок, а опираясь исключительно на мнения учителей и директоров школ. Распространилось мнение, что никто лучше учителя не сможет оценить способности ученика, и потому экзамены и всякие другие формы контроля яв­ляются издевательством над здравым смыслом. Этим было положено начало общественному движению против какого-либо контроля в школе. Пик такого движения в США пришелся на конец XIX века (1880-е годы), после чего вновь стали появляться предпосылки для формирования благожелательного отноше­ния к контролю знаний.

Потребность в создании общественно-государственной системы контроля знаний была осознана в США в 1885 году. В Нью-Йорке начал действовать эк­заменационный совет — один из немногих советов, которые смогли разработать методы объективного контроля знаний. Начало общегосударственной системы оценки знаний положило создание там в 1900 году комитета по проверке знаний абитуриентов колледжей в США.

В России конца XIX - начала XX века вопрос разработки тестов и их при­менения не ставился и не обсуждался. "Проверка знаний, - писал один из авто­ров, - представляется мне по опыту самым скучным, бесполезным и даже вред­ным занятием. Она терпима, как необходимое зло, только там, где от учителя требуют ежемесячных отметок как средства контроля не только над учениками, но и над учителем". С той поры в российской педагогике стихийно сформирова­лись две противоречащие тенденции: одна за контроль знаний учащихся, другая

- против.

Педагогическое тестирование

Первые научные труды по теории тестов появилась в начале XX века, на стыке психологии, социологии, педагогики и других так называемых поведенче­ских наук (Behavioral Sciences). Зарубежные психологи называют эту науку пси­хометрикой (Psychometrika), а педагоги - педагогическим измерением (Educational measurement). Поскольку общего названия на русском языке пока нет, автор называет эту науку тестологией, которая может быть педагогической, психологической или социологической, в зависимости от того, где применяется и развивается. Незамутненная идеологией и политикой, интерпретация названия "тестология" проста и прозрачна: наука о тестах.

Педагогическая тестология призвана заниматься вопросами разработки тестов для объективного контроля подготовленности учащихся. В структуре подготовленности большое (но не исчерпывающее) место занимают знания, умения, навыки и представления. Сюда же следует добавить интеллектуальное и физическое и культурное развитие, творческие способности, воспитанность и уровень развития эмоционально-чувственной сферы. Педагогическая тестология

- это прикладная методическая теория научной педагогики. Ключевыми поня­
тиями тестологии, как одна из методических теорий, являются измерение, тест,
содержание и форма заданий, надежность и валидность результатов измерения.
Кроме того, в тестологии используются такие понятия статистической науки,
как выборочная и генеральная совокупность, средние показатели, вариация,
корреляция, регрессия и др.

На Западе проблемой разработки тестов занимается наука, называемая "Educational Measurement". Основной предмет этой науки - разработка качест­венных тестов для измерения уровня подготовленности учащихся.

В наши дни такие тесты используются не только для измерения уровня подготовленности, но и для проведения рейтинга студентов, мониторинга учеб ного процесса, для организации адаптивного обучения и адаптивного тестового контроля, дистанционного образования: в общем, тесты используются во всех современных образовательных технологиях.

Актуальность тестового метода объясняется его несомненными преиму­ществами перед другими педагогическими методами. Пять основных преиму­ществ: высокая научная обоснованность самого теста, позволяющая получать объективированные оценки уровня подготовленности испытуемых; технологич­ность тестовых методов; точность измерений; наличие одинаковых, для всех пользователей, правил проведения педагогического контроля и адекватной ин­терпретации тестовых результатов. Сочетаемость тестовой технологии с други­ми современными образовательными технологиями.

Педагогическим тестом называется система заданий специфической фор­мы, определенного содержания, возрастающей трудности - система, создаваемая с целью объективно оценить структуру и измерить уровень подготовленности студентов.

Система означает, что в тесте собраны такие задания, которые обладают системообразующими свойствами. В тесте задания располагаются в порядке возрастающей трудности - от самого легкого, до самого трудного. Специфиче­ская форма тестовых заданий отличается тем, что задания теста представляют собой не вопросы и не задачи, а задания, сформулированные в форме высказы­ваний, в зависимости от ответов, истинных или ложных. Традиционные вопро­сы, напротив, истинными или ложными не бывают, а ответы на них нередко на­столько неопределенны и многословны, что для выявления их правильности требуются заметные, в суммарном исчислении, затраты интеллектуальной энер­гии преподавателей. В этом смысле традиционные вопросы и ответы нетехноло­гичны, и потому их лучше не включать в тест. Определенное содержание озна­чает использование в тесте только такого контрольного материала, который со­ответствует содержанию учебной дисциплины; остальное в педагогический тест не включается, ни под каким предлогом.

Форма тестовых заданий

В тестовом задании внимание педагога привлекает, в первую очередь, со­держание и форма. Содержание определяется как отображение фрагмента учеб­ной дисциплины в тестовой форме, форма - как способ связи, упорядочения элементов задания. Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют.

По форме все известные в теории и практике тестовые задания можно раз­делить на четыре основные группы.

Первую группу образуют задания с выбором одного или нескольких пра­вильных ответов. Если к заданиям даются готовые ответы на выбор (обычно один правильный и остальные неправильные), то такие задания лучше называть заданиями с выбором одного правильного ответа. В таких заданиях, наряду с одним правильным ответом, есть несколько неправильных, ко правдоподобных. Последние называют дистракторами (от англ. to distract - отвлекать); Число ди-стракторов может колебаться, обычно, от одного до 5.

В наше время, наряду с выбором одного ответа, всё большее распростра­нение начинают приобретать задания с выбором нескольких правильных отве­тов. По содержанию они труднее, чем задания с выбором одного ответа. Этим заданиям предшествует инструкция - Выбрать несколько правильных ответов. При ответах испытуемому приходится определять - какие ответы правильные, а какие - неправильные, а также решать вопрос полноты ответа.

Вторую группу образуют задания, в которых правильный ответ надо до­писать; обычно это одно слово, или один знак. Заданиям этой формы предшест­вует стандартная инструкция — Дополнить...

Третью группу образуют задания, состоящие из элементов двух столбцов. Таким заданиям предшествует инструкция — «Установить соответствие ...»

Четвертая группа - это задания процессуального или алгоритмического толка. Каждому заданию предшествует инструкция: "Установить правильную последовательность...". Испытуемый ставит цифры рангов перед каждым эле­ментом задания.

Что такое тест?

Понятие "длина теста" введено в начале XX века Ч. Спирманом и обозна­чает, на русском языке, количество заданий в тесте. Чем длиннее тест, тем больше в нем заданий. От числа заданий некоторым образом зависит точность педагогического измерения. В тест стараются отобрать минимально достаточное количество заданий, которое позволяет сравнительно точно определить уровень и структуру подготовленности.

Интерпретация результатов тестирования ведется преимущественно с опорой на среднюю арифметическую и на так называемые процентные нормы, показывающие, - сколько процентов испытуемых имеют тестовый результат худший, чем у любого другого испытуемого. Такая интерпретация тестовых ре­зультатов называется нормативно-ориентированной. Тест определяется как сис­тема заданий возрастающей трудности, позволяющая эффективно измерить уро­вень и качественно оценить структуру подготовленности учащихся. Это опреде­ление педагогического теста. Смысл всех терминов, включенных в данное поня­тие, рассматривается в следующей статье.

Содержание теста

Содержание теста - оптимальное отображение содержания образования в системе тестовых заданий. Слова "оптимальное отображение" предполагают не­обходимость отбора такого контрольного материала, ответы на который с высо­кой вероятностью (больше 95 %) свидетельствовали бы об уровне подготовлен­ности каждого. Оптимизация содержания является ведущей идеей традиционно­го теста, а в еще большей степени - адаптивного теста: минимумом числа зада­ний, за короткое время, быстро, качественно и с наименьшими затратами изме­рить знания как можно большего числа учащихся.

Критерии отбора содержания теста: 1. Соответствие содержания теста це­лям тестирования; 2. Значимость проверяемых знаний в общей системе знаний. 3. Взаимосвязь содержания и формы. 4. Содержательная правильность тестовых заданий. 5. Репрезентативность содержания учебной дисциплины в содержании теста. 6. Соответствие содержания теста уровню современного состояния науки. 7. Комплексность и сбалансированность содержания теста. 8. Системность со­держания. 9. Вариативность содержания. 10. Соответствие уровня трудности со­держанию цели тестирования.

Учебный материал по любой учебной дисциплине является частью обра­зовательной программы, обычно включает в себя основные понятия и термины, факты науки и повседневной жизни, законы и теории, знания о способах и мето­дах деятельности. При отсутствии в стране достоверной образовательной стати­стики и несвоевременных выплатах зарплаты учителям фактическое выполне­ние этой нормы по полной, скажем так, номенклатуре всегда остается под во­просом.

Некоторые элементы проверяемых знаний (преимущественно по отдель­ным темам) используются только в текущем контроле. Другие элементы, охва­тывающие знания нескольких тем, используются в рубежном контроле. И, нако­нец, в итоговом контроле используются задания, правильные ответы на которые требуют знания многих, а и иногда и всех тем, изученных в течение учебного года.

Если нужно отобрать небольшое число обучающихся для участия в олим­пиаде, то содержание заданий такого теста должно быть трудным. Если требу­ется отсеять, наоборот, самых слабых, то это лучше сделать с помощью сравни­тельно лёгких заданий; те, которые не выполняют такие задания, и есть самые неподготовленные. Иногда возникает вопрос - а как быть в случае, когда пра­вильно отвечают на трудные задания, и неправильно - на легкие? Обычно это следствие либо ошибочно сделанного теста, либо пробелы в знаниях. Для обна­ружения и анализа подобных ситуаций используются специальные статистиче­ские методы.

Чем полнее отображение учебной дисциплины в тесте, тем увереннее можно говорить о так называемой содержательной валидности тестовых резуль­татов (valid - пригодность для поставленной цели).

Тест не может быть пригодным для измерения знаний по любой учебной дисциплине, в любое время, у испытуемых с любым уровнем подготовленности. Таких тестов не бывает. Тест создается для определения уровня подготовленно­сти учащихся и его результаты интерпретируются в зависимости от степени достижения поставленной цели. Именно поэтому результаты тестирования мо­гут быть признаны валидными в различной степени.