Культура тестирования как методическая проблема

Вид материала

Тесты

Содержание Тесты и понятие привычности, искушенности. Тесты и психологические, личностные характеристики тести­руемых. Тесты и тендерные исследования. Предварительная подготовка тестеров. Интерпретация успеха и неудачи. Конфиденциальность тести­рования. Тестирование и использование при контроле технических средств. Лингвоэстетическая характеристика тестов и тестирования.

Подобный материал:

• Правила приема дополнены различными льготами. Теперь на курсы принимаются: без тестирования,, 131.12kb.
• Пояснительная записка. Методическая разработка на тему: «Профессиональная направленность, 187.77kb.
• Обработка результатов тестирования на современном этапе развития теории тестов, 116.64kb.
• Проблема Ябыла сформулирована сравнительно поздно: в 17 веке как морально-когнитивная, 226.85kb.
• Системы тестирования (Электронное тестирование), 157.18kb.
• “Методология и концепция компьютерного тестирования”. Методическое обеспечение – аст-центр, 86.01kb.
• Методика проведения тестирования и оценивания результатов тестирования в рамках единой, 118kb.
• Список литературы к курсу «Информационная культура личности», 973.8kb.
• Организация тестирования, 177.71kb.
• Положение о проведении тестирования поведения собак для допуска в племенное разведение, 44.36kb.

Культура тестирования как методическая проблема

Балыхина Т.М.

Процедура выполнения теста, как и любая деятельность, имеет свои характеристики; основные из них - структурность, целенаправ­ленность, предметность. В основе тестирования как деятельности ле­жат определенные мотивы.

Тесты и понятие мотива. Под мотивацией в педагогике понимает­ся система целей, потребностей, мотивов, побуждающих индивида со­знательно относиться к учению и к контролю как его составной части, быть активным в учебно-познавательной работе и т.д. Мотивация вы­полняет не только побуждающую, но и направляющую, организую­щую, смыслообразующую функции. В нашем случае - при тестирова­нии - мотивация служит одним из основных психологических факто­ров успешности контроля.

Как известно, на уровень мотивации учебно-познавательной дея­тельности взрослых в изучении иностранного языка влияют объек­тивные факторы (распространенность, статус, история изучаемого иностранного языка, авторитет инокультуры и т.д.) и субъективные (жизненные планы человека, стремление к самореализации и т.д.), а также внешние мотивы (желание иметь хорошие оценки и др.) и вну­тренние (интерес к предмету обучения и др.).

Естественно, что рациональный учет мотивов, потребностей обу­чающихся РКИ и участвующих в тестировании позволяет фамотно «управлять» ходом последнего, нацеливать учащегося на максималь­ное достижение целей контроля. Если же структура мотивов аморф­на, они четко не представлены в сознании тестируемого, то снижается успешность этой формы контроля.

Тесты и понятие привычности, искушенности. Результаты теста, несомненно, зависят от привычности и искушенности испытуемых. Понятно, что человек, имеющий опыт выполнения тестов, обладает преимуществом перед теми, кто впервые участвует в тестировании. Отчасти эти преимущества складываются из преодоленного чувства неизвестности, развившейся уверенности в себе, в своих возможно­стях. Чувство напряженности, тревожности, сомнения в удачном ис­ходе экзамена снимают разного рода предтестовые тренинги. Они помогают механизмам памяти, речи настраиваться на работу в жест­ко лимитированном по времени экзамене. Американский специа­лист в области тестологии, психолог Анна Анастази считает, что у человека, искушенного в работе с заданиями тестового формата, по­казатели на 11% выше, чем у «неискушенных» испытуемых (Анаста­зи А., 1982, с. 48).

Тесты по РКИ, созданные российскими методистами, внедрены в практику недавно. Несмотря на это, их отличает гибкость, структур­ная и содержательная целостность. Однако, находясь в начале пути, российская система тестового контроля еще не смогла учесть много­образие факторов, связанных с тестами и влияющих на их показатели; отсутствует стратификация контингента тестируемых по социально­му признаку, возрасту, национальной принадлежности, по учету спе­цифики обучения родному языку и пр.

Тесты и психологические, личностные характеристики тести­руемых. Исследователями в области психологии (см.: Немов Р.С., 1994) установлено, что только около 40% людей в возрасте до 23 лет обладают зрительно-образной памятью. Она помогает запоми­нать материал через смысловую группировку, через его соотнесе­ние с ранее известным. Большинство же людей нуждаются в ос­мыслении материала, к примеру в его повторном чтении. В резуль­тате «развивается» дефицит времени, растет чувство напряженности во время экзамена, снижается сосредоточенность. Кроме того (и это обнаруживает тестирование), не все учащиеся обладают способностью к моментальному вводу информации (пси­хологи именуют это состояние ретроградной амнезией). Сдающе-

устный экзамен бывает нужно «разговориться» - «внутренне» ми «внешне». Это так называемый этап «врабатывания», который следует учитывать при планировании временных рамок тестирова­ния. Как правило, после фазы «врабатывания» наступает этап ус­тойчивой работоспособности, которой при соблюдении условий тестирования (при отсутствии помех, шума, в атмосфере доброжелательности) может длиться до 3 и более часов. Затем возможен этап снижения работоспособности, нередко завершающийся состо­янием «конечного порыва», когда мобилизуются дополнительные силы через волевую установку, обязывающую закончить экзамена­ционную работу с самоотдачей. Волнообразный характер деятель­ности несложно учесть при комплектовании блоков тестовых зада­ний. Желательно не только располагать их в последовательности от легких к трудным, но и устранять однообразные целевые уста­новки типа «Выберите правильный вариант ответа». Экзаменую­щийся может мобилизовать внимание, силы, способности, если ему на помощь «придет» удачная словесная инструкция или сред­ство, регулирующее внимание и настроение (знаки, символы, при­зывы), разнообразные формы предъявления стимула задания (вер­бальный тест может сменяться сюжетными картинками, видеоря­дом, аудиозаписью).

Тесты и тендерные исследования. На результативность теста мо­гут повлиять и другие показатели. Согласно западной гендер-линг-вистике, а также последним исследованиям российских языковедов-фонологов (см.: Земская Е.А., Ерофеева Е.В. и др.), причиной непра­вильного педагогического измерения, ошибкой контроля могут стать разные характеристики речи представителей мужского и женского пола. Выше названные ученые выявили, что женская речь более нор­мативна по сравнению с мужской. Фонетика чище у представитель­ниц женского пола в том числе потому, что мужчины экономят уси­лия (!) при артикуляции. Зато «женскую речь» характеризует хао­тичное смягчение согласных, даже тех, которые в нормативном литературном языке являются только твердыми. Смягчение речи ха­рактерно для представительниц женского пола и на морфологиче­ском уровне (имеются в виду слова с уменьшительно-ласкательными суффиксами).

Некоторые различия наблюдаются и на супрасегментном уровне. Темп речи мужчин и женщин примерно одинаков, а вот количество синтагм у последних значительно меньше при равном количестве фраз. Для женщин характерна нулизация звуков при произнесении высокочастотных слов (Е.А.Земская называет это явление сильной редукцией кода), например, слово тыща. «Женская речь» тяготеет к неофициальности, к речевым модификациям. Это следует учитыватьпри оценивании результатов контроля устной речи испытуемых. Кроме этого, анализ выполненных по тестам работ позволяет сделать вывод о том, что представительницы женского пола лучше ориенти­руются в письменных тестах, выполняют их качественнее; дают бо­лее высокие показатели по говорению, особенно по таким парамет­рам, как богатство словаря. Юноши лучше выполняют задания, свя­занные с общественно-политической проблематикой, активнее «реагируют» на аудио и видео представленные материалы, проявля-• склонность к аналитической работе, к работе со статьями, рефера­тами-обзорами.

Предварительная подготовка тестеров. Одним из важных усло­вий правильного проведения тестирования является его предвари­тельная подготовка. При тестировании не должно возникать непред­виденных обстоятельств, нужно уметь предупреждать возможные случайности. Только так обеспечивается требование однообразия и качества контроля. К примеру, тестору необходимо знать словесную инструкцию к субтестам, заданиям, даже в том случае, если ее чита-• сам тестируемый. Предварительное знакомство со сценарием тес­тирования, с текстами тестовых материалов, накопленный опыт по­зволяет избежать ошибок, обеспечивает естественную атмосферу на экзамене.

Бесспорно, к числу ключевых моментов относится предваритель-подготовка документации и тестовых материалов, их группиров-

и размещение таким образом, чтобы свести к минимуму поиски и раздачу материалов экзаменующимся. В зарубежной практике функ­циональные обязанности людей, проводящих тестирование, четко разделены: экспериментаторами зачитывается инструкция, ведется чет времени выполнения субтестов и блоков заданий; кураторы вы­дают и собирают тестовые материалы, отвечают на вопросы в разре­шенных инструкцией пределах, наблюдают за корректностью поведе­ния участников тестовой процедуры.

Подготовка людей, занятых в тестировании, предусматривает обучение их приемам налаживания взаимопонимания с экзамену­ющимися. Тест (желаем мы этого или не желаем) «воздействует» на поведение и состояние индивида. Поэтому небесполезно преду­преждать, например, растущее у тестируемого чувство неудачи объяснением, что он справится с заданием, напоминать о концентрации внимания и сил. Уже отмечалось, что испытуемый спосо­бен мобилизовать свои усилия с помощью дополнительных средств, регулирующих внимание. Лари Кейн, американский пси­холог, считает, что не следует «засушивать» язык тестов и инст­рукций, полезно добавлять в экзаменационные материалы лозун­ги-поддержки, допустим «Неудач не бывает». Интересные иссле­дования по проблемам эмоциональной окрашенности тестового контроля проводились в США. Отрицательный результат дал как эксперимент, во время которого тестеры вели себя подчеркнуто сухо, так и процедура, когда их поведение было чрезмерно ожив­ленным и они без должного основания постоянно оценивали дей­ствия участников экзамена. Таким образом, здоровый нейтралитет и доброжелательность - лучшие качества человека, ответственно­го за проведение теста.

Некоторые особенности процедуры тестирования. Работа тестора делится на ряд этапов:

• подготовка к проведению тестирования;
  
• проведение тестирование;
  
• сбор материалов.
  Первый этап включает:
  

• знакомство со списком тестируемых, с информацией о заявлен­ном уровне владения русским (иностранном) языком;
  
• краткий ответ на возможные вопросы по процедуре экзамена;
  
• раздачу тестов и оглашение требования - не начинать работу без разрешения;
  
• заполнение паспортной части (титула) теста: указание фамилии, имени тестируемого, страны, даты экзамена;
  
• знакомство испытуемых с инструкцией конкретного субтеста, с правилами оформления выбранных ответов и исправления ошибок
  (контрольные матрицы заполняются испытуемым ручкой);
  
• сообщение о временном ресурсе, отведенном на выполнение суб­теста (за 10 минут до окончания работы по субтесту напоминается о
  лимите времени);
  
• сообщение о длительности перерыва после окончания конкрет­ного этапа работы.
  

Наиболее ответственной считается процедура проведения субтес­та «Говорение». В ней участвуют тестируемый, тестор, в задачу которого входит инициация или поддержание диалога, и рейтер, фиксиру­ющий в рейтерской (контрольной) таблице речевые параметры испы­туемого и их качества. От тестера требуется организовывать диалоги в соответствии со сценарием. Ошибочным будет импровизированный ход беседы, отступление от ее регламента, что чревато сбоем в ответе испытуемого, увеличением количества допущенных языковых и рече­вых ошибок. Тестору также не следует нарушать принцип обоюдного согласия, т.е. задавать вопросы, затрагивающие личные стороны жиз­ни и деятельности тестируемого.

Тестирование устной речи относится к индивидуальной форме контроля, хотя может быть и групповым, т.е. в нем могут участво­вать две пары испытуемых (тест «два на два»). Индивидуальное те­стирование имеет ряд преимуществ: возможность наблюдать за сда­ющим экзамен (за его мимикой, другим непроизвольными реак­циями), оценивать функциональное состояние испытуемого, опти­мизировать его деятельность. При «групповом» тестировании у эк­заменатора гораздо меньше возможностей добиться взаимопонима­ния в беседе, выявить «случайные состояния» участников (утомле­ние, беспокойство, тревожность и др.), которые влияют на уровень выполнения заданий.

В процессе беседы у тестора и рейтера складывается определенное впечатление о различных аспектах сформированности устной речи испытуемого. После завершения устного экзамена тестирующие соот­носят свои впечатления с разработанной количественно-качествен­ной шкалой оценок.

Интерпретация успеха и неудачи. Конфиденциальность тести­рования. Организаторам тестирования следует продумывать про­цедуру сообщения результатов, т.е. уметь квалифицированно рас­сказать о недочетах, допущенных экзаменующимся в процессе кон­троля. Это следует делать даже при общей положительной оценке теста. На наш взгляд, возможность получить комментарий по поводу выполненной работы «переводит» испытуемого из категории контролируемых в категорию активных участников тестирования. Кроме того, доброжелательное, квалифицированное обоснование успеха или неудачи экзаменующегося позволяет снизить давление оценки на последующее обучение, повысить мотивацию к изуче­нию языка. Рекомендуется оговаривать с испытуемым возможность сообщения его результатов «третьему лицу» или возмож­ность анализировать итоги экзамена, к примеру, в учебной группе, на методическом совете, на заседании кафедры. Поведение тесто-ров и рейтеров во время и после экзамена должно быть коррект­ным и тактичным.

Следует обозначить основные принципы, которые могут состав­лять этический кодекс проводящих тестирование: 1) ответственность, объективность, честность и поддержание высоких норм в работе; 2) соблюдение моральных и правовых стандартов и требований общест­ва; 3) обеспечение нравственного и этического «благополучия» испы­туемого, уважение его прав; 4) корректность и сдержанность в пуб­личных оценках; 5) конфиденциальность, гарантирующая сохран­ность информации об экзамене, неразглашение его результатов; 6) истинная интерпретация теста; 7) ответственность за авторитет вуза, центра тестирования.

Тестирование и использование при контроле технических средств. Использование технических средств позволяет улучшить контроль, придать более естественный характер речевым действиям испытуемых. Вместе с тем, технические средства могут оптимизиро­вать тестирование только в том случае, если

• они использовались и раньше в качестве органичной части системы занятий по РКИ или при подготовке к сдаче теста;
  
• они соответствуют задачам контроля;
  
• использование технических средств продуктивно и не требует
  большой затраты усилий со стороны участников контроля;
  
• технические средства работают четко, без сбоя.
  

Например, при тестировании навыков и умений аудирования не рекомендуется пользоваться печатным текстом как вербальной опо­рой. В то же время могут привлекаться художественно-изобрази­тельные средства, передающие содержание аудиотеста. При органи­зации теста по говорению обязательным атрибутом экзамена явля­ется магнитофон (тест, как правило, проводится в языковой лаборатории или в специально оборудованной аудитории), так как ответ тестируемого записывается на магнитную ленту. Нередко при этом приходится наблюдать у учащихся чувство неловкости, ско­ванности, поскольку в учебном процессе они не оказывались в ситу­ации, когда их речь записывалась на магнитофон. Таким образом, и в данном случае важно чувство привычности, искушенности. Кино-, теле-, видеофильмы, используемые при тестировании, позволяют каналам восприятия информации комплексно «включиться в рабо­ту». Эти технические средства отличает информативность зритель­но-слухового ряда, выразительность, яркость, достоверность, дина­мизм изображения. Вместе с тем, следует учитывать, что цель долж­на оправдывать средства. Если краткому ответу на поставленный в тесте вопрос предшествует длительный по времени просмотр видео­материалов, то использование технических средств нельзя признать эффективным.

Лингвоэстетическая характеристика тестов и тестирования. Из­вестен классический случай, когда одной группе американских школьников, участвующих в тестировании, предложили написать эс­се на тему «Самое приятное, что было в моей жизни», а другой - «Са­мое худшее, что когда-либо случалось со мной». Показатели второй группы (по мнению психологов, поверженной в драматические воспо­минания) оказались на несколько порядков ниже, чем у первой (см. Анастази А., 1982, с. 46-50).

При отборе содержания тестовых материалов нужно не только учитывать культурные традиции, реалии России, но и предвидеть ги­потетическую реакцию представителей других менталитетов на ин­формацию, заключенную в тестах. К примеру, для тестируемых -представителей иной культуры - оказались малопонятными серии сюжетных картинок, которые предлагались для построения монолога и изображали нетипичную для иностранных участников тестирова­ния ситуацию: семья пришла пообедать в ресторан, но все столики бы­ли либо заняты, либо на них стояла табличка «специальное обслужи­вание». Или. Представителю одной из арабских стран был предложен тест в картинках с рекламой лекарства, где изображалось следующее: У пациента очень болит зуб (1 -ая картинка), врач рекомендует ему хо­рошее лекарство (2-ая картинка), наконец пациент почувствовал себя хорошо (3-я картинка). Испытуемый «расшифровал» эти картинки по привычке «справа налево» (!).

Известно, что в некоторых странах, например в США, возникали этические и этнические споры по поводу качества тестовых материа­лов. А.Анастази описывает случай, когда женские организации в Америке обратились в судебные инстанции, потому что в тестовых

материалах мужчинам отводились «роли» только должностных лиц, тогда как женщины «выполняли функции» обслуживающего персо­нала. В тестах запрещается использовать сюжеты, изображающие драмы, насилие.

Таким образом, тесты - это измерительный инструмент, с помо­щью которого современная педагогика объективизирует контроль и оптимизирует обучение. В методике преподавания РКИ формируется научный, научно-практический подход к сложной проблеме лингво-дидактического тестирования. Русисты стремятся защитить систему тестового контроля от проявлений субъективизма, от поспешности в подготовке тестов и в проведении тестирования, поскольку, по их мнению, тесты по русскому языку и русской культуре призваны не только выявить границы языковых возможностей индивида, но и по­мочь ему успешно развиваться как личности: «Важной целью совре­менного тестирования является содействие самопознанию и разви­тию личности» (Рапопорт И. и др., 1987, с. 7). Поэтому следует посто­янно продумывать вопросы культуры составления, проведения, интерпретации тестов.

Литература

1. Анастази А. Психологическое тестирование: В 2 кн. М.: Педаго­
   гика, 1982.
   
2. Ерофеева Е.В. К вопросу о фонетических характеристиках ре­
   чи мужчин и женщин/Русский язык сегодня. М.: Азбуковник, 2000,
   с. 93-100.
   
3. Земская Е.А. Речевой портрет эмигрантки первой волны/Рус­
   ский язык сегодня. М.: Азбуковник, 2000, с. 100-122.
   
4. Каган М.С. Человеческая деятельность (опыт системного ана­
   лиза). М., 1974.
   
5. Кейн Л. Этика общения. М., 1998.
   
6. Пидкадистый П.И., Фридман Л.М., Гарунов М.Г. Психолого-
   дидактический справочник преподавателя высшей школы. М., 1999.
   
7. Рапопорт И., Сельг Р., Соттер И. Тесты в обучении языкам в
   средней школе. Таллинн, 1987.