Council conseil of europe de `europe

Вид материалаДокументы

Содержание


Додаток Б: Ілюстративні шкали дескрипторів
Швейцарський дослідний проект
Якісна фаза
Кількісна фаза
Фаза інтерпретації
Довідкова література
Дескриптори в Загальних Рекомендаціях
Документ Б5 Зв'язність у градуюванні дескриптора
Опис і розповідь
Обмін інформацією
Документ Б 6 Шкали рівнів володіння мовою, використані як джерела
Шкали для різних видів комунікативної діяльності
Шкали для чотирьох видів мовленнєвої діяльності
Рейтингові шкали для усного оцінювання
Загальні рекомендації щодо змісту програм і критеріїв оцінювання навчальних досягнень
Подобный материал:
1   ...   23   24   25   26   27   28   29   30   31

Додаток Б: Ілюстративні шкали дескрипторів



Додаток містить опис Швейцарського проекту, в якому були розроблені ілюстративні дескриптори для Загальноєвропейських Рекомендацій (ЗЄР). Шкаловані категорії також представлені у вигляді списку з посиланням на сторінки, де їх можна знайти в основному тексті документа. У цьому проекті дескриптори були шкаловані та застосовані для створення рівнів ЗЄР за допомогою методу № 12с (моделювання за Рашем), наведеного в кінці Додатку А.

Швейцарський дослідний проект

Витоки та зміст

Шкали дескрипторів, включені до розділів 3,4,5, були створені на основі результатів проекту Швейцарської Національної Науково-Дослідної Ради, що здійснювався з 1993 по 1996 рік. Цей проект було розпочато після Рюшліконського Симпозіуму (Rüschlikon Symposium) 1991 p. Його метою була розробка прозорих визначень рівнів володіння різними видами діяльності за дескриптивною схемою ЗЄР, що, у свою чергу, мало сприяти розробці Європейського Мовного Портфеля.

Дослідження 1994 p. було присвячено вивченню процесів Інтеракціїта Продукції, воно обмежувалось англійською як іноземною мовою і вчительським оцінюванням. Дослідження 1995 p. було частковим повторенням досліджень 1994 p., доповнене вивченням процесу Рецепції. Крім англійської, ще досліджувалось володіння французькою і німецькою мовами. До вчительського оцінювання додалось також самооцінювання і деяка інформація про іспити (Cambridge; Goethe; DELF/DALF).

Цими двома дослідженнями було охоплено загалом майже 300 вчителів і близько 2800 учнів, які представляли приблизно 500 класів. Учні нижчого і вищого рівнів середньої школи, студенти професійної освіти і дорослі учні були представлені у таких пропорціях:





Нижчий рівень середньої школи


Вищий рівень середньої школи


Професійна освіта


Навчання дорослих


1994

35%


19%


15%


31%


1995

24%


31%


17%


28%



Було залучено вчителів німецьке-, франко-, італо- і ретророманського мовних регіонів Швейцарії, хоча число італо- і ретророманськомовних регіонів було дуже обмежене. У графі кожного року дослідження близько четвертої частини - це вчителі, що викладають свою рідну мову. Вчителі заповнювали опитувальні листи мовою, яку вони викладають. Тому у 1994 році було використано дескриптори лише англійською мовою, тоді як у 1995 p. їх було доповнено ще й французькою та німецькою мовами.

Методологія

У стислому вигляді методологія проекту полягає у наступному:

Інтуїтивна фаза

1. Детальний аналіз вищезгаданих шкал рівнів володіння мовою в публічній сфері або отриманих через контакти з Радою Європи в 1993 p. ; список подається в кінці цього огляду.

2. Розподіл цих шкал на дескриптивні категорії відповідно до виділених у розділах 4-5 з метою створення початкового фонду класифікованих і відредагованих дескрипторів.

Якісна фаза:

3. Аналіз за категоріями записів учительського обговорення та порівняння рівнів володіння мовою-виявлених у відеофрагментах виконання завдань. Мета-перевірити, що метамова, яка вживається практиками, подана адекватно.

4. На 32 практичних заняттях вчителі (а) сортували дескриптори на категорії, які передбачалось описувати; (б) виносили судження якісного характеру щодо точності, правильності та релевантності опису; (в) розподіляли дескриптори за смугами рівнів володіння діяльністю.

Кількісна фаза:

5. Учительське оцінювання відповідної кількості учнів у кінці навчального року з використанням перехресних серій запитань, розроблених на основі дескрипторів, визначених учителями в робочих групах як найточніші, найсфокусованіші та найрелевантніші. У перший рік дослідження було застосовано серії із 7 питальних листів, кожен з яких складався з 50 дескрипторів; їх мета -встановити діапазон рівнів володіння мовою учнів, які мали 80-годинний курс англійської мови, та просунутих мовців.

6. Протягомдругогорокубулозастосованорізноманітнісеріїзп'ятиопитувальнихлистів. Обидва дослідження були пов'язані тим фактом, що дескриптори для усної інтеракції були використані повторно. Учні оцінювались за кожним дескриптором згідно шкали 0-4 з описанням свого відношення до умов виконання, описаних у дескрипторі. Спосіб інтерпретації дескрипторів вчителями був підданий аналізу із застосуванням моделі рейтингової шкали Раша. Цей аналіз мав дві мети:

(а) математично шкалувати "значення складності" для кожного дескриптора.

(б) визначити статистичне значущий варіант інтерпретації" дескрипторів відповідно до різних освітніх секторів, мовних регіонів та мов, що вивчаються, для того щоб визначити дескриптори з дуже високою стабільністю значень у різних контекстах з метою їх використання у холістичних шкалах, які узагальнюють Рівні Загальних Рекомендацій.

7. Оцінювання рівнів володіння мовленням учнями за відеофрагментами зусиллями усіх учителів-учасників дослідження. Метою цього оцінювання було визначення розбіжностей у точності вчителів-учасників з метою врахування їх варіантів при встановленні діапазону досягнень й освітніх секторах у Швейцарії.

Фаза інтерпретації:

8. Визначення "рубіжних точок" на шкалі дескрипторів для створення набору Рівнів Загальних Рекомендацій, введених в розділі 3. Узагальнення цих рівнів у холістичній шкалі (Табл. 1 ), сітка самооцінювання, що описує види мовленнєвої діяльності (Табл. 2) і сітка оцінювання рівнів володіння, що описує різні аспекти комунікативної мовної компетенції (Табл. 3).

9. Презентація ілюстративних шкал у розділах 4-5 для тих категорій, які дійсно піддаються шкалуванню.

10. Адаптація дескрипторів до цілей самооцінювання з метою створення швейцарської версії Європейського мовного портфеля. Вона містить: (а) шкалу самооцінювання з аудіювання, говоріння, діалогічного мовлення, монологічного мовлення, письма (Табл. 2); (б) лист самооцінюваня для кожного з рівнів, рекомендованих ЗЄР.

11. Завершальна конференція, на якій було презентовано результати дослідження, присвячувалась обговоренню досвіду роботи з Портфелем та ознайомленню вчителів з Рівнями Загальних Рекомендацій.

Результати

Шкалування дескрипторів для різних умінь та різних видів компетенцій (лінгвістичної, прагматичної, соціокультурноі) ускладнюється питанням: буде чи ні оцінювання цих різних характеристик реалізуватись за одним параметром? Це не така проблема, що спричинена або пов'язана винятково з моделюванням за Рашем — вона стосується будь-якого статистичного аналізу. Проте Раш є менш поблажливим, коли виникає проблема. З огляду на це, параметри тесту, вчительського оцінювання та самооцінювання можуть трактуватись по-різному. Що стосується вчительського оцінювання у цьому проекті, то окремі параметри мовлення були менш вдалими; їх довелось вилучити з аналізу, щоб зберегти точність результатів. До Категорій, які було вилучено з первинного фонду дескрипторів, належать:

а) Соціокультурна компетенція

Це дескриптори, в яких експліцитно описуються соціокультурна та соціолінгвістична компетенції.

Неясно, наскільки ця проблема була спричинена (а) фактом відокремлення предмета від рівнів володіння мовою; (б) нечіткими дескрипторами, які було визначено як проблематичні в робочих групах, чи (в) суперечливими відповідями вчителів, у яких не вистачало необхідних знань про своїх студентів. Ця проблема торкнулась дескрипторів умінь читати й розуміти фантастику і художню літературу.

б) Пов'язані з роботою

Такі дескриптори вимагають від учителів здогадки про інші види діяльності (пов'язані, в основному, з роботою), крім тих, які вони могли спостерігати безпосередньо у класі: це розмова по телефону, відвідування офіційних зустрічей, проведення офіційних презентацій, написання доповідей та есе, ділове листування. Все це незважаючи на той факт, що категорія дорослих і професійний сектор були досить репрезентативними.

в) Негативний підхід

Такі дескриптори пов'язані з потребою у спрощенні; потребою домогтися повторення або пояснення. що є імпліцитно негативним підходом. Подібні аспекти краще працюють за умов позитивно сформульованих тверджень, наприклад:

Може в основному розуміти чітке нормативне мовлення на знайомі теми, спрямоване до нього/ неї, за умови, що він/вона час від часу може попросити про повторення або реформу'лювиння.

Доведено, що для цих вчителів читання має параметри вимірювання, відокремлені від усної інтеракцц та продукції. Одержана інформація зробила можливим окреме шкалування читання і наступне прирівнювання шкали читання до основної шкали оцінювання діяльності. Письмо не було головним фокусом дослідження, і дескриптори для писемної продукції, що включені до розділу 4, були розроблені, головним чином, на основі дескрипторів для усної продукції. Проте відносно висока стабільність значень шкали для дескрипторів з читання та письма, взятих із ЗЄР та визнаних як системою DIALANG, так і ALTE (див. відповідно Додатки В та Г), підтверджує, що підходи, застосовані щодо читання та письма, були цілком ефективними. Усі проблеми з категоріями, обговореними вище, пов'язані з протиставленням одновимірних і багатовимірних основних положень шкалування. Багато-вимірність демонструє себе іншим способом по відношенню до популяції учнів, рівень володіння мовою яких описувався. Були випадки, коли складність дескриптора залежала від певного освітнього сектора. Наприклад, дорослі початківці розглядаються їхніми вчителями як такі, що вважають завдання з "реального життя" значно легшими, ніж ті, кому 14 років. Інтуїтивно це здається правильним. Такий варіант відомий як "функція диференціювання" (DIF). У тій мірі, в якій це було можливо, дескриптори, що показували DIF, були вилучені під час підведення підсумків з розробки Рівнів Загальних Рекомендацій, поданих у Табл. 1 -2 розділу 3. Одержано дуже мало значущих результатів щодо мови, яка вивчається, так само як і відносно рідної мови, крім висновку, що вчителі-носії мови можуть мати більш точну інтерпретацію слова "розуміти" на просунутих рівнях, особливо у зв'язку з літературою.

Застосування

Ілюстративні дескриптори у розділах 4-5 були: (а) або розміщені на рівні, для якого актуальний дескриптор був емпірично калібрований, у ході дослідження; (б) або написані в результаті рекомбінації елементів дескрипторів, каліброваних саме для цього рівня (для кількох категорій, напр., "Публічні оголошення", які не були включені в оригінальне дослідження), (в) або відібрані на основі результатів якісної фази (практичні заняття), (г) або написані під час фази інтерпретації, щоб закрити прогалину в емпірично каліброваній допоміжній суб-шкалі. Цей останній пункт прийнятний майже цілком для рівня компетентного користувача, до якого (рівня) в ході дослідження було включено дуже мало дескрипторів.

Упровадження

Проект для Базельського університету у 1999-2000 pp. адаптував дескриптори ЗЄР для засобів самооцінювання, розроблених для вступу до університету. Також були додані дескриптори для соціолінгвістичної компетенції та для вмінь робити нотатки у навчальному процесі в університеті. Нові дескриптори були шкаловані до рівнів ЗЄР за тією ж самою методологією, що застосовувалась в оригінальному проекті, і включені в цю редакцію ЗЄР. Кореляція значень шкали дескрипторів ЗЄР між оригінальними значеннями шкали та їх значеннями у цьому дослідженні дорівнювала 0,899.

Довідкова література

North, В. 1996/2000: The development of a common framework scale of language proficiency. PhD thesis, Thames Valley University. Reprinted 2000, New York, Peter Lang.

forthcoming: Developing descriptor scales of language proficiency for the CEF Common Reference Levels. In J.C. Alderson (ed.) Case studies of the use of the Common European Framework. Council of Europe.

forthcoming: A CEF-based self-assessment tool for university entrance. In J.C. Alderson (ed.) Case studies of the use of the Common European Framework. Council of Europe.

North, B. and Schneider, G. 1998: Scaling descriptors for language proficiency scales. Language Testing 15/2:217-262.

Schneider and North 1999: 'In anderen Sprachen kann ich'... Skalen zur Beschreibung, Beurteilung Selbsteinschätzung der fremdsprachlichen Kommunikationmsfähigkeit. Beme, Project Report, National Research Programme 33, Swiss National Science Research Council.

Дескриптори в Загальних Рекомендаціях

У доповнення до таблиць, використаних у розділі 3 для узагальнення Рівнів Загальних Рекомендацій, ілюстративні дескриптори, що зустрічаються у тексті розділів 4-5, такі:

Документ Б1 ілюстративні шкали у розділі 4: Види комунікативної діяльності

P

Е

Ц

Е

П

Ц

І

Я


Усна


• Загальне слухання

• Розуміння спілкування носіїв мови між собою

• Слухання в ролі учасника "живої" розмови

• Слухання оголошень та інструкцій

• Слухання радіо та аудіозаписів


Аудіо/Відео


• Перегляд і розуміння програм та фільмів


Писемна


• Загальне читання

• Читання кореспонденції

• Читання з метою орієнтації

• Читання для отримання інформації та аргументації

• Читання інструкцій


І

H

T

E

P

А

K

Ц

І

Я


Усна


• Загальне усне спілкування

• Розуміння в інтеракції

• Розуміння співрозмовника-носія мови

• Бесіда

• Неформальна дискусія

• Формальна дискусія (Збори)

• Цілеспрямована співпраця

• Отримання товарів і послуг

• Участь в інтерв'ю (перемінні ролі)


Писемна


• Загальне писемне спілкування

• Листування

• Записи, повідомлення, заповнення формулярів


П

Р

О

Д

У

K

Ц

І

Я


Усна


• Загальна усна продукція

• Монологічне мовлення: опис вражень

• Монологічне мовлення: аргументація (напр., у дебатах)

• Публічні виступи

• Звернення до аудиторії


Писемна


• Загальна писемна продукція

• Творче письмо

• Письмові доповіді та есе (твори)



Документ Б2 Ілюстративні шкали у розділі 4: Комунікативні стратеги

РЕЦЕПЦІЯ


• Ідентифікація сигналів та узагальнення


ІНТЕРАКЩЯ


• Підтримання бесіди (реплікування по черзі) - багаторазове •Співпраця

• Запит про роз'яснення


ПРОДУКЦІЯ


•Планування

• Компенсаторна діяльність

• Контроль і корекція



Документ Б3 Ілюстративні шкали у розділі 4: Робота з текстом

ТЕКСТ

• Конспектування на семінарах і лекціях

• Опрацювання тексту


Документ Б4 Ілюстративні шкали у розділі 5: Комунікативна мовленнєва компетенція

ЛІНГВІСТИЧНА




Діапазон:


Контроль:



• Загальний діапазон

• Лексичний діапазон


• Граматична правильність

• Лексичний контроль

• Фонетичний контроль

• Орфографічний контроль


СОЦІОЛІНГВІСТИЧНА



• Соціолінгвістичний компонент

ПРАГМАТИЧНА



• Гнучкість

• Підтримання бесіди (реплікування по черзі) - багаторазове

• Розгортання теми

• Зв'язність

• Логічність

• Швидкість мовлення



Документ Б5 Зв'язність у градуюванні дескриптора

Позиція, в якій певний зміст з'являється на шкалі, демонструє високий ступінь зв'язності. Наприклад, візьмемо теми. Для тем не було включено жодного дескриптора, проте теми були віднесені до дескрипторів за різними категоріями. Трьома найрелевантнішими категоріями були Опис {розповідь, Обмін інформацією. Діапазон.

У поданих нижче схемах порівнюються способи трактування тем у цих трьох категоріях. Хоча зміст усіх трьох схем не є ідентичним, порівняння виявляє значний ступінь зв'язності, яка відображається через набір градуйованих дескрипторів. Такий аналіз було покладено в основу розробки дескрипторів категорій, не включених до оригінального дослідження (напр.. Публічні оголошення), шляхом перестановки елементів дескриптора.



Опис і розповідь


A1


А2


В1


В2


СІ


С2


• де вони

живуть

• люди, зовнішність

• освіта, робота

• місця та умови проживання

• предмети, домашні улюбленці • особисте майно

• події та види діяльності

• смаки/уподобання

• плани/організація

• звички/повсякденні справи

• особистий досвід


• сюжет книжки/фільму

• враження

• реакції на два попередні пункти

• мрії, надії, амбіції

• розповідь

• основні деталі непередбачуваних подій, напр., нещасного випадку




• чіткий

детальний

опис складних предметів




Обмін інформацією


AI


А2


В1


В2


СІ


С2


• про себе

та

інших


• дім


• час

• простий, звичайний, прямий

• обмежений, робота та вільний час


• прості вказівки та інструкції

• дозвілля, звички, повсякденні

справи

• види дозвілля

• минула діяльність



• накопичена фактична інформація на знайомі теми в рамках певної сфери


• детальні вказівки










Діапазон


AI


А2


В1


В2


СІ


С2





• елементарні, загальні потреби

• просте/передбачуване виживання

• прості конкретні потреби:

особисті деталі, щоденні звичайні справи, запити інформації

• звичайні повсякденні трансакції

• знайомі ситуації і теми

• повсякденні ситуації з передбачуваним змістом

• більшість тем, пов'язаних із повсякденним життям: сім'я, хобі, інтереси, робота, подорожі, поточні новини












Документ Б 6 Шкали рівнів володіння мовою, використані як джерела

Глобальні шкали повного володіння усним мовленням

• Hofmann: Levels of Competence in Oral Communication 1974

• University of London School Examination Board: Certificate of Attainment Graded Tests 1987

• Ontario ESL Oral Interaction Assessment Bands 1990

• Finnish Nine Level Scale of Language Proficiency 1993

• European Certificate of Attainment in Modem Languages 1993

Шкали для різних видів комунікативної діяльності

• Trim: Possible Scale for a Unit/Credit Scheme: Social Skills 1978

• North: European Language Portfolio Mock-up: Interaction Scales 1991

• Eurocentres/ELTDU Scale of Business English 1991

• Association of Language Testers in Europe, Bulletin 3,1994

Шкали для чотирьох видів мовленнєвої діяльності

• Foreign Service Institute Absolute Proficiency Ratings 1975

• Wilkins: Proposals for Level Definitions for a Unit/Credit Scheme: Speaking 1978

• Australian Second Language Proficiency Ratings 1982

• American Council on the Teaching of Foreign Languages Proficiency Guidelines 1986

• Elviri et al.: Oral Expression 1986 (in Van Ek 1986)

• Interagency Language Roundtable Language Skill Level Descriptors 1991

• English Speaking Union (ESU) Framework Project: 1989

• Australian Migrant Education Program Scale (Listening only)

Рейтингові шкали для усного оцінювання

• Dade County ESL Functional Levels 1978

• Hebrew Oral Proficiency Rating Grid 1981

• Can-oil B.J. and Hall P.J. Interview Scale 1985

• Can-oil B.J. Oral Interaction Assessment Scale 1980

• International English Testing System (IELTS): Band Descriptors for Speaking & Writing 1990

• Göteborgs Universitet: Oral Assessment Criteria

• Fulcher: The Fluency Rating Scale 1993

Загальні рекомендації щодо змісту програм і критеріїв оцінювання навчальних досягнень

• University of Cambridge/Royal Society of Arts Certificates in Communicative Skills in English 1990

• Royal Society of Arts Modem Languages Examinations: French 1989

• English National Curriculum: Modern Languages 1991

• Netherlands New Examinations Programme 1992

• Eurocentres Scale of Language Proficiency 1993

• British Languages Lead Body: National Language Standards 1993

. З м і с т .