Council conseil of europe de `europe

Вид материалаДокументы

Содержание


Додаток Г: Твердження "Може робити" за ALTE
Рекомендації ALTE та проект "Може робити"
Твердження "Може робити" за AL ТЕ є багатомовними
Організація тверджень "Може робити'
Процес розробки
Емпірична валідація тверджень "Може робити"
Відповідність тверджень "Може робити"/"Сап do" іспитам ALTE
Відповідність Рекомендаціям Ради Європи
Рівні володіння в Рекомендаціях ALTE
Подобный материал:
1   ...   23   24   25   26   27   28   29   30   31


Продовження табліці Аудіювання



В1

В2


Які типи текстів я розумію

Мовлення на знайомі геми і li j фактичною інформацією. Щоденні розмови та дискусії. Програми засобів зв'язку і фільми. Приклади: інструкціїдо використання. короткі лекції, бесіди.

Усі види мовлення на знайомі теми. Лекції. Програма мас-медіа та фільми. Приклади: технічні дискусії, доповіді, інтерв'ю.


Що я розумію

Про значення деяких незнайомих слів можу здогадатись. Основний зміст та окремі деталі.

Основні думки та специфічну інформацію. Складні думки і мовлення. , Точки зору та позицію (ставлення) мовця.

Умови та обмеження

Чітке, нормативне мовлення. Матиму потребу у візуальній та дієвім наочності. Час від часу буду просити повторити слово або фразу.

Нормативне мовлення та деякі ідіоматичні звороти/вирази, навіть в умовах помірно шумного оточення.


Закінчення таблиці Аудіювання



С1

С2


Які типи текстів я розумію

Усне мовлення взагалі. Лекції, дискусії та дебати. Публічні оголошення. Складну технічну інформацію. Аудіозаписи та фільми. Приклади: розмови носіїв мови.


Будь-яке усне мовлення, живе або у трансляції. Спеціалізовані лекції та презентації.


Що я розумію

Досить для того, щоб брати активну участь в бесідах. Абстрактні та складні теми. Імпліцитно виражене ставлення та стосунки між мовцями.


Глобальне та детальне розуміння без жодних утруднень.


Умови та обмеження

Потребую підтвердження окремих деталей, якщо вимова незнайома.


Ніяких, якщо є час звикнути до незнайомих чинників.



. З м і с т .

Додаток Г: Твердження "Може робити" за ALTE



Цей додаток містить опис тверджень "Може робити" за ALTE (Association of Language Testers in Europe), що складають частину довгострокового дослідного проекту, який проводився Європейською Асоціацією Розробників Мовних Тестів (ALTE). Описуються цілі та природа тверджень "Може робити". Потім дається підсумок того, як розроблялись твердження у відповідності до іспитів ALTE та у зв'язку із ЗЄР. Дескриптори у цьому проекті були шкаловані і прирівнені до рівнів ЗЄР за методом № 12с (Моделювання за Рашем), описаним у Додатку А.

Рекомендації ALTE та проект "Може робити"

Рекомендації AL ТЕ

Твердження "Може робити" за ALTE складають центральну частину довгострокової дослідної програми, реалізованої ALTE, мета якої-встановити рамки "ключових рівнів" володіння мовленням, в межах яких іспити можуть бути описані об'єктивно.

Багато вже зроблено для того, щоб привести у відповідність екзаменаційну систему ALTE з нашими рекомендаціями на основі аналізу змісту іспиту, типів завдань і категорій кандидатів. З описом цієї екзаменаційної системи можна ознайомитись у книзі "ALTE Handbook of European Language Examinations and Examination Systems " (див. стор. 27, 167).

"Може робити" за ALTE є шкалами, орієнтованими на користувача

Мета проекту "Може робити" -розробка і валідація набору шкал, орієнтованих на діяльність, які описують, що учні можуть робити на іноземній мові.

Порівняно зі шкалами Алдерсона (1991), орієнтованими на. укладача, експерта і користувача, твердження "Може робити" за ALTE у їх первинному значенні є орієнтованими на користувача. Вони сприяють спілкуванню між посередниками у процесі тестування і, зокрема, інтерпретації результатів тесту неспеціалістами. Таким чином вони забезпечують:

а) надання засобу, корисного для всіх, хто охоплений процесом викладання і мовного тестування студентів/учнів. Вони можуть використовуватись як контрольний лист того, що можуть робити користувачі мовою і таким чином визначати ступінь, на якому вони знаходяться;

б) основу для розробки діагностичних тестових завдань, програм, орієнтованих на діяльність, та навчальних засобів;

в) способи проведення контролю лінгвістичної підготовки, що базується на діяльності осіб, залучених до викладання мови, процесу набору кадрів до компаній;

г) засіб для порівняння цілей курсів та навчальних матеріалів, підготовлених на різних мовах, проте чинних у одному й тому ж контексті.

Вони будуть корисними людям у процесі підготовки та організації персоналу, оскільки дають зрозумілий опис діяльності, який може бути використаний для специфікації вимог до викладачів мови, при описі службових обов'язків зі специфікацією вимог до володіння мовою у зв'язку з новими посадами.


Твердження "Може робити" за AL ТЕ є багатомовними

Важливим аспектом тверджень "Може робити" є те, що вони багатомовні, оскільки були перекладені на 12 мов із представлених в ALTE. Це такі мови: каталонська, датська, голландська, англійська, фінська, французька, німецька, італійська, норвезька, португальська, іспанська, шведська. Як мовленнєво-нейтральний опис рівнів володіння мовою, вони складають рамки рекомендацій, з якими потенційно можуть співвідноситись різні мовні іспити на різних рівнях. Вони дають шанс продемонструвати еквівалентність екзаменаційних систем членів ALTE, що значною мірою стосується, володіння особами, які прагнуть скласти такі іспити, практичними мовленнєвими уміннями.


Організація тверджень "Може робити'

Сьогодні шкали "Може робити" складаються майже із 400 тверджень, організованих у три загальні сфери: Соціальна сфера і Туризм, Робота і Навчання. Це - три головні сфери інтересів більшості з тих, хто вивчає мову. Кожна з них включає певне число більш конкретних сфер, напр.. Соціальна сфера і Туризм має підрозділи: Покупки, Їжа, Влаштування і т.д. Кожна з них включає до трьох шкал для вмінь Слухання/говоріння, читання і письмо. У Слуханні/говорінні комбінуються шкали, пов'язані з інтеракцією.

Кожна шкала включає твердження, які покривають певний діапазон рівнів. Деякі шкали покривають лише частину діапазону рівнів володіння, оскільки існує багато ситуацій, в яких потрібен лише базовий рівень володіння мовою, щоб досягти успішного спілкування.

Процес розробки

Первинний процес розробки проходив такі стадії:

а) опис користувачів мовних тестів ALTE за допомогою опитувальних листів, шкільних звітів тощо;

б) використання цієї інформації для точного визначення потреб кандидатів та ідентифікації головних інтересів;

в) застосування тестових специфікацій та міжнародновизнаних рівнів, таких як Waystage і Threshold, для формулювання вихідних тверджень;

г) детальний аналіз тверджень та оцінка їх прийнятності тими, хто проводить тестування;

д) обговорення тверджень з викладачами та учнями з огляду на їх релевантність і прозорість;

е) виправлення, перевірка та спрощення формулювань тверджень у світлі всього сказаного вище.


Емпірична валідація тверджень "Може робити"

Шкали, подібні вищерозробленим, були піддані тривалому процесу емпіричної перевірки. Цей процес спрямований на перетворення тверджень "Може робити" із суб'єктивного набору описів рівня у засіб градуйованого вимірювання. Це довготривалий, безперервний процес, що буде тривати тим довше, чим більше параметрів буде внесено у весь діапазон мов, представлених ALTE.

Оскільки набір параметрів базувався головним чином на самозвіті, шкали "Може робити' ' представлялись респондентам у вигляді набору узгоджених опитувальних листів. Близько десяти тисяч респондентів дали відповіді на запитання. Багато з цих респондентів мали в розпорядженні додаткові дані у формі результатів мовних іспитів. Мабуть, це є найбільша база даних, яка будь-коли використовувалась для валідації дескриптивної шкали рівнів володіння мовою.

Емпірична робота почалася з пошуків внутрішньої зв'язності шкал "Можезробити" між собою, що мало на меті:

1. Перевірити функцію індивідуальних тверджень у межах кожної шкали "Можу робити".

2. Вирівняти різні шкали "Можу робити", тобто встановити відносну складність шкал.

3. Дослідити нейтральність шкал "Можу робити" відповідно до мови.

Опитувальні листи були розповсюджені на рідній мові суб'єктів, за винятком дуже просунутих рівнів і переважно в Європейських країнах. Респонденти отримали відповідні опитувальні листи - для шкали сфери Робота видавались людям, які користувались іноземною мовою з професійними цілями, шкали зі сфери Навчання - респондентам, що проходили курс навчання іноземною мовою або готувались це робити. Шкали "Соціальна сфера і Туризм " пропонувались іншим респондентам;

відібрані шкали з цієї сфери були також включені в опитувальні листи сфер "Робота " і "Навчання" у ролі "Якорів ".

"Якірні "завдання використовуються для створення бази даних при реалізації аналізу за Рашем, щоб співвіднести різні тести або опитувальні листи. Як пояснювалось у Додатку А, аналіз за Рашем забезпечує єдині вимірювальні рамки завдяки застосуванню матричної схеми набору параметрів або серій перехресних тестових завдань, пов'язаних елементами, спільними для суміжних завдань, які називаються "якірними" (з'єднувальними) елементами. Таке системне застосування якірних тверджень є необхідним для встановлення відносної складності галузей застосування та окремих шкал. Використання шкал "Соціальна сфера і Туризм " у ролі якоря базувалося на припущенні, що ці галузі поєднують рівні володіння мовою і можуть забезпечити найкращий зразок для вирівнювання шкал "Робота"! "Навчання".

Одним із результатів першої фази дослідження був перегляд тексту шкал "Може робити". Зокрема, твердження з негативною орієнтацією були вилучені, оскільки виявились проблематичними із статистичної точки зору і не цілком відповідали опису рівнів досягнень. Ось два приклади із низки внесених змін:

1. Негативні твердження були перефразовані у позитивні із збереженням первинного значення:

• Було: НЕ МОЖЕ відповідати інакше, ніж на прості, передбачувані запитання.

• Стало: МОЖЕ відповідати на прості, передбачувані запитання.

2. Твердження, що використовувались у ролі негативних характеристик для опису нижчого рівня, були змінені на позитивні твердження для опису вищого рівня.

• Було: НЕ МОЖЕ описати невидимі симптоми, такі як різного роду біль, напр. : ' 'dull " (тупий), "stabling" (гострий), "throbbing" (пульсуючий) іт.д.

• Стало: МОЖЕ описати невидимі симптоми, такі як різного роду біль, напр.: "dull" (тупий), "stabling" (гострий), "throbbing" (пульсуючий) і т.д.

Відповідність тверджень "Може робити"/"Сап do" іспитам ALTE

Після первинного градуювання тверджень "Може робити" і текстової ревізії, описаної вище, увагу було спрямовано на встановлення з'єднувальної ланки між шкалами "Може робити" та іншими показниками мовного рівня. Зокрема, ми почали зі спостереження за виконанням завдань на іспитах ALTE та з пошуків відповідності між шкалами "Може робити" і рівнями Рекомендацій Ради Європи.

Починаючи з грудня 1998 року, ми збирали параметри для поєднання само-рейтингів "Може робити" зі ступенями, визначеними в UCLES (Синдикат Кембриджського Університету з проведення Локальних Іспитів) для іспитів з англійської як іноземної (EFL) на різних рівнях. Був встановлений тісний взаємозв'язок, що дозволило розпочати опис змісту екзаменаційних оцінок у світлі типових профілів умінь "Може робити".

Разом з тим, зважаючи на те, що рейтинги "Може зробити" базуються на самозвіті і походять із широкого кола країн та респондентських груп, вони мають певні розходження в загальному усвідомленні респондентами їх здібностей. Так, люди розуміють "can do "дещо по-різному, що зумовлено, зокрема, такими чинниками як вік або культурний рівень. Для деяких груп респондентів це послаблює кореляцію з їх екзаменаційними оцінками. Для встановлення якомога точнішого взаємозв'язку між само-рейтингами "Can do " і критерійними рівнями володіння мовою, вираженими в екзаменаційних оцінках, були застосовані аналітичні підходи. Подальше дослідження у межах рейтингу "Can do", проведене досвідченими експертами, буде, можливо, необхідним для повної характеристики відповідності між екзаменаційними оцінками і типовими профілями умінь "Can do ".

У світлі цього контексту концептуальна проблема стосується поняття "володіння" (майстерності), тобто того, що, власне, розуміється під визначенням "Can do ". Дефініція виводиться з того, чого саме ми чекаємо від людини на певному рівні успішного виконання завдань. Чи можна бути впевненим, що людина завжди досконало виконає завдання? Це було б занадто жорсткою вимогою. З іншого боку, показник 50% успіху буде занадто низьким, щоб вважатись досконалим володінням (майстерністю).

Було обрано число у 80%, оскільки 80%-ий результат часто використовується у тестуванні, орієнтованому на галузь і критерії, як показник майстерності виконання діяльності у певній галузі. Таким чином кандидати, що отримують прохідний бал на іспиті ALTE на певному рівні, повинні мати 80%-ий показник успішності виконання завдань цього рівня.

Дані, зібрані на Кембриджських іспитах, показують, що це число добре узгоджується з вірогідністю запису кандидатами тверджень "Can do" на відповідному рівні. Ця кореляція виявилася досить константною на всіх екзаменаційних рівнях.

Експліцитно визначаючи "Can do" таким чином, ми маємо основу для інтерпретації окремих рівнів ALTE у світлі вмінь "Can do".

В той час як кореляція тверджень "Можу зробити" з результатами іспитів досліджувалась на екзаменах Кембриджського Синдикату, вивчення їх кореляції з результатами інших іспитів ALTЕ буде продовжено з метою визначення відповідності різних екзаменаційних систем 5 рівням ALTE.

Відповідність Рекомендаціям Ради Європи

У 1999 p. були зібрані відповіді, в яких "якорі" забезпечувались твердженнями, взятими з

документа Рекомендацій Ради Європи за 1996 рік. З'єднувальні ланки ("якорі") включали:

1. дескриптори сітки самооцінювання головних категорій користування мовою за рівнями, як представлено в Табл. 2 розділу 3 ;

2. 16 дескрипторів, що відповідають комунікативним аспектам Швидкості, з ілюстративних шкал розділу 5.

Табл. 2 було обрано тому, що вона дістала широке практичне застосування як загальний опис рівнів. Здатність ALTE збирати базу даних на великій кількості мов та в багатьох країнах сприяла валідації шкал у Табл. 2.

Твердження, що характеризують "Швидкість", були рекомендовані, тому що вони, як виявилось мають найстабільнішу складність, передбачену для вимірювання в різних контекстах у Швейцарському проекті (North 1996/2000). Очікувалось, що вони, таким чином, забезпечать правильне узгодження тверджень "Can do" за ALTE з Рекомендаціями Ради Європи. Виявилось, що попередньо визначені труднощі тверджень "Швидкість" дуже тісно узгоджуються з реальними (North 1996 2000), з кореляцією r=0.97. Це підтверджує тісний зв'язок між твердженнями "Can do" і шкалами використаними для ілюстрації Рекомендацій Ради Європи. Проте застосування аналізу Раша для прирівнювання наборів тверджень (шкал) один до одного не є прямим.

Параметри ніколи не співпадають з моделлю точно: є вихідні положення вимірності дискримінаційної та диференційної функцій (систематичної зміни інтерпретації різними групами) які повинні бути ідентифіковані та опрацьовані, з тим щоб забезпечити у майбутньому розробку достовірних шкал.

Вимірність співвідноситься з фактом, що вміння Слухання/Говоріння, Читання та Письма хоча й висококорельовані, але все ж таки різні: аналіз, в якому вони розглядаються окремо, дає більш зв'язні, дискримінант відмінності рівня.

Змінна дискримінація (розрізнення) очевидна, коли ми порівнюємо Табл. 2 і твердження "Саn do". Табл. 2, як виявилось, дає довшу шкалу (для розрізнення тонших (дрібніших) рівнів), ніж твердження "Can do". Здається, що саме це є причиною того, що Табл. 2 представляє кінцевий продукт місткого процесу відбору, аналізу й уточнення. Результатом цього процесу є те, що опис кожного рівня складається з ретельно відібраних типових елементів, що полегшує респондентам на даному рівні розпізнати рівень, до якого вони себе відносять.

Це дає більш точний зразок відповідей, який, у свою чергу, дає довшу детальнішу шкалу. Це є контрастом до теперішньої форми "Can do ", яка все ж коротка і в якій складники (найдрібніші, "атомні" елементи) ще не були згруповані у завершені, холістичні описи рівнів.

Групові ефекти (функція диференціювання) є очевидними з того факту, що деякі групи респондентів (напр., респондентів, які опрацьовували листи опитування із Соціальної сфери та сфер Туризм, Робота або Навчання), як виявилось, розрізняють рівні набагато точніше - на деяких із шкал, що використовуються як базові - з причин, визначити які було важко. Жоден з цих ефектів не є несподіваним при застосуванні підходу моделювання за Рашем до прирівнювання шкал. Вони показують, що систематичний якісний аналіз формулювань індивідуальних тверджень залишається необхідною і важливою стадією дня досягнення "фінального" прирівнювання шкал.


Рівні володіння в Рекомендаціях ALTE

У ході написання Рекомендації АLТЕ являли собою п'ятирівневу систему. Перевірка, описана вище, підтверджує, що вони в цілому відповідають рівням А2-С2 Рекомендацій РЄ. Робота з визначення початкового рівня (Breakthrough) триває, і проект Can Do сприяє опису категорій цього рівня. Тому відношення між двома варіантами Рекомендацій може бути подане таким чином:

Рівні Ради Європи


Al


А2


Bl


B2


Cl


C2


Рівні ALTE


Рівень Breakthrough (виживання) ALTE


Рівень 1 ALTE


Рівень 2 ALTE


Рівень 3 ALTE


Рівень 4 ALTE


Рівень 5 ALTE