Міністерство освіти І науки україни наказ

Вид материала

Содержание

Рис. 1. Змістовна структура (критеріальне дерево) системи рейтингового оцінювання вищих навчальних закладів ІІІ-ІV рівнів акреди
Суб’єкти ранжування
Суб’єкти ранжування
Суб’єкти ранжування
Суб’єкти ранжування
Суб’єкти ранжування
Первинна інформаційна база
Діяльності за переліком тематичних напрямів, субнапрямів
Найменування тематичних напрямів (ТН), субнапрямів (СН)
«міжнародна інтеграція»
На національному рівні
На національному рівні
–структура та обсяг підготовки
«ресурсне забезпечення навчального процесу»
Ямковий В.А.
Рейтинг – 2009
«міжнародна інтеграція»
Досягнень науково-педагогічних працівників
Наукової діяльності студентів на національному рівні
Спортивної діяльності на національному рівні
...
Полное содержание

Подобный материал:

1 2 3

МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ

НАКАЗ

м. Київ

24.12. 2009 № 1185

Про апробацію системи рейтингового

оцінювання діяльності вищих навчальних

закладів у 2008/09 навчальному та 2009

календарному роках

На виконання пункту 1 статті 1 Указу Президента України від 25 вересня 2008 року № 857 «Про забезпечення дальшого розвитку вищої освіти України», доручення Кабінету Міністрів України № 48024/94/1-08 від 07.08.09 року, наказу МОН від 13.07.2007 року № 612 «Про затвердження Плану дій щодо забезпечення якості вищої освіти України та її інтеграції в європейське і світове освітнє співтовариство на період до 2010 року» для забезпечення впровадження системи рейтингового оцінювання діяльності вищих навчальних закладів ІІІ-ІV рівнів акредитації всіх форм власності та підпорядкування

НАКАЗУЮ:

1. Провести апробацію системи рейтингового оцінювання діяльності вищих навчальних закладів ІІІ-ІV рівнів акредитації у 2008/09 навчальному та 2009 календарному роках.

Затвердити:

Методику та критерії рейтингового оцінювання діяльності вищих навчальних закладів ІІІ-ІV рівнів акредитації (додаток 1);

Перелік показників діяльності вищих навчальних закладів ІІІ-ІV рівнів акредитації за тематичними напрямами та субнапрямами (додаток 2);

Перелік рейтингових індикаторів за тематичними напрямами та субнапрямами системи рейтингового оцінювання діяльності вищих навчальних закладів ІІІ-ІV рівнів акредитації (додаток 3).

3. Групі супроводу при МОН:

31. Забезпечити координацію робіт щодо збору та обробки інформації, яка надається вищими навчальними закладами, визначення їх рейтингу і стратегії подальшого удосконалення рейтингової системи оцінювання діяльності вищих навчальних закладів ІІІ-ІV рівнів акредитації.

3.2. До 25.12.09 забезпечити вищі навчальні заклади ІІІ-ІV рівнів акредитації усіх форм власності та підпорядкування уніфікованою електронною формою «Показники діяльності за тематичними напрямами, субнапрямами».

3.3. До 15.03.10 подати узагальнені результати рейтингу вищих навчальних закладів для прийняття рішення щодо форм та засобів оприлюднення інформації.

3.4. До 01.05.10 підготувати інформаційно-аналітичні матеріали для інформування центральних органів виконавчої влади про результати проведення та визначення рейтингів вищих навчальних закладів ІІІ-ІV рівнів акредитації усіх форм власності та підпорядкування.

4. Керівникам вищих навчальних закладів ІІІ-ІV рівнів акредитації:

4.1. Провести моніторинг результатів діяльності впродовж звітного періоду.

4.2. Створити постійно діючі групи забезпечення формування показників діяльності вищого навчального закладу та аналізу результатів рейтингу вищого навчального за звітний період.

4.3. До 15.02.10 подати групі супроводу при МОН інформацію електронною формою «Показники діяльності за тематичними напрямами, субнапрямами» та копію на паперових носіях за підписами ректора та головного бухгалтера завірених печаткою вищого навчального закладу.

5. Контроль за виконанням даного наказу покласти на заступника Міністра Т.В. Фінікова.

Міністр І.О. Вакарчук

Ямковий В.А.

486 – 16 – 64

Додаток 1.

З А Т В Е Р Д Ж Е Н О

наказом Міністерства освіти

і науки України

від 24 грудня 2009 року № 1185

МЕТОДИКА

рейтингового оцінювання діяльності вищих навчальних закладів

ІІІ-ІV рівнів акредитації

Загальні положення

1.1. Методика рейтингового оцінювання діяльності вищих навчальних закладів ІІІ-ІV рівнів акредитації регламентується Положенням про систему рейтингового оцінювання діяльності вищих навчальних закладів ІІІ-ІV рівнів акредитації всіх форм власності та підпорядкування.

1.2. Рейтингове оцінювання діяльності вищих навчальних закладів ІІІ-ІV рівнів акредитації (далі – суб’єкти ранжування) базується на методології, яка включає систему принципів, методів та засобів організації і побудови системи ранжування вищих навчальних закладів, визначених Положенням про систему рейтингового оцінювання вищих навчальних закладів ІІІ-VІ рівнів акредитації.

1.3. Основу методології системи рейтингового оцінювання становить системний аналіз результатів діяльності та позиціонування суб’єктів ранжування на рейтинговій шкалі відносно системи або ідентифікованої групи за вимірами критеріїв рейтингу Довіра до системи рейтингового оцінювання залежить від етики і відповідальності розробників та суб’єктів ранжування за якість первинної інформаційної бази і результатів рейтингу.

Структуру методології визначають такі складові:

основа – системний аналіз та етика діяльності розробників, суб’єктів ранжування та користувачів;
характеристики діяльності – визначення особливостей, принципів, умов та норм діяльності вищих навчальних закладів;
логічна структура діяльності – сукупність суб’єктів, форм, засобів, методів, результатів вирішення задач ранжування;
технологія виконання робіт та вирішення задач – застосування сукупності засобів, методів, способів та прийомів рейтингового оцінювання.
часова структура – організація виконання переліку робіт у часі за етапами.

1.4. Процес рейтингового оцінювання діяльності вищих навчальних закладів реалізується у певній часовій послідовності:

етап проектування, результатом якого є побудована модель ранжування та план її реалізації;
технологічний етап, результатом якого є реалізація системи рейтингового оцінювання;
рефлексивний етап, результатом якого є оцінка якості реалізованої системи рейтингового оцінювання, визначення необхідності й доцільності її подальшого корегування.

2. Етап проектування

2.1. У форматі цього ключового етапу виконується ряд робіт щодо проектування моделі системи рейтингового оцінювання діяльності вищих навчальних закладів. Результатами проектних розробок є:

цілі та цільові групи;
ієрархія моделі змістовної складової системи рейтингового оцінювання;
методика обчислення параметрів та критеріїв рейтингу системи рейтингового оцінювання;
методика контролю якості системи рейтингового оцінювання;
форми та засоби оприлюднення результатів рейтингів.

2.2. Змістовна складова моделі системи рейтингового оцінювання характеризується ієрархією ряду параметрів, за якими здійснюється обчислення критеріїв рейтингу суб’єктів ранжування та розташування їх в певному порядку на рейтинговій шкалі за принципом найбільшої відповідності конкретному запиту та вимогам цільових груп.

2.3. Ієрархічно організована послідовність змістовної складової системи рейтингового оцінювання (рис. 1) визначається параметрами:

глобальний критерій рейтингу (ГКР);

індекси тематичних напрямів (І);

рейтингові індикатори (Р);

показники первинної інформаційної бази (ПІБ).

2.4. Глобальний критерій рейтингу - параметр, на основі якого здійснюється загальна оцінка діяльності вищого навчального закладу та визначається місце (ранг) вищого навчального закладу на рейтинговій шкалі. У якості ГКР можуть застосовуватися інтегральний рейтинговий індекс (ІРІ) та сума місць (СМ) за індексами тематичних напрямів залежно від якості .первинної інформаційної бази.

2.5. Інтегральний рейтинговий індекс (ІРІ) – сума індексів тематичних напрямів (профілів) діяльності вищого навчального закладу, що формують змістову складову системи рейтингового оцінювання.

2.6. Тематичний напрям (профіль) – це сукупність показників та відповідно рейтингових індикаторів, які визначають результати у певній сфері діяльності або потенціал вищого навчального закладу (наприклад:

Рис. 1. Змістовна структура (критеріальне дерево) системи рейтингового оцінювання вищих навчальних закладів ІІІ-ІV рівнів акредитації

«Міжнародна інтеграція», «Науково-педагогічний потенціал», «Доступ, масштаби, результативність», «Ресурсне забезпечення» тощо).

Вибір тематичних напрямів (профілів) діяльності та номенклатури показників системи в їх межах передбачає встановлення переліку найменувань та абсолютних вимірів результатів (потенціалу) вищого навчального закладу в контексті забезпечення якості його освітньої діяльності та достовірної оцінки його позиціонування на рейтинговій шкалі. Такий вибір базується на цілях застосування результатів рейтингу та задоволення вимог і потреб користувачів.

При визначені тематичних напрямів (профілів) та відповідних показників необхідно керуватися такими основними принципами:

виділення груп профілів проводиться за чітко визначеними ознаками;
тематичні напрями (профілі), які формують змістовну структуру, є незалежними;
початкова номенклатура показників відкрита, тобто допускає можливість внесення або виключення з неї окремих елементів;
кожний з виділених показників може бути оцінений на шкалах «краще – гірше», «більше – менше»;
зміст показників повинен бути однозначним;
сукупність показників повинна відображати всі основні профілі діяльності вищого навчального закладу;
однорідності та рівноточності. виділених профілів.

Змістовна складова системи рейтингового оцінювання, яка підлягає апробації, містить 86 показників первинної інформаційної бази (ПІБ) та 63 рейтингових індикаторів. Рейтингові індикатори рівномірно розподілені серед 7 тематичних напрямів, що забезпечує однорідність та рівно точність статистичних вибірок за тематичними напрямами. Розподіл рейтингових індикаторів та показників ПІБ наведена на рис. 2.

Рис.2. Розподіл рейтингових індикаторів та показників ПІБ за тематичними напрямами

2.7. Індекс тематичного напряму – параметр, на основі якого здійснюється оцінювання діяльності вищого навчального закладу за рейтинговими індикаторами відповідного тематичного напряму (профілю).

2.8. Коефіцієнт пріоритетності – параметр, який визначає позиціонування рейтингового індикатора суб’єкта ранжування відносно рейтингового індикатора системи.

Вимір коефіцієнта пріоритетності системи є та об’єктивна межа, відносно якої позиціонують вищі навчальні заклади на рейтингових шкалах системи залежно від досягнутих успіхів за результатами діяльності. Намагання вищого навчального закладу у разі відставання досягти рівня системи є підсилюючим ефектом для всієї системи (функція синергії).

Порівняння вимірів коефіцієнтів пріоритетності суб’єктів ранжування з коефіцієнтами пріоритетності системи за кожним рейтинговим індикатором дає можливість поділити їх на дві групи. Успішну групу складають суб’єкти ранжування, які мають К_nj ≥ 1. Менш успішну групу формують суб’єкти ранжування, які мають К_nj < 1. Може мати місце для окремих суб’єктів ранжування К_nj = 0 у разі, якщо за даним рейтинговим індикатором у вищому навчальному закладі «явища не було».

Вимір коефіцієнта пріоритетності вищого навчального закладу по відношенню до системи дає можливість оцінити достовірність, об’єктивність та точність вхідної інформації, здійснити попереднє, інтуїтивне оцінювання результату на наявність похибок та промахів у формуванні первинної інформаційної бази (функція верифікації).

2.9. Рейтинговий індикатор – параметр, на підставі якого формуються всі послідуючі критерії в ієрархічно організованій послідовності параметрів змістовної складової моделі, забезпечує рівні умови для всіх суб’єктів ранжування і відповідає принципам їх сумісності та порівнянності.

Рейтингові індикатори повинні бути прозорими й відкритими по відношенню до цілей та цільових груп і методології, яка використовується для побудови системи рейтингового оцінювання. Надається перевага рейтинговим індикаторам, які вимірюють результати (вихід системи) у порівнянні з рейтинговими індикаторами, які вимірюють потенціал (вхід системи). Формуються на підставі показників первинної інформаційної бази, що підлягають контролю і забезпечують необхідну валідність та релевантність.

2.10. Показники первинної інформаційної бази – параметри, на основі яких обчислюються виміри рейтингових індикаторів тематичних напрямів (профілів) діяльності.

Показники первинної інформаційної бази мають абсолютний вимір, є даними для обчислення рейтингових індикаторів і поділяються на дві групи: змістовні та порівнянності, які забезпечують сумісність та порівнянність суб’єктів ранжування незалежно від їх масштабів та видів економічної діяльності, на які спрямована підготовка фахівців.

Змістовні показники покладені в основу визначення рейтингових індикаторів. Показники порівнянності вживаються для забезпечення сумісності та порівнянності суб’єктів ранжування. Так, наприклад рейтинговий індикатор «Чисельність штатних докторів наук на 100 студентів денної форми навчання» формується на підставі двох показників «Чисельність штатних докторів наук» (змістовний показник) та «Чисельність студентів денної форми навчання» (показник порівнянності).

Формування показників первинної інформаційної бази вищим навчальним закладом є суттєво важливим для забезпечення якості результатів і забезпечення довіри до рейтингів. Вимоги базуються на використанні достовірних, об’єктивних та точних даних, які підтверджуються відповідними документами та підлягають верифікації.

Показники первинної інформаційної бази за звітний період репрезентуються у вигляді уніфікованої електронної таблиці, яка включає дані, що зібрані вищим навчальним закладом за процедурами, технологіями та правилами збору достовірної, об’єктивної та точної інформації.

2.11. На етапі проектування формуються вимоги та критерії якості системи ранжування в контексті забезпечення довіри користувачів до результатів рейтингів. Виявлення на етапі проектування можливих артефактів за окремими рейтинговими індикаторами та причин їх появи дає підстави скорегувати і забезпечити якість системи рейтингового оцінювання на технологічному етапі реалізації проекту. Якість визначається валідністю змістовної складової системи ранжування.

Валідність - обґрунтованість і адекватність дослідницьких інструментів, які застосовуються в системі рейтингового оцінювання. Визначення апріорної, внутрішньої та змістовної валідності переліків показників первинної інформаційної бази і рейтингових індикаторів за тематичними напрямами, є ключовою складовою системи контролю якості з точки зору забезпечення змістовної валідності результату ранжування.

Апріорна валідність передбачає попереднє, інтуїтивне оцінювання змістовної валідності результату, можливий негативний вплив змісту окремих параметрів на валідність результату ранжування.

Контролю підлягають кількість та зміст тематичних напрямів (профілів) діяльності вищих навчальних закладів, орієнтація їх з перевагою на результативність та цільові групи. Інтуїтивно оцінюється правомірність застосування адитивної моделі визначення критеріїв рейтингу, яка вимагає по можливості рівномірного розподілу рейтингових індикаторів за тематичними напрямами, сумісності та порівнянності суб’єктів ранжування.

Здійснюється попереднє оцінювання показників та рейтингових індикаторів, які можуть провокувати появу похибок та промахів, первинних джерел інформації щодо їх надійності та якості. Не допускається застосування інтегрованих показників, які об’єднують декілька результатів діяльності в один, що створює сприятливі умови для подання неякісної інформації, яка не підлягає контролю.

Внутрішня валідність базується на проведенні неформальної процедури визначення валідності результату, яка полягає в проведенні незалежної експертизи методології рейтингового оцінювання, моделі системи рейтингового оцінювання та визначення її параметрів, алгоритмів ранжування та оприлюднення результатів.

Змістовна валідність передбачає оцінювання валідності інструмента ранжування, яке базується на результатах детального дослідження змісту рейтингових індикаторів, який повинен відповідати цілям рейтингу, запиту та потребам користувачів. Вживаються заходи, які спрямовані на мінімізацію впливу можливої появи артефактів. Детальне дослідження впливу змісту рейтингових індикаторів на оцінку валідності інструменту ранжування здійснюється на основі аналізу можливих вимірів коефіцієнтів пріоритетності рейтингових індикаторів суб’єктів ранжування за тематичними напрямами (профілями) на технологічному етапі реалізації рейтингової системи.

2.12. Методика обчислення параметрів рейтингової системи базується на ієрархії змістовної складової системи рейтингового оцінювання, забезпечує формування математичних моделей параметрів (показники системи, рейтингові індикатори, індекси тематичних напрямів, інтегральні рейтингові індекси) та послідовність їх обчислення. Процес визначення параметрів системи рейтингового оцінювання діяльності вищих навчальних закладів проводиться на підставі сформованої первинної інформаційної бази у такій послідовності за етапами:

Перший етап. Доповнюється матриця показників первинної інформаційної бази суб’єктів ранжування показниками системи, що передбачає обчислення її показників в контексті показників суб’єктів ранжування за формулою:

(2.1)

де: – показник і-го рейтингового індикатора системи рейтингового

оцінювання (s);

– показник і-го рейтингового індикатора j-го суб’єкта

ранжування.

Показники діяльності вищих навчальних закладів (суб’єктів ранжування), які представлені в таблиці 1, є основою для формування первинної інформаційної бази системи рейтингового оцінювання та подальшого обчислення її параметрів.

Таблиця 1. Структура первинної інформаційної бази за показниками діяльності суб’єктів ранжування та системи

Суб’єкти ранжування	Показники діяльності за тематичним напрямом(профілем)
	П₁	П₂	П₃	П₄	П₅	П₆	П₇	П₈	П₉
	Коди відповідно до уніфікованої електронної форми
	01.01.	01.02.	01.03.	01.04.	01.05.	01.06.	01.07.	01.08	01.09.
ВНЗ 1
ВНЗ 2
ВНЗ 3
.....
ВНЗ _J
Система	ΣП₁_J	ΣП_2J	ΣП_3J	ΣП_4J	ΣП_5J	ΣП_6J	ΣП_7J	ΣП_8J	ΣП_9J

Застосування показників системи суб’єктів ранжування, дає можливість визначити об’єктивну межу, відносно якої вони позиціонують на рейтинговій шкалі. При цьому місце (ранг) суб’єкта ранжування залежить тільки від достовірності, об’єктивності та точності поданої ним інформації.

Другий етап. Визначаються значення рейтингових індикаторів як відношення змістових показників до відповідних показників порівнянності суб’єктів ранжування за формулою (2.2) та системи за формулою (2.3):

(2.2)

(2.3)

де: Р_nj – n-ий рейтинговий індикатор j-го суб’єктa ранжування;

– змістовний (z) і-ий показник n-го рейтингового індикатора

j-го суб’єкта ранжування;

– і -ий показник порівнянності (р) n-го рейтингового індикатора

j-го суб’єкта ранжування;

Р_ns – n-ий рейтинговий індикатор системи;

– змістовний (z) і-ий показник n-го рейтингового індикатора

системи (s);

– і -ий показник порівнянності (р) n-го рейтингового індикатора

системи (s).

Визначені рейтингові індикатори забезпечують принцип сумісності та порівнянності суб’єктів ранжування. Результати обчислень рейтингових індикаторів за кожним тематичним напрямом можуть бути представлені в таблиці 2.

Таблиця 2. Змістовна складова системи рейтингового оцінювання діяльності вищих навчальних закладів за рейтинговими індикаторами тематичних напрямів

Суб’єкти ранжування	Рейтингові індикатори суб’єктів ранжування та системи за тематичним напрямом (профілем)
Суб’єкти ранжування	Р₁₁	Р₁₂	Р₁₃	Р₁₄	Р₁₅	Р₁₆	Р₁₇	Р₁₈	Р₁₉
ВНЗ 1
ВНЗ 2
ВНЗ 3
.....
ВНЗ _J
Система

Третій етап. Розраховуються коефіцієнти пріоритетності суб’єктів ранжування та системи (табл. 3). Цей параметр розглядається як відношення рейтингових індикаторів суб’єктів ранжування до відповідних рейтингових індикаторів системи за формулою:

К_nj = Р_nj / Р_ns (2.4),

де: К_nj – коефіцієнт пріоритетності n-го рейтингового індикатора j-го

суб’єкта ранжування.

Очевидно, що із виразу (2.4) коефіцієнт пріоритетності системи буде визначатися формулою:

К_ns = Р_ns / Р_ns =1 (2.5),

де: К_ns – коефіцієнт пріоритетності n-го рейтингового індикатора

системи і дорівнює одиниці

Таблиця 3. Коефіцієнти пріоритетності рейтингових індикаторів за тематичними напрямами (профілями) діяльності вищих навчальних закладів

Суб’єкти ранжування	Коефіцієнти пріоритетності рейтингових індикаторів суб’єктів ранжування та системи за тематичним напрямом (профілем)
	Р₁₁	Р₁₂	Р₁₃	Р₁₄	Р₁₅	Р₁₆	Р₁₇	Р₁₈	Р₁₉
	К₁₁	К₁₂	К₁₃	К₁₄	К₁₅	К₁₆	К₁₇	К₁₈	К₁₉
ВНЗ 1
ВНЗ 2
ВНЗ 3
.....
ВНЗ _J
Система	1,0	1,0	1,0	1,0	1,0	1,0	1,0	1,0	1,0

Четвертий етап. На підставі матриці коефіцієнтів пріоритетності суб’єктів ранжування та системи проводиться обчислення індексів тематичних напрямів (профілів), які застосовуються як критерії рейтингу за тематичним напрямом (профілем). Індекси тематичних напрямів (профілів) суб’єктів ранжування та системи розраховуються відповідно за формулами:

(2.6) (2.7)

де: І_tJ- індекс t-го тематичного напряму (профілю) j-го суб’єкту

ранжування;

І_ts- індекс t-го тематичного напряму (профілю) системи;

- n – ий коефіцієнт пріоритетності t-го тематичного напряму

(профілю) j-го суб’єкту ранжування;

- n – ий коефіцієнт пріоритетності t-го тематичного напряму

(профілю) системи;

b - кількість коефіцієнтів пріоритетності рейтингових індикаторів

в тематичному напрямі (профілі), 1 ≤ n ≤ b;

m - кількість коефіцієнтів пріоритетності рейтингових індикаторів в

системі рейтингового оцінювання.

Таблиця 4. Індекси тематичних напрямів (профілів) та інтегральні рейтингові індекси (ІРІ) суб’єктів ранжування

Суб’єкти ранжування	Індекси тематичних напрямів (профілів) інтегральні рейтингові індекси суб’єктів ранжування та системи
Суб’єкти ранжування	І₁	І₂	І₃	І₄	І₅	І₆	...	І_t	Σ І_t
ВНЗ 1
ВНЗ 2
ВНЗ 3
.....
ВНЗ _J
Система									1,00

П’ятий етап. Визначаються глобальні критерії рейтингу. Обчислюються

інтегральні рейтингові індекси (табл. 4) як сума індексів тематичних напрямів (профілів) кожного суб’єкта ранжування (ф. 2.8) та системи (ф. 2.9):

(2.8), (2.9),

де: ІРІ_j – інтегральний рейтинговий індекс J –го суб’єкту ранжування;

ІРІ_s – інтегральний рейтинговий індекс системи рейтингового

оцінювання і відповідно до формули 2.9 дорівнює одиниці.

d – кількість тематичних напрямів (профілів) системи ранжування.

Застосування адитивної моделі визначення глобального критерію рейтингу при можливій наявності артефактів є проблемним в контексті достовірності результатів рейтингу. Необ’єктивно завищені показники та відповідно їм рейтингові індикатори в подальшому негативно впливають на достовірність вимірів коефіцієнтів пріоритетності, індексів тематичних напрямів та інтегральних рейтингових індексів. Для запобігання викривлення результатів критерії рейтингу повинні бути такими, щоб виключити або зменшити вплив похибки у вихідних даних.

Інтегральний рейтинговий індекс застосовується у якості глобального критерію рейтингу за умов коректної, неупередженої та об’єктивної первинної інформаційної бази.

Зменшує вплив похибки (артефактів) первинної інформаційної бази на результати рейтингу застосування у якості глобального критерію рейтингу суми місць (табл. 5), які займає суб’єкт ранжування на рейтингових шкалах індексів тематичних напрямів (профілів), При такому підході критерії рейтингу суб’єктів ранжування за формулою 2.10, системи – за формулою 2.11:

(2.10)

(2.11)

де: СМ_J- сума місць j-го суб’єкту ранжування за індексами тематичних

напрямів (профілів);

М_tj- місце (ранг), яке займає j – ий суб’єкт ранжування на рейтинговій шкалі t-го тематичного напряму (профілю);

d - кількість тематичних напрямів (профілів), 1 ≤ t ≤ d.

Таблиця 5. Позиціонування суб’єктів ранжування та системи (М – місце) на рейтингових шкалах індексів тематичних напрямів та сума місць (СМ)

Суб’єкти ранжування	Місця (М), які займають суб’єкти ранжування та система за індексами тематичних напрямів (профілів), та їх сума місць (СМ)
Суб’єкти ранжування	М₁	М₂	М₃	М₄	М₅	М₆	...	М_t	ΣM_t
ВНЗ 1
ВНЗ 2
ВНЗ 3
.....
ВНЗ _J
Система

Шостий етап. Проводиться ранжування вищих навчальних закладів на підставі глобальних критеріїв рейтингу за інтегральним рейтинговим індексом (ІРІ) або сумою місць (СМ) залежно від .якості первинної інформаційної бази і визначається місце (ранг) на рейтинговій шкалі системи рейтингового оцінювання діяльності вищих навчальних закладів, які брали участь у ранжуванні. Кращим вважається суб’єкт ранжування, у якого інтегральний рейтинговий індекс (ІРІ) має більше значення, або менша сума місць (СМ) за індексами тематичних напрямів.

3.Технологічний етап

3.1. Технологічний етап включає проведення технологічних робіт у часовій структурі, спрямованих на реалізацію проектного етапу, результатом яких є отримання конкретних критеріїв рейтингу вищих навчальних закладів, що є основою для оцінювання їх діяльності та ранжування.

3.2. Учасниками технологічного етапу є:

групи супроводу вищих навчальних закладів (суб’єкти ранжування) усіх форм власності та підпорядкування;
центральні та місцеві органи виконавчої влади, які мають у своєму підпорядкування вищі навчальні заклади ІІІ-ІV рівнів акредитації;
власники приватних вищих навчальних закладів ІІІ-ІV рівнів акредитації;
Експертна рада та група супроводу при МОН;
Інститут інноваційних технологій та змісту навчання.

3.3. Організація технологічного етапу здійснюється на підставі технологічної карти, яка містить перелік робіт та терміни їх виконання. Основними видами робіт на технологічному етапі є:

розробка, ухвалення, затвердження уніфікованої форми збору показників первинної інформаційної бази;
формування суб’єктами ранжування показників діяльності за звітний період за уніфікованою електронною формою та їх затвердження;
розробка математичних моделей обчислення параметрів системи рейтингового оцінювання та програмного забезпечення;
формування первинної інформаційної бази системи рейтингового оцінювання на підставі показників діяльності вищих навчальних закладів;
обчислення параметрів (критеріїв рейтингу) у форматах загального рейтингу та ідентифікованих груп.
верифікація результатів рейтингового оцінювання (виявлення можливих артефактів), дослідження валідності та релевантності, застосування у разі необхідності заходів корекції щодо забезпечення достовірності, об’єктивності та точності результатів ранжування;
обчислення остаточних критеріїв рейтингу з урахуванням результатів верифікації та ранжування вищих навчальних закладів за обраним алгоритмом;
підготовка матеріалів на розгляд та ухвалення Експертною радою;
підготовка матеріалів рейтингу вищих навчальних закладів до розгляду на підсумковій колегії та опублікування у засобах масової інформації;
розробка превентивних заходів щодо удосконалення системи рейтингового оцінювання у прогнозованому періоді.

3.4. Проводиться обчислення параметрів та критеріїв рейтингу відповідно до пункту 12 методики та якості первинної інформаційної бази на підставі показників сформованої первинної інформаційної бази суб’єктів ранжування та системи.

Здійснюється оцінювання апріорної, внутрішньої та змістовної валідності на підставі матриці коефіцієнтів пріоритетності рейтингових індикаторів, яка є масивом статистичної інформації у форматі «система – тематичний напрям –максимальний коефіцієнт пріоритетності».

Досліджується можлива наявність статистичних артефактів, тобто явищ, що не властиві суб’єктам ранжування, яка спотворює результати рейтингу. Статистичний артефакт – сумнівний, або такий, що вводить в оману логічний результат ранжування. Наявність підтверджується або спростовується результатами аналізу значень коефіцієнтів пріоритетності, Статистичним артефактом вважається зафіксований випадок, коли коефіцієнт пріоритетності певного індикатора значно перевищує коефіцієнт пріоритетності системи (десятки – сотні разів). Встановлюються причини появи артефактів. Результати оцінювання є підставою для вживання корегуючих дій на технологічному етапі щодо підвищення її якості та системи рейтингового оцінювання в цілому в реальному масштабі часу.

4. Рефлексивний етап

4.1. Контроль якості системи рейтингового оцінювання здійснюється впродовж рефлексивного етапу, результатом якого є оцінка якості реалізованої системи рейтингового оцінювання, визначення необхідності та доцільності її подальшого корегування в контексті забезпечення досконалості та довіри до результатів рейтингу вищих навчальних закладів з боку користувачів

4.2.Для досягнення кінцевої мети ранжування – побудови об’єктивної системи рейтингового оцінювання – замало формального запровадження її принципів. Застосовуються прозорі та зрозумілі методології та технології. Обов’язковою вважається наявність внутрішніх та зовнішніх державних і громадських систем контролю за достовірністю, об’єктивністю та точністю оцінювання результатів діяльності, що буде адекватно віддзеркалювати досягнутий рівень якості вищої освіти, який надається вищим навчальним закладом.

Методика контролю якості передбачає застосування процедур щодо забезпечення якості самого процесу ранжування та підвищення довіри до результатів ранжування. Ці процедури базуються на контролі якості первинної інформаційної бази, яку подають суб’єкти ранжування. Це можливо досягти у разі дотримання суб’єктами ранжування рекомендацій групи супроводу щодо формування звітних даних.

Компетентність та відповідальність груп супроводу, на які покладено відповідальність за якість формування складових первинної інформаційної бази у вищих навчальних закладах, є визначальними в структурі чинників впливу на якість результатів рейтингу.

Причини неякісної первинної інформаційної бази ранжування вищих навчальних закладів породжують певні конфліктні ситуації, а саме: змагальні (синергетичні) та антагоністичні. Антагоністичні ситуації є негативними, знижую довіру користувачів до результатів рейтингу та не дозволяють робити висновки відносно валідності та релевантності первинної інформаційної бази ідентифікованих груп без методики їх оцінювання, яка базується на порівнянні та співставленні впливу артефактів на системному рівні.

Методика контролю якості системи рейтингового оцінювання базується на результатах аналізу реальних параметрів та критеріїв рейтингу в послідовності за такими етапами.

Blog

Міністерство освіти І науки україни наказ

Содержание