Сфери застосування програми 4 4 5 об’єм запланованих робіт загальна логіка здійснення заходу

Вид материала

Документы

Содержание Показники результативності, ефективності та виконання Вставка 1: Параметри оцінювання Оперативна ціль (захід/операція) Конкретна ціль Загальна мета Оперативний моніторинг Показники моніторингу Вставка 2: Кількісне оцінювання наслідків впливу на зайнятість: від валового до чистого доходу Використання показників для оцінки Попередня (прогнозована) оцінка Проміжна (середньострокова) оцінка Збір даних Аналіз первісних даних Представлення даних комітету з моніторингу Річні звіти з виконання Звіти з проміжної (середньострокової) оцінки

Подобный материал:

• Закарпатська обласна організація товариства лісівників україни звіт про виконання природоохоронного, 1086.72kb.
• План Вступ до дисципліни "Логіка". Історичні умови виникнення формальної логіки,, 100.25kb.
• Про стан виконання Державної програми щодо запобігання І протидії корупції на 2011, 372.38kb.
• Загальна характеристика програми 6 Вступ 9 > 1 Загальні положення 9 2 Мета та завдання, 2273.59kb.
• План самоаналізу діяльності вчителя з питань підготовки та проведення виховного заходу, 14.57kb.
• Загальна характеристика роботи актуальність теми, 647.64kb.
• До Програми заходи з виконання Державної цільової соціальної програми подолання, 342.32kb.
• План навчання/проведення досліджень в Австрії Зописом як запланованих, так І попередньо, 490.49kb.
• Праця жінок   Стаття 174, 74.08kb.
• Зміст програми: Вступ Аналіз виконання попередньої програми. Актуалізація проблеми, 175.17kb.

4. Показники результативності, ефективності та виконання
   

Взагалі, оцінювання має стосуватися конкретних питань з тим, щоб допомогу можна було оцінити детально. В Таблиці 3 зображено як вирішуються ці питання в рамках розробки певної програми.

Вставка 1: Параметри оцінювання Доцільність: в якій мірі цілі програми відповідають існуючим потребам і пріоритетам на рівні країни та ЄС? Ефективність: наскільки задіяні ресурси перетворилися на продукти або результати? Результативність: в якій мірі програма сприяла досягненню її конкретних цілей і загальної мети? Корисність: наскільки програма вплинула на цільові групи або верстви населення, відповідно до їх потреб? Сталість: в якій мірі можуть зміни (або переваги) залишатися життєздатними після завершення програми?

Схема 3: Ключові питання оцінювання


Соціально-економічні проблеми

Вимоги

Цілі

Задіяні ресурси

Заходи

Продукти

Результати

Впливи






Програма






Доцільність



Оцінювання


Ефективність





Результативність


Корисність і сталість




Використовуючи показники, визначені у пункті 3.3, ми можемо виміряти такі поняття, як результативність і ефективність.

Результативність порівнює те, що було виконано з тим, що було попередньо заплановано, наприклад, вона порівнює фактично досягнуті продукти, результати і/або впливи із запланованими.

Ефективність розглядає співвідношення між продуктами, результатами і / або впливами та задіяними ресурсами (зокрема, фінансовими), використаними для їх досягнення.

Співвідношення між результативністю і ефективністю можуть, таким чином, бути обрахованими для кожної стадії програми або заходу, в тому числі, в термінах продукту, результату або впливу. Вони дозволяють здійснювати порівняння досягнутого із запланованим (результативність) або із використаними ресурсами (ефективність). Ці показники можуть надати менеджерам і експертам з оцінки програми корисну інформацію, яка допоможе прийняти кращі рішення щодо корегування запланованих дій.

Таблиця 2 демонструє взаємодоповнюваність показників та обрахунки результативності та ефективності.


Таблиця 2: Результативність і ефективність показників

	Показники	Результативність	Ефективність
Оперативна ціль (захід/операція)	Фінансовий / фізичний продукт	Дійсний/запланований продукт	Продукт у порівнянні з витратами
Конкретна ціль	Результат	Дійсні/Заплановані результати	Результати у порівнянні з витратами
Загальна мета	Вплив	Дійсний/запланований вплив	Вплив у порівнянні з витратами

Практичні складнощі

На практиці вимірювання цих показників є відносно простим, але є певні складнощі.

Перевірка ефективності передбачає такі питання: чи можуть ті ж самі результати бути досягнуті, використовуючи менше ресурсів? І навпаки, чи можна завдяки використанню тієї самої кількості задіяних ресурсів отримати більше результатів? По відношенню до цих питань існує проблема порівняння програми або заходу з їх можливими альтернативами. Основною складністю тут є вибір відповідних орієнтирів. Орієнтири бажано визначати заздалегідь із тим, щоб зробити можливими відповідні порівняння та з’ясувати, як проводити кількісне вимірювання цілей ще на стадії розробки програми. Це питання надалі обговорюється у розділі 4.3.

Також важливо пам’ятати, що навіть за умови ефективності програми, вона все ще може мати серйозні недоліки у своїй структурі. Цілі, наприклад, можливо не були достатньо чітко окреслені або навіть могли бути повністю відсутніми. Тут важливу роль можуть відігравати експерти з оцінювання, які перетворюють нечітко сформульовані або загальні цілі у кількісні показники, які можна перевірити.

Також, варто врахувати той факт, що поняття «результативності» в основному стосується лише одного аспекту наслідків програми, наприклад, очікуваних позитивних результатів. Програми, проте, також можуть давати неочікувані позитивні і/або негативні результати, які не можна виявити за допомогою визначених показників.

На таке поняття, як ‘результативність діяльності’ (performance) є багато посилань у нещодавній літературі з оцінки³. Традиційно його визначення є досить широким і охоплює показники результативності та ефективності (включаючи ефективність управління), виконання програми. Система ‘резервів результативності, що розроблена у відповідності до Статті 44 Загальних положень, базується саме на цій концепції.

2. Створення систем показників
   
   1. Базові і ситуаційні показники
      

Стаття 16 Загальних Правил передбачає, що плани розробки мають містити кількісні характеристики існуючих поточних розбіжностей, прогалин і потенціалу розвитку для відповідних регіонів. Ситуаційні показники відображають це положення і становлять частину процесу розробки програми. Вони становлять основу для:

• соціо-культурного і стратегічного аналізу (наприклад, аналіз ПНМЗ )⁴, який лежить в основі стратегії програми;
  
• моніторинг загальної ситуації;
  
• виконання і встановлення кількісних цілей;
  
• оцінка соціо-економічних впливів програми.
  

Базові дані стосуються первісного значення, за яким потім вимірюється ситуаційний показник або показник впливу. Вони мають бути визначені по відношенню до цілей програми і мають включати, серед іншого, попередню кількість робочих місць у сфері промисловості в регіоні або поточну кількість приватних інвестицій в даному секторі або галузі промисловості. На практиці, існують значні прогалини щодо наявності даних для ряду ключових сфер, особливо для малих і середніх підприємств.

Базові дані є також незамінними, якщо показники програми дійсно змістовні. Наприклад, якщо метою певного заходу є збільшення кількості малих і середніх підприємств в регіоні, найбільш відповідними базовими даними будуть кількість малих і середніх підприємств, що існують на початку реалізації програми. Тільки після того, як будуть зібрані ці дані, з’явиться можливість зробити досить чіткий висновок про те, що, скажімо, 20% існуючих підприємств у певному регіоні отримали переваги від допомоги Структурного Фонду.

Цей обсяг інформації може уточнюватися в ході виконання програми. Встановлення базових даних має здійснюватися в такий спосіб, щоб адекватно відобразити ієрархію мети та цілей, які містяться в програмі. В деяких випадках, можливо, буде корисним збирати конкренті дані щодо бенефіціарів програми, таких, як малі та середні підприємства. Більш детальні показники по галузях промисловості, обсягу, або гендерних питаннях нададуть більш повний опис бенефіціарів і можливість порівнювати їх з попередньо здійсненими заходами та /або ініціативами в інших регіонах.


Джерела інформації

Базові дані збираються переважним чином із офіційних статистичних джерел. Інколи, однак, ці джерела є проблематичними. До типових проблем відносяться:

• відсутність даних щодо відповідного географічного рівня;
  
• затримка в публікації даних (наприклад, дані Євростату по ВВП на душу населення публікуються із затримкою від двох до трьох років);
  
• прогалини в офіційних статистичних даних щодо вимог програми (наприклад, розбіжність між працівниками, які зайняті повний робочий день і неповний робочий день, може не бути відображеною в офіційних статистичних даних);
  
• недоступність даних, що розбиті відповідно до галузі промисловості.
  

В деяких випадках офіційна статистика має доповнюватися дослідженнями або, якщо можливо, непрямими показниками (наприклад, дані з обсягу виробництва малих і середніх підриємств можуть вказувати на рівень конкурентоспроможності).

Крім того, з 1992-93 рр. Комісія розробила, у співробітництві з країнами-членами ЄС, спільну систему кількісних показників для вимірювання прогалин у розвитку. Був розроблений попередній перелік показників,, де показники були класифіковані за 12 групами: базові показники (ВВП на душу населення, і т.і.), дорожній транспорт, залізничний транспорт, телекомунікації, енергетика, водне господарство, охорона навколишнього середовища, освіта та підвищення кваліфікації, наукові дослідження і розвиток технологій, промисловість і послуги, сільське господарство, і туризм. Кількісні дані вносилися до бази даних, QUID, яка постійно оновлюється.

2. Оперативний моніторинг
   

Рамкові програми допомоги ЄС (РПД), Єдині програмні документи (ЄПД) та інші форми допомоги мають містити необхідний мінімум ніформації для здійснення належного моніторингу їх виконання. Загальна мета і конкретні цілі мають, за можливості, бути оцінені кількісними показникам, з урахуванням очікуваних результатів. Детальний опис заходів разом із кількісними характеристиками відповідних поточних цілей має бути поданий у додатку до програми (the programme complement), розробленому на рівні країн-членів ЄС.

Після створення Комітетів з моніторингу та Керівних органів, відповідно до нормативно-правових положень , їх першим завданням буде розробка конкретних робочих заходів із моніторингу.

Ці заходи мають охоплювати такі сфери:

• Визначення даних, які необхідно зібрати, для отримання необхідної інформації щодо продуктів, результатів, впливів, і відповідних показників. Методи, які використовуються для встановлення кількісних характеристик даних, отриманих в результаті опитувань, мають бути конкретизовані (зразки, таблиці даних, бази даних, механізми моніторингу, і т.д.), як і структури або органи, відповідальні за їх збір.
  
• Визначення переліку даних, які мають бути надані Комітету з моніторингу і періодичність та час їх надання.
  
• Визначення робочих зв’язків із заходами оцінювання (прогнозована (попередня) оцінка, проміжна оцінка, підсумкова оцінка).
  
• Визначення показників для конкретної програми для окреслення резервів її виконання на середньостроковий термін.
  

Підготовча робота щодо створення системи моніторингу має також передбачати визначення прогалин, що існують в інформаційних системах. Тут може виникнути необхідність в технічній допомозі та зовнішніх експертах, які будуть заповнювати прогалини і усувати недоліки, покращувати загальні умови виконання і підвищувати ефективність моніторингу.

3. Показники моніторингу
   

Орган, відповідальний за здійснення моніторингу, тобто керуюча організація, буде визначати на основі існуючих пріоритетів і спроможності, структуру системи моніторингу і рівень конкретизації для проведення моніторингу з метою задоволення потреб різних груп користувачів (включаючи Комісію).

Тоді, як моніторинг фінансового виконання, як правило, ретельно розроблений, моніторинг фактично отриманих продуктів, результатів і впливів має великий ресурс для подальшого вдосконалення.

Необхідно буде забезпечити регулярний моніторинг фактичного і фінансового прогресу у виконанні заходів і, де можливо, також досягнення результатів. Наявні адміністративні та управлінські ресурси є важливим фактором, але, як мінімум, необхідно здійснювати моніторинг результатів, досягнутих при виконанні принаймні найважливіших програмних заходів.

Конкретна оцінка впливу (стосовно конкретних цілей) може починатися лише коли системи моніторингу нададуть адекватну інформацію щодо прогресу і відповідних результатів (наприклад, безпосередні або прямі наслідки працевлаштування, безпосереднє працевлаштування стажерів, тощо).

Функціонування системи моніторингу має відображати цей поступовий підхід, беручи до уваги конкретні обставини і потреби, а також рівень наявних ресурсів для здійснення цих заходів.

4. Попереднє кількісне вимірювання
   

Загалом, цілі і відповідні показники, які стосуються програм, пріоритетів і заходів мають кількісно обраховуватися. В іншому випадку, буде неможливо виміряти початково встановлені мету і цілі. Дані, які дозволяють встановити кількісні характеристики мети і цілей програми, як правило, є доступними. Неминуче, як і у випадку всіх подібних заходів із прогнозування, поряд із обробкою даних виникає необхідність підсумувати одержані дані. Для кількісного оцінювання можуть використовуватись основні дані, посилання або орієнтири з попередніх заходів з моніторингу та оцінки, наприклад, середня вартість створення або збереження робочого місця в певному секторі.

Основні дані надають інформацію щодо соціально-економічних умов на даній території, включаючи цільові групи, такі, як кількість МСП і рівень їх результативності або інноваційності. Це дозволяє окреслити кількісно вимірювані цілі і уможливлюють оцінювання вірогідних наслідків передбачених заходів.

Орієнтовні показники пропонують джерело інформації для подальшого кількісного вимірювання цілей, пов’язаних із заходами і уможливлюють порівняння результативності і ефективності відповідних заходів. Подібні дані мають використовуватися обережно, однак, вони не можуть бути замінені тими видами показників, які вироблені системою моніторингу.

Дані з оцінки також можуть бути корисними при кількісному вимірюванні цілей та показників, а також при оцінюванні очікуваних впливів, особливо тих, які стосуються створених або збережених робочих місць (Вставка 2).

Вставка 2: Кількісне оцінювання наслідків впливу на зайнятість: від валового до чистого доходу Надання структурної допомоги призводить до певних наслідків у сфері зайнятості, як безпосередніх (наприклад, робочі місця, створені МСП, яким було надано допомогу), так і опосередкованих (наприклад, робочі місця, створені завдяки новій інфраструктурі). Кількісне оцінювання безпосередніх наслідків впливу на зайнятість, є, таким чином, вкрай важливим. Два головних показники безпосередніх наслідків цього впливу – це нові та збережені робочі місця. Збережені робочі місця – це ті, які було б втрачено за відсутності наданої допомоги. Кількісно результат створення та збереження робочих місць можна виміряти через валовий та чистий доходи. Останній враховує ситуацію у сфері зайнятості, яка б мала місце у випадку ненадання допомоги, а також втрати в інших компаніях і сферах, тому саме чистий дохід є набагато кращою основою для порівняння при оцінюванні проектів по вибору і оцінці ефективності і результативності програм. Європейська Комісія рекомендує всім країнам-членам ЄС працювати над покращенням оцінювання і збору даних по безпосередніх наслідках в сфері зайнятості, зпершу за валовим доходом, а потім перейти до кількісного оцінювання наслідків через чистий дохід Див. вимірювання наслідків зайнятості Структурних політик Спільноти, Збірка MEANS, № 3, 1996р.

Необхідний рівень кількісних показників залежить від виду заходу. У випадку із заходами щодо інфраструктури, найдоцільніше на основі технічних і економічних характеристик проектів, які планується профінансувати, відразу встановити кількісні показники цілей (наприклад, довжина дороги (в км), яку планується побудувати). Але, часто точне окреслення мети у кількісному вимірі є неможливим, оскільки неможливо попередньо встановити кількість бенефіціарів (МСП або фахівців для підвищення кваліфікації). Для таких випадків, коли неможливо безпосередньо оперувати кількісними показниками, доцільніше буде окреслити ряд можливих цілей або покластися на опосередковані або якісні показники, величину яких можна буде визначити під час фази впровадження програми.


4.5 Використання показників для оцінки

Заходи з оцінювання для кожної програми можна розбити на три стадії, а саме, попередня (прогнозована) оцінка, проміжна (середньострокова) оцінка і підсумкова оцінка. Для кожної з цих стадій, оцінювання має бути спрямоване на низку певних аспектів результативності програм. Таким чином, показники є найбільшим джерелом інформації, на якому має базуватися оцінювання. В той же час, на різних стадіях реалізації програми показники можуть переглядатись.

Попередня (прогнозована) оцінка⁵ має містити такі елементи:

• зв’язок і узгодженість між загальними і конкретними цілями, а також заходами, наведеними у додатку програми;
  
• наявність і відповідність показників продукту, результату і впливу для кожного рівня допомоги;
  
• достовірний рівень кількісного оцінювання цілей;
  

Експерт з оцінювання має брати активну участь у покращенні якості системи показників.

Проміжна (середньострокова) оцінка має оцінювати досягнутий ступінь результативності, базуючись на показниках, отриманих в процесі моніторингу. Також будуть оцінюватись якість та відповідність цих показників.

Підсумкова оцінка, використовуючи остаточні дані моніторингу, порівнює фактично досягнуті цілі (включаючи впливи), із запланованими.

5. Застосування показників моніторингу

Нижче наведено опис головних етапів процесу моніторингу.

1. Збір даних
   

Метою заходів з моніторингу, що є частиною системи управління структурною допомогою, є збір даних та інформації, необхідних для вимірювання показників, визначених на стадії попередньої оцінки.

Такий збір даних має здійснюватися органами влади, відповідальними за впровадження допомоги, хоча в разі необхідності, можна звертатися за допомогою до експертів. Те саме стосується і впровадження систем моніторингу (див. § 3.1).

Оптимальне використання існуючих операційних інформаційних систем допоможе запобігти марнотратному дублюванню роботи різних органів. Потрібно активно використовувати інформацію, надану органами влади на державному і регіональному рівнях, та інформацію, отриману з статистичних управлінь. Також необхідно докладати зусиль, щоб допомогти узагальнити або покращити існуючі дані.

Деяку інформацію, особливо щодо використання коштів, вже надано у вигляді стандартизованих таблиць на рівні заходів, пріоритетів і програми. Ці дані корисні для перевірки якості даних щодо вироблених фізичних продуктів.

Як фінансові, так і фізичні дані мають, по можливості, збиратися відповідно до номенклатури за секторами,, запропонованої Комісією (див. додаток 1).

З метою забезпечення ефективного моніторингу потрібно запровадити показники продукту для всіх або практично всіх заходів. До показників результату і впливу необхідно підходити дещо більш вибірково. Оскільки дані щодо показників впливу не можуть збиратися систематично або із регулярними інтервалами, їх потрібно збирати в процесі оцінювання (на відміну від моніторингу).

Така інформація є суттєвою у випадку, коли Комітети з моніторингу здатні визначити межі, до яких простягається надання допомоги. Це також важливо для того, щоб надати виконавцям можливість зрозуміти, які саме результати були досягнуті завдяки здійсненим ними діям. Всі заходи з моніторингу потрібно детально описувати у звітах з виконання, як вказано в регулятивних положеннях.

2. Аналіз первісних даних
   

Після завершення збору даних, їх необхідно систематизувати, обробити та підготувати попередні висновки для допомоги органу, який здійснює моніторинг.

Взагалі, такий аналіз є подальшим завданням для органів влади і виконавців, відповідальних за впровадження допомоги. Однак, якщо певний аналіз вважається занадто складним, потрібно залучити експертів зовнішньої допомоги або організації, відповідальні за збір первісних даних.

2. Представлення даних комітету з моніторингу
   

Комітети з моніторингу відповідають за забезпечення результативності та прийнятної якості виконання. Їх завдання включає огляд досягнутого прогресу, зокрема ступеню досягнення цілей, встановлених за кількісними показниками, відповідно до кожного заходу.

Інформація, надана Комітету з моніторингу має включати наступне:

• Дані щодо систем моніторингу (основні дані, показники моніторингу);
  
• дані проміжної (середньострокової) оцінки (включаючи, де потрібно, перегляд показників); та
  
• проміжні дані щодо загальної соціально-економічної ситуації та доповнюваності програми.
  

Комітети з моніторингу можуть вирішувати, на основі головних напрямків допомоги, що надається, які дані необхідні та коли до них можна отримати доступ.

Для виконання моніторингу Рамкових програм допомоги ЄС (Community Support Frameworks (CSFs), Єдиних програмних документів (Single Programming Documents - SPDs), Робочих Програм, Комітети з моніторингу мають щорічно отримувати інформацію з моніторингу щодо використання фінансів, фізичних продуктів і управління програмою.

По мірі того, як системи моніторингу стануть більш оперативними, з’явиться можливість, використовуючи відповідні показники, вимірювати результати і ефективність, а також робити попередні висновки щодо можливих впливів.

Інформація, яка буде вироблятися, має зазвичай бути доступною на рівні програми.

Всю цю інформацію потрібно включати до річних звітів з моніторингу (див. § 5.4). В середньостроковій перспективі потрібно надати аналітичний звіт щодо цієї річної інформації, разом із виміряною результативністю (тобто продуктами і результатами).

З метою вивчення результатів, досягнутих протягом попереднього року, буде відбуватись щорічна зустріч Комісії з керівними органами. Підсумком цієї зустрічі мають стати рекомендації щодо покращення якості управління.

2. Річні звіти з виконання
   

У випадку із багаторічною допомогою, керівний орган, встановлений країнами-членами ЄС, має надати Європейській Комісії річний звіт про виконання протягом шести місяців після завершення повного календарного року виконання. Цей звіт детально висвітлюватиме досягнення в процесі впровадження допомоги за попередній рік (§ 3.6). Заключний звіт має бути наданий Європейській Комісії не пізніше як через шість місяців після закінчення проекту.

Ці звіти мають бути підготовлені країнами-членами на основі наступних елементів:

• дані щодо конкретних умов, в яких надавалася допомога;
  

• прогрес, в досягенні пріоритетів і конкретних цілей заходів, і де доцільно, прогрес щодо основних проектів, визначений через кількісні характеристики із використанням показників моніторингу, розроблених для цієї мети; та
  
• надання фінансової допомоги на рівні заходів, виражене на основі кількісних показників.
  

Для того, щоб допомогти складати ці звіти, відповідно до процедур виконання буде розроблена загальна схема , щоб забезпечити співставність наданих звітів та полегшити підготовку загальноєвропейського звіту, щодо встановлених фактів.

Комісія гарантуватиме відповідність інформації, що міститься в цих звітах.

2. Звіти з проміжної (середньострокової) оцінки
   

Комітети з моніторингу отримають звіти з проміжної (середньострокової) оцінки, які нададуть їм змогу «вивчити, у світлі попередньої оцінки, початкові результати допомоги, відповідність цілей та ступінь їх досягнення (стаття 42).

Як частина більш загальної роботи, експерт з оцінки здійснить загальне оцінювання системи показників і рівня їх кількісних характеристик. Крім того, він/вона оцінить ступінь результативності досягнення цілі, виражений у відсотках (див. таблиця 3).

Таблиця 3: Проміжна (середньострокова) результативність

	Показник 1		Показник 2
	Одиниця	% цілі	Одиниця	% цілі
Захід 1
Захід 2
...
Захід х