План подальших дій 2 Які переваги показників моніторингу результативності виконання проектів? 3 Як розробляються показники моніторингу результативності виконання проектів? 4

  1   2   3   4   5   6

Проект виконує

DMI Associates Consortium


Проект фінансується

Європейським Союзом

ПОКАЗНИКИ МОНІТОРИНГУ РЕЗУЛЬТАТИВНОСТІ ВИКОНАННЯ ПРОЕКТІВ


Що таке показники моніторингу результативності виконання?


Показники результативності виконання – це міри оцінювання впливу проекту, його продукту, кінцевого результату та задіяних ресурсів, моніторинг яких здійснюється в процесі виконання проекту для оцінки ступеню досягнення його завдань. Вони також використовуються згодом для оцінювання успішності проекту. Показники організують інформацію таким чином, щоб виявити взаємозв'язок я між впливом проекту, його продуктом, кінцевим результатом та задіяними ресурсами та допомогти окреслити поточні проблеми, що можуть зашкодити досягненню цілей проекту.


Чому показники моніторингу результативності виконання такі важливі?


Ряд важливих досліджень, проведених недавно – зокрема, Звіт робочої групи з портфельного управління та огляди Департаменту з оцінки операцій (ДОО), - виявили, що моніторинг та оцінювання проектів, що фінансуються Світовим Банком, не в повній мірі були зосереджені на тих чинниках, які є критичними для позитивного розвитку впливу. Обидві групи дослідників (Робоча група та ДОО) дійшли висновку, що показники моніторингу результативності виконання проекту мають бути включені до процедур моніторингу і оцінювання, які використовуються Світовим Банком та його позичальниками.

Факти, надані у Звіті робочої групи з управління портфельними активами

У Звіті робочої групи з управління портфельними активами (також відомому як звіт Вапенханса - the Wapenhans Report) проаналізовано чинники, що впливають на розвиток впливу операцій Банку.¹ В рамках даного аналізу робоча група зосередила увагу на тому, як саме методології оцінювання, включаючи розрахунок економічної рентабельності та методологію визначення рейтингу проекту, використовуються для оцінювання та контролю за виконанням проектів для того,щоб покращити якість проектів, що підтримуються Світовим Банком. Робоча група дійшла висновку, що застосування існуючих методологічних підходів не забезпечувало адекватного інформування виконавчих підрозділів, позичальників, та керівників проектів Банку щодо розвитку досягнутого проектом впливу з ряду причин:

• Надмірна увага приділялася механізмам (практичним та фінансовим) виконання проекту.
  
• Недостатньо чітко були визначені ризики та чинники, що мають найбільший вплив на кінцевий результат проекту
  
• Не вистачало об’єктивних критеріїв, прозорості та, - оскільки методологія залежить від особистої оцінки окремих людей, - узгодженої співпраці між підрозділами.
  
• Рейтинги були загалом оптимістичні.
  

За відсутності відповідного зворотного зв’язку жодна зі сторін, пов’язаних з кінцевими результатами проекту, не мала змоги приймати адекватні, інформовані рішення стосовно того, як покращити структуру проекту або шляхи реалізації заходів для кращого досягнення запланованих цілей проекту. З цим пов’язана ще одна проблема: непродуманість та недостатньо зрозуміле формулювання цілей проекту, непрозорість розробки відповідних показників результативності виконання проекту ускладнювали проведення моніторингу і оцінювання проекту. Окрім того, робоча група зазначила, що традиційний метод оцінювання розвитку впливу, який використовується Світовим Банком, - розрахунок економічної рентабельності або чистої вартості – не може застосовуватись до всіх проектів, а для деяких проектів недоцільно проводити повний аналіз витрат та здобутків. Навіть для тих проектів, для яких вираховуються економічна рентабельність та чиста вартість, Банк, зазвичай, розраховує їх лише декілька разів – під час попереднього оцінювання, проміжного огляду, у разі необхідності, - після реструктуризації, а також у Заключному звіті про виконання проекту. Ні розрахунки, ні критичні змінні, що впливають на них, не підлягають детальному моніторингу в процесі виконання проекту. Крім того, у звіті наголошується, що у багатьох випадках витрати і здобутки проекту можуть бути набагато простіше визначені та виміряні за допомогою показників результативності виконання проекту.

Робоча група прийшла до висновку, що прийнята Банком система методології визначення рейтингу проекту та контролю звітності щодо виконання проекту має бути пристосована до використання показників результативності виконання проекту, яка оцінюється із врахуванням цілей розвитку проекту та плану його виконання.


Дослідження Департаменту з оцінки операцій (ДОО).

Два дослідження ДОО, що розглядають звітність Банку щодо моніторингу та оцінювання проектів, , підтвердили факти, зазначені у звіті робочої групи.² У 1994 фінансовому році дослідження 20-річної діяльності Банку з фінансування проектів виявило, що рекомендації та директиви Банку щодо моніторингу та оцінювання не виконувались в повній мірі ні на стадії попередньої оцінки проекту (коли здійснювалося планування моніторингу та оцінювання), ні на стадії його виконання. Проте дослідження також засвідчило, що ситуація змінюється.

Наступне дослідження планів з моніторингу та оцінювання у вибірці проектів 1995 фінансового року показує, що якість планування покращилась. Це покращення яскраво виявляється у зростанні використання показників моніторингу результативності виконання проекту – частка проектів, що принаймні використовують такі показники, зросла з 72 відсотків у 1993 фінансовому році до 77 відсотків у 1995 фінансовому році. Тим не менше, розширене використання показників не було доповнене заходами зі систематизації процесу збору даних або ж з посилення спроможностей в галузі моніторингу і оцінювання ні з боку Світового Банку, ні країнами-позичальницями. Відносно невелика частка проектів (14 відсотків від проектів, перерахованих у вибірці 1995 фінансового року) досягають загалом високих результатів у створенні всеохоплюючої системи показників або у застосуванні моніторингу і оцінювання. А ті показники, що використовуються у моніторингу результативності виконання проекту, хоча й застосовуються ширше, мають слабку структуру та зазвичай не відповідають логіко-структурному підходу чи типології, а також їх не завжди враховують при зборі даних.


План подальших дій

Подібні міркування спонукали керівництво Світового Банку вжити зусиль для сприяння використанню показників моніторингу результативності виконання проекту. Через Подальший план дій, розроблений для виконання рекомендацій робочої групи Wapenhans, керівництво Світового Банку дало розпорядження включити показники моніторингу результативності виконання проекту до рейтингової системи проекту, що використовується для моніторингу цих проектів (на основі форми 590 та Річного звіту з портфельних активів) з метою покращення якості контролю за поступом у досягненні цілей розвитку проекту. Керівництво також визнало, що Світовий Банк має розробляти секторально-специфічні показники, щоб сприяти більш чіткому визначенню цілей проекту позичальниками та співробітниками Банку, та створити на їх основі логічні критерії оцінки кінцевих результатів та впливу проекту для того, щоб оцінити хід досягнення цілей проекту. Банку також було необхідно підтримати використання показників в уточненій рейтинговій системі проекту. Тому план дій включав розпорядження Центральних Віце-президентів секторальним відділам щодо розробки переліків секторально-специфічних показників, які найкраще узгоджуються із структурою та завданнями моніторингу проекту - коментарі до секторальних показників розглянуті у другому розділі даного посібника. Працівники повинні забезпечити відображення ключових секторально-специфічних показників впливу проекту у його оціночній документації та здійснення моніторингу досягнень відповідно до вказаних взірцевих орієнтирів.


Які переваги показників моніторингу результативності виконання пректу?


Проведення моніторингу з метою контролю за ходом виконання проекту передбачає періодичну оцінку досягнень проекту відповідно до заданих короткострокових та довгострокових цілей та інформування відповідальних осіб щодо його результатів для того, щоб вони могли за допомогою різних засобів покращити результативність виконання проекту. (секція 1).


Секція 1. Застосування показників виконання

Стратегічне планування. Для будь-якої програми або певного виду діяльності, від проекту розвитку до плану продажів, включення вимірювання результативності до структури проекту вимагає більшої уваги до критичних припущень, що лежать в основі програмних відносин та причинно-наслідкових зв’язків (1). Таким чином, показники результативності виконання проекту допомагають визначити цілі та логіку програми.

Звітність щодо виконання. Показники результативності виконання проекту можуть сприяти поінформованому прийняттю рішень про розподіл ресурсів, якщо їх будуть застосовувати для спрямування ресурсів на найбільш успішні види діяльності, тим самими забезпечуючи найбільш ефективне використання ресурсів.

Прогнозування та своєчасне попередження під час виконання програми. Вимірювання досягнень шляхом співставлення із відповідними показниками може дати уявлення про подальше виконання проекту, забезпечуючи отримання даних, які можуть бути використані для подальшого планування, виявлення напрямків, що потребують вдосконалення, та для розробки пропозицій щодо подальших дій.

Вимірювання результатів програми. Хороші показники результативності виконання оцінюють, що програма досягла у порівнянні із її цілями, а не тільки що саме виконано; таким чином, вони покращують якість оцінювання.

Маркетинг та зв’язки з громадськістю. Показники моніторингу результативності виконання проекту можуть бути використані для демонстрації результатів програми для того, щоб справити враження на сторонню аудиторію. Дані щодо результативності можуть бути використані для донесення цінності програми або проекту до представників виборних органів влади або широкого загалу.

Взірцевий аналіз. За допомогою показників результативності виконання можна одержати дані для оцінки інших проектів або програм. Вони також надають змогу покращити програми через засвоєння позитивного досвіду, виявлення професійних виконавців та застосування їх досвіду для покращення роботи інших працівників.


(1) Thomas J. Cook, Jerry VanSant, Leslie Stewart, and Jamie Adrian, "Performance Measurement: Lessons Learned for Development Management," World Development 23(8):1303-15 (1995).

Секція 2, Бачення логічної структури

Мета розвитку

Описує реальний кінцевий результат проекту – вплив продуктів проекту на бенефіціара, організацію або систему на основі зміни характеру функціонування або покращення результативності. Мета розвитку визначає успіх проекту.

↓

Продукти проекту

Визначають, якими, власне, повинні бути досягнення проекту – проектна звітність, товари та послуги, які мають бути створені. Як правило, продукти є незалежними, синергічними та комплексними.

↓


Компоненти.

Набір заходів, що визначають форму надання товарів та послуг (технічна допомога, інфраструктура і т.д..).


Джерело: Team Technologies, Inc.

Управління якістю. За допомогою показників виконання можна оцінити, наскільки задоволеним є клієнт (бенефіціар) і виявити, наскільки програма покращує якість життя цих людей.


Для потреб Банку та його клієнтів найбільш значні переваги показників результативності виконання виникають при розробці проекту (стратегічне планування), в ході нагляду та моніторингу проекту (прогнозовані результати), та при оцінюванні проекту (оцінка результатів та якості управління). Яка саме інформація та заходи зі збору даних необхідні, стає зрозуміло після того, як сформульовані цілі проекту. У системі моніторингу результативності виконання показники слугують інструментами для вимірювання ходу змін. Базовими є значення показників результативності виконання на початку планового періоду; цільовими є значення показників наприкінці.

Переваги показників полягають в тому, що їх можна виміряти та в безпосередньому зв’язку з цілями проекту, що розроблені на основі секторального і економічного, аналізів, та аналізу ризиків і вигод проекту. Показники безпосередньо пов’язують задіяні ресурси та заходи проекту з кількісною оцінкою його очікуваних продуктів та впливу. Перед вибором показників позичальник або підрозділ з виконання проекту та Банк мають визначити, які способи оцінювання результативності виконання зможуть показати, чи виконуються завдання проекту, та яким чином, і хто отримає від цього користь – даючи таким чином більш чітке визначення цілей. Позичальники та Банк мають також переконатися, що їм надано всі необхідні дані, та прийняти рішення щодо дій користувачів у відповідь на результати показників.

Завдяки показникам моніторинг і оцінювання стають більш переконливими і об’єктивними, оскільки вони базуються не на особистих судженнях або простому описі. Більш того, показники чітко тримають в полі зору остаточні цілі проекту впродовж всього періоду його виконання. Якщо вони правильно розроблені та застосовуються, показники відповідають певним інформаційним потребам та сфері компетенції всіх зацікавлених сторін, задіяних у виконанні проекту – персоналу на місцях, виконавчого підрозділу, позичальника, керівника проекту та керівництва Банку. Виконавчий відділ та його підрозділи найбільш зацікавлені – і мають кращі можливості для відповідного реагування - у показниках задіяних ресурсів, факторів ризику та отриманих продуктів. Таким чином, показники допомагають всім учасникам зосередити увагу на найбільш важливих для них напрямках.


Як розробляються показники моніторингу результативності виконання проекту?


Показники моніторингу результативності виконання проекту мають базуватися на унікальних цілях окремих проектів.³ Проте будь-який перелік показників результативності також має базуватися на відповідній логічній структурі, що поєднує цілі проекту з його компонентами та, відповідно, задіяними ресурсами, заходами та продуктами на різних стадіях їх впровадження.⁴ Структура проекту є похідною від його цілей, оскільки будь-який захід проекту має бути спрямований на їх досягнення . Відповідно до цілей розвитку проекту розробляється найкраще поєднання результатів продуктів та компонентів для досягнення цих цілей. Загальна схема з точки зору логічної структури наводиться у секції 2.

Для розуміння того, як підібрати показники результативності виконання згідно цілей і компонентів проекту, необхідно розуміти концепцію його логічної структури.

Логічна структура.

Логічна структура - це методологія концептуалізації проектів та аналітичний інструмент, що дає змогу чітко і зрозуміло викласти складний проект на одному аркуші. Це партисипативний інструмент планування, ефективність якого залежить від того, чи він об’єднує весь спектр поглядів запланованих бенефіціарів та інших учасників розробки проекту. Розробникам проекту та зацікавленим сторонам найдоцільніше використовувати її для визначення:

• відповідних цілей
  
• показників успішності
  
• ключових кластерів заходів (компонентів проекту)
  
• критичних припущень, на яких базується проект
  
• засобів оцінки досягнень проекту
  
• ресурсів, необхідних для його виконання
  

Як спосіб попереднього планування, логічна структура може використовуватися для розробки інструментів впровадження та оцінювання проекту. Знання її переваг та обмежень допомагає в оцінці методології логічної структури на різних етапах циклу проекту (секція 3).


Передумови логічної структури.

Логічна структура може покращити визначення, підготовку та виконання процесу оцінювання, роз’яснюючи структуру проекту та роблячи її прозорою для позичальника, кредитора, бенефіціарів та інших зацікавлених сторін. Логічна структура передбачає, що проекти є інструментами запровадження змін та обираються з-поміж інших альтернатив як найбільш економічно-вигідні для досягнення певних кінцевих результатів. Це поєднує декілька методів управління проектом в якості їх передумов .