План подальших дій 2 Які переваги показників моніторингу результативності виконання проектів? 3 Як розробляються показники моніторингу результативності виконання проектів? 4

1   2   3   4   5   6

Секція 6. Управління проектом та інформація, необхідна для його виконання


Виконавцям на місцях потрібні:
• Показники задіяних ресурсів
• Показники продукту
• [Показники ефективності]
• Показники ризику
• Деякі показники результату та впливу


Потреби виконавчого підрозділу:
• Підсумок щодо показників задіяних ресурсів і продукту, у тому числі порівняльні показники, в разі потреби

• Показники продукту, в тому числі порівняльні показники, в разі потреби
• [Показники ефективності]

• Показники ризику

• Показники впливу


Позичальнику і Банку необхідні:
• Підсумкові показники задіяних ресурсів
• Підсумкові показники продукту
• Показники ризику

• Ключові показники кінцевого результату, впливу [і відповідності]
• [Показники сталості]
Примітка: Показники в дужках не є обов’язковою частиною процедури моніторингу або контролю проекту з боку Банку


Керівники виконавчого підрозділу

Керівники виконавчих підрозділів (або будь-якого організаційного підрозділу, відповідального за загальне управління проектом), як правило, відповідають за виконання всієї програми або основного компоненту проекту. Ця відповідальність включає в себе ряд заходів, найчастіше по різних напрямках, спрямованих на досягнення низки стратегічних цілей. Оскільки такі керівники несуть основну відповідальність за виконання проекту, вони можуть грати допоміжну роль у визначенні стратегічних цілей відбираючи з-поміж них або роз’яснюючи політичне підґрунтя, з якого виникли ці цілі в ході підготовки проекту.

Керівники виконавчих підрозділів тому відповідальні за те , щоб удосконалювати управління програмами, обираючи та доопрацьовуючи заходи проекту для покращення результатів та посилення впливу проекту. Тому їм необхідна підсумкова інформація про задіяні ресурси і продукти проекту, зокрема, порівняльні дані по проектним майданчикам для виявлення можливих проблем та спрямування зусиль і ресурсів на їх вирішення. того ще важливіше те, що їм необхідна порівняльна інформація про результати проекту. Керівникам виконавчих підрозділів також потрібна, принаймні, деяка інформація про вплив проекту , щоб оцінити значимість стратегії проекту. 


Посадові особи позичальника і співробітники Банку

Представники позичальника та співробітники Банку, в першу чергу, пов’язані із стратегічним управлінням. Вони також брали участь у виробленні політичного підґрунтя проекту, та його стратегічних цілей. Крім того, вони повинні продовжувати просувати ці цілі в контексті умовах динамічних змін зовнішнього оточення проекту. Таким чином, їм потрібна підсумкова інформація про задіяні ресурси та продукти проекту, щоб бути впевненими, що будь-які проблеми із виконанням заходів або отриманням продукту будуть виявлені та вирішені на відповідних рівнях управління проектами, та щоб відповісти на питання щодо проекту. Однак, для того, щоб здійснювати стратегічне управління, позичальники і співробітники Банку більш за все потребують порівняльної інформації про результати проекту і його вплив та фактори ризику. Якщо вплив вимірюється по відношенню до вартості задіяних ресурсів проекту, цю інформацію можна також безпосередньо надавати до бюджетної системи проекту, орієнтованої на результативність. Крім того, в контексті оновлення Комплексного огляду виконання портфелю проектів в країні або Стратегії допомоги країні, як позичальники, так і керівники Банку потребують інформацію щодо тенденцій розвитку країни, яким сприятиме виконання проектів.


Деякі споріднені аспекти


Декілька факторів, які є частиною правильного застосування моніторингу та оцінювання, мають безпосереднє відношення до ефективного використання даних щодо результативності виконання проекту, зокрема, збору та опрацювання даних, організації управління інформацією та використання зворотнього зв’язку від моніторингу і оцінювання. Крім того, користувачі мають зрозуміти різницю між умовами кредитного договору, показниками та потенційними труднощами при визначенні показників. Для належної роботи показників результативності виконання проекту структура управління та стимули, що оцінюють результати, мають бути належно визначені. Показники результативності виконання –це інструмент: самі по собі вони ні на що не впливають, а за належних умов спонукають до дії. 


Правильне застосування моніторингу та оцінювання

Дуже важливо, щоб керівники - банк, позичальник, і керівники проектів, розглядали оцінювання результативності виконання проекту, як невід'ємну частину їх інституційного завдання та стратегічного плану.¹⁰ Часто все навпаки, оцінювання розглядають як доповнення до плану, цього та як вимогу, яку необхідно виконати після завершення найважливішої роботи з виконання проекту.¹¹ Щоб бути дієвими, моніторинг та оцінювання повинні залучатись до проекту в процесі його розробки. Як тільки розробники визначили стратегічні цілі та вибрали окремі логічні показники, у наступну чергу слід приділити увагу вимогам до збору і управління даними, організаційним механізмам та розбудові кадрового потенціалу, а також використанню зворотнього зв’язку. 


Збір та я опрацювання даних

Характер змінної визначає логічне джерело даних про неї. Показники задіяних ресурсів та деяких продуктів, отриманих в результаті виконання заходів проекту, в основному, виводяться зі проектних записів, однак, показники деяких результатів, продуктів та впливів можуть потребувати, щоб збір даних проводився шляхом опитування або спеціальних досліджень, у тому числі таких, що використовують партисипативний метод. Там, де це можливо, завжди краще об’єднувати заплановані опитування з національними або міжнародними опитуваннями, які проводяться (наприклад, як Дослідження з оцінки умов життя), ніж створювати організацію зі збору даних. Спеціальні дослідження можуть проводитися безпосередньо підрозділом проекту або субпідрядними приватними компаніями. Будь-яка пропозиція щодо збору даних для певного показника вимагає обговорення наступних моментів:

• Цілі дослідження або опитування
• Джерела даних
• Варіанти і пропонований метод збору даних

• Ймовірна достовірність даних.


Збір даних для деяких показників, зокрема, показників кінцевих результатів та впливу (наприклад, показники захворюваності і смертності, рівень освіти або продуктивність сільського господарства), може залежати від наявності та якості національної системи перепису та опитування населення. Перш ніж обрати такі показники проекту, Позичальник і Банк повинні пересвідчитись, що необхідні системи наявні та достатні, і що наявні дані є статистично достовірними стосовно населення або району, охоплених проектом. Складність отримання статистичних даних та труднощі у встановленні причинних зв’язків призводять до того, що в багатьох випадках краще використати для приблизного оцінювання дані третіх організацій та бенефіціарія ніж намагатися прямо виміряти вплив. 

Багато показників продукту базуються на записах , які зберігаються учасниками проекту, часто безпосередньо на проектних майданчиках. Тому, для планування моніторингу та оцінювання проектів (у тому числі вибору показників), розробникам слід вивчити робочі записи та звітність виконавця для оцінки його можливостей збору даних.

Основні моменти полягають у тому, що дані повинні збиратися та використовуватися поруч з джерелом, і збір даних має бути економічно ефективним і надійним. Важливо не створювати окрему структуру для збору даних в межах проекту. Подібні бюрократичні апарати для отримання даних, як правило, не є економічно ефективними з точки зору витрат і несуть небезпеку того, що особи, відповідальні за підготовку даних, можуть не спілкуватися з працівниками, що їх використовують. Таким чином, користувачі даних можуть не розуміти, що стоїть за цифрами, які вони одержали, а також працівники, що займаються збором даних, часто приділяють незначну увагу питанням, з якими стикаються керівники проекту та зацікавлені сторони. Так само, як і оцінка результативності повинна бути повністю інтегрована до структури проекту, отримана інформація має бути включена до структури управління проектом. Як і у випадку з будь-яким іншим компонентом проекту, переваги використання даних з результативності виконання проекту мають, принаймні, дорівнювати витратам на їх збір. Від проекту можна отримати більш якісну інформацію при мінімальних витратах, використовуючи наявні дані, метод вибірок, метод оперативної оцінки та інші творчі методи.
Ще декілька міркувань з приводу збору даних, які слід враховувати при розробці показників. Перш за все, дані мають оцінювати результати, а не тільки процеси. При оцінці результативності виконання слід зосередити увагу на досягненнях проекту, особливо з точки зору його впливу на населення. Тобто необхідно не лише знати про те, як виконуються проекти, але й з’ясувати, чи робиться при цьому щось позитивне.

Бажано працювати вибірково. Аналіз результативності виконання проекту має бути обмежений кількома напрямками, які мають безпосереднє відношення до стратегічних цілей проекту, які визначені позичальником і Банком.

Нарешті, системи оцінки результативності виконання проекту мають використовувати дані, які не становлять загрози з точки зору тих, що їх збирають. Простіше кажучи, керівники проектів, чи позичальники, співробітники Банку, чи ті, хто на них працює, у випадку, ситуацію, коли їм доведеться доповідати дані по їхніх проектах без їх активного залучення до процесу оцінювання результативності виконання проекту і без пояснення, яким чином і ким ці дані будуть використані, і що дані не будуть використані для оцінки їх особисто, швидше за все, будуть сприймати як загрозу. Враховуючи це, подібний підхід до оцінки виконання, швидше за все, матиме зворотний ефект, не лише позбавивши керівників мотивів для праці, але й породжуючи бюрократичний спротив, що, можливо, призведе до викривлення даних. 


Інституційні заходи та розбудова кадрового потенціалу

Для систематизації збору даних необхідно узгодити цю процедуру між виконавчим підрозділом, позичальником і Банком. Логічне підґрунтя показників передбачає, що дані показників були цінними для позичальника, а не тільки для Банку. Загальна схема моніторингу і оцінювання проекту має будуватися на механізмах звітування, які вже використовуються виконавчим підрозділом та позичальником, в той час як подальший розвиток технічних навичок, які їм потрібні для планування інформаційних потреб, розробки схеми збору даних, виконання досліджень та опитувань, аналізу даних та звітів призводить до створення формату, який є важливим для керування проектом. У випадку необхідності Банк може профінансувати технічну допомогу та обладнання, необхідні для розробки та запровадження систем моніторингу та оцінювання і забезпечити витрати на перепідготовку.


Зворотній зв’язок заходів з моніторингу і оцінювання та тлумачення показників

Необхідно ретельно планувати заходи щодо збору даних, щоб отримувати інформацію у належний час, наприклад, коли проводяться портфельні або середньострокові огляди Банку. Для проектів, у яких стандарти проведення робіт із їх виконання зазначені як цілі, або в яких децентралізовані процеси вимагають залучення місцевих співробітників до планування та керування робочими програмами та бюджетами, необхідний спеціальний аналіз щодо того, як виявлені факти показників використовуються для прийняття рішень.

Показники проекту найкраще інтерпретувати методом порівняння. В ідеальній ситуації, вплив оцінюється методом порівняння вихідних даних з результатами проекту, щоб надати інформацію, якими могли би бути показники, якби проект не проводився. Але оскільки даний аналіз не завжди можна реалізувати на практиці, аналіз показників можна проводити за допомогою інших видів порівнянь: отримані результати у порівнянні із запланованими, аналіз «до і після», часові ряди (ілюстративніші ніж просто порівняння «до і після») або порівняння результатів контрольних груп.

Величини, які використовуються для виміру продукту, результатів та впливу, можуть змінюватись або коливатися. Якщо це відбувається, необхідно використати часові ряди або контрольні групи. Часові ряди фіксують зміни або коливання, а контрольні групи допомагають підтвердити причинно-наслідкові зв’язки. Наприклад, обрана контрольна група є надзвичайно важливою для порівняння росту освітніх кваліфікацій або доходів серед бенефіціарів проекту з відповідним ростом у сферах, які не охоплені проектом: контрольна група має бути ідентичною до зразка проекту у всіх аспектах, крім участі у проекті. Нарешті, за будь-якої інтерпретації показників необхідно розглядати відносини між зовнішніми факторами та показниками, на які вони можуть вплинути. Це є однією з причин, чому особливо важливого значення набуває моніторинг факторів ризику.


Зв’язок із кредитним договором

Показники - це факти щодо результатів реалізації проекту, а не заходи. Таким чином, стандартні договірні зобов’язання між Банком та позичальниками передбачають розглядати цілі результативності виконання проекту як індикативні і юридично не зобов’язуючі. Справа в тому, що узгоджені завдання перш за все використовуються для оцінки прогресу у впровадженні та реалізації цілей розвитку. Однак, у випадках, де досягнення певних показників або завдань вважається необхідним для досягнення цілей проекту (наприклад, у випадку з певними фінансовими показниками прибуткового господарського суб’єкту, який підтримується проектом), ці показники (цільові величини) мають бути зафіксовані у юридичних документах не тільки як відправні точки виконання, але також і як умови кредитного договору (див. стор. 21).


Робота над протилежними цілями

Іноді проекти не мають чітко окреслених цілей, тому що позичальник та Банк не можуть узгодити, якими є або мають бути завдання проекту. Наприклад, іноді незрозуміло, що є кінцевою метою проекту – передача ресурсів або реальне зменшення рівня бідності. Цілі та стратегічні завдання проекту необхідно узгодити на початковому етапі, а показники результативності виконання будуть надзвичайно чіткими вказівками для діяльності керівництва лише у випадку, коли вони логічно відображують чіткі пріоритети програми. Однак, на практиці програми можуть включати численні та навіть протилежні цілі. Оскільки важко показати численні стратегічні завдання в рамках одного дерева завдань або логічної структури, іноді можливо визначити паралельні дерева завдань, які відображують ці численні завдання. У такому випадку дані щодо результативності виконання можуть бути використані у процесі прийняття рішень, результатом якого є компроміс між конфліктуючими цілями, особливо якщо такі цілі можна визначити як пріоритетні або вагомі.¹²

Інша проблема полягає в тому, що чітко визначені цілі вимагають такої підзвітності, яка може бути незручною для деяких відповідальних осіб. У деяких ситуаціях двозначні цілі проекту, фактично, можуть бути бажаними з політичного погляду. У такому випадку визначити корисні показники результативності виконання буде складно, а у випадку відсутності бажання дотримуватись чітко поставлених цілей, Банк має відмовитись від участі у проекті.

Післямова

В решті решт, якість показників моніторингу результативності виконання проекту та зворотнього зв’язку, який вони забезпечують, залежить від базового аналізу (економічний та фінансовий аналіз, економічні та галузеві дослідження, соціальне та екологічне оцінювання), що підтримує розробку проекту, та даних, які будуть оцінюватись через певний час. Логічно-структурний підхід до формулювання проекту забезпечує лише структуру для розробки та оцінювання проекту, а не весь об’єм робіт із розробки або оцінки проекту. Жоден з інструментів, які описані у даному керівництві, не може замінити ґрунтовний економічний, фінансовий, соціальний аналіз, аналіз умов довкілля і ризиків, а також аналіз чутливості до зовнішніх обставин і моніторинг та оцінювання. Саме поєднання таких чинників, як аналіз, логічна структура та показники формує систему для постійного аналізу та цілісного підходу до розробки проекту, моніторингу та оцінювання.


Примітки

1. Effective Implementation: Key to Development Impact, September 1992. [ Ефективне впровадження: ключ до розвитку впливу, вересень 1992 р.]
   
2. An Overview of Monitoring and Evaluation in the World Bank, OED Report 13247, June 30, 1994, and Monitoring and Evaluation Plans in Projects Approved in Fiscal Year 1995, OED draft report, October 6, 1995. [Огляд моніторингу і оцінювання в Світовому Банку, Звіт Відділу Оцінки операцій 13247, 30 червня 1994р. та Плани з моніторингу та оцінювання, затверджені у 1995 фінансовому році, чорновий звіт Відділу Оцінки операцій, 6 жовтня 1994 р.]
   
3. загалом базуються на матеріалі, підготовленому Р. Моузес Томпсоном. Командні Технології Інк. ; Джеральдом М.Брайтеном «Вимірювання виконання програм для федеральних агенцій: питання та варіанти для показників виконання», які були підготовлені для Центрального контрольно-фінансового управління США у 1991 році та «Керівництво до планування, керування та моніторингу», чорновий варіант від Швейцарської Агенції міжнародного розвитку, Січень 1995 року (R. Moses Thompson, Team Technologies Inc.; Логіко-структурний підхід та типологія показників, які описані у даному розділі, Gerald M. Britan, "Measuring Program Performance for Federal Agencies: Issues and Options for Performance Indicators," prepared for the U.S. General Accounting Office, 1991; and "Guidelines for Result-Based Planning, Management and Monitoring," preliminary version, from the Swedish International Development Agency, January 1995).
   
4. Декілька формальних методів для спільного планування та управління проектами є варіантами загальної концепції логічної структури, яка описана тут: наприклад, Logical frameworks, ZOPP, and TeamUP,. У Додатку 1 до Збірнику матеріалів Світового банку( World Bank Participation Sourcebook) (Лютий 1996) описано ZOPP (планування проектів з орієнтацією на цілі), TeamUP, та інші методи та інструменти, які підтримують розвиток активного залучення громадськості та надають додаткові посилання.
   
5. Взаємозв’язок між цілями проекту може також включати накопичення у просторі, коли результати, отримані в різних місцях розташування проекту додають, щоб досягти регіональних цілей та здобутків. Ієрархічно з’єднані та просторово поєднані цілі часто існують в тандемі. Наприклад, національний проект захисту здоров’я дітей, первинною метою якого є зниження дитячої смертності, може мати вторинну ціль, яка полягає у покращенні профілактики захворюваності за допомогою освіти та вакцинації певного числа дітей по всій країні , які, в свою чергу, є об’єднаним числом дітей, які обслуговуються у кожній окремій клініці. .
   
6. Див. також Handbook on Economic Analysis of Investment Operations (Washington, D.C.:World Bank, 1996), Розділ 10, "Risk and Sensitivity Analysis." [Підручник з економічного аналізу інвестиційних операцій (Вашингтон, О.К.: Світовий Банк, 1996]
   
7. Різні формально- логічні структурні методики використовують різні засоби, такі як дерева проблем та цілей, ситуаційний аналіз та аналіз SWOT (сильні сторони – слабкі сторони – можливості -- загрози) та матриці планування проекту, щоб графічно представити проблему, бенефіціаріїв та аналіз завдань.
   
8. Навіть якщо позичальник не повністю розуміється або не використовує у розробці проекту логічно-структурний підхід, Банк може використовувати цей підхід для оцінювання проекту.
   
9. Ця інформація значною мірою базується на доповіді Східно-Азійської Робочої Групи щодо Показників Моніторингу Результативності Виконання Проекту, який був підготовлений для розгляду Східно-Азійською Регіональною Групою Управління. До робочої групи увійшли працівники зі Східно-Азійського регіону, Азійського технічного відділу, Відділу кадрів, Відділу Оцінки операцій та операційної політики.
   

10. Додаткове обговорення, див. у Monitoring and Evaluation Plans in Staff Appraisal Reports Issued in Fiscal Year 1995: A Follow-up to OED's Report "An Overview of Monitoring and Evaluation in the World Bank," OED Report 15222, December 29, 1995. [Плани з моніторингу та оцінювання у звітах з оцінювання персоналу, випущених у 1995 фінансовому році; у розвиток чорнового звіту Відділу Оцінки операцій «Огляд моніторингу і оцінювання в Світовому Банку», Звіт ВОО 15222, 29 грудня 1995 р.]
    
11. Thomas J. Cook, Jerry VanSant, Leslie Stewart, and Jamie Adrian, "Performance Measurement: Lessons Learned for Development Management," World Development 23(8): 1303-15 (1995). [ Вимірювання результативності виконання проектів: уроки керівництва розвитком «Світовий розвиток» 23(8): 1303-15, 1995 р.]
    

12. Брайтен, с. 20