План подальших дій 2 Які переваги показників моніторингу результативності виконання проектів? 3 Як розробляються показники моніторингу результативності виконання проектів? 4
| Вид материала | Документы |
- Заходи щодо реалізації в місті державної регуляторної політики на 2012 рік, 96.86kb.
- Інформація до засідання робочої групи «Національні проекти» Про виконання Розділу, 609.44kb.
- План Нормативне регулювання моніторингу в освіті. Поняття моніторингу, 92.41kb.
- Перелік публікацій викладачів кафедри управління проектами та прикладної статистики, 178.45kb.
- Поняття програма. Види програм. Відмінність програми від проекту. Проект як об’єкт, 65.17kb.
- Методичні рекомендації суб’єктам первинного фінансового моніторингу небанківським установам, 592.7kb.
- Місто Рівне розпорядження міського голови Від 13 липня 2007 р. №1204-р, 80.01kb.
- Прогнозний обсяг фінансових ресурсів для виконання завдань, млн грн, 203.77kb.
- Україна міністерство охорони навколишнього природного середовища україни, 19.22kb.
- Цільові програми розвитку молоді Доступ до інформації, 978.57kb.
Секція 3. Переваги та обмеження використання методу логічної структури.
| Переваги
| Обмеження
|
- Управління, спрямоване на результат. Проекти починаються з визначення цілей, а не компонентів, а їх успіх визначається ступенем виконання завдань розвитку проекту. Відповідальність за результати несе керівництво.
- Основний науковий метод. Проекти - це експерименти, що проводяться в певному оточенні. З цієї точки зору, проект – це структурований процес здобуття знань про те, що обумовлює його результат. Цей аспект передбачає, що проекти є навчальними системами.
- Системний аналіз. Проект, подібно до системи, не є визначеним, доки ми не визначимо більшу систему, частиною якої він є. Проекти проводяться не у вакуумі, а у взаємодії із зовнішнім середовищем – організаціями, установами та іншими проектами.
- Контрактне законодавство. Кожен контракт (проект) має певні основні риси:
- Перелік похідних (продукти)
- Обставини, що відносяться до форс-мажорних (припущення)
- Консенсус щодо результатів цих похідних (мета розвитку)
- Перелік похідних (продукти)
- Причини та наслідки. Основні поняття, на яких базується логічна структура – це причина та наслідок. Чим кращі причинно-наслідкові зв’язки між цілями, тим краща структура проекту. За визначенням, в основі кожного проекту лежить подібна логіка припущень «якщо-то». Якщо проект за певних умов приносить певні кінцеві результати, можна очікувати досягнення ним певних інших результатів. Наприклад, якщо проект передбачає надання фермерам насіння з покращеними якостями та запроваджує систему кредитування, то, припускаючи, що випаде достатня кількість опадів, можна очікувати підвищення врожайності. Логічна структура спонукає тих, хто планує проект, чітко визначити цю причинно-наслідкову логіку, проте вона не гарантує гарної структури проекту. Достовірність причинно-наслідкової логіки залежить від якості професійної підготовки та досвіду команди з розробки проекту.
Важливість чіткого визначення припущень.
Припущення – це фактори ризику або сприятливі фактори, тобто певні зовнішні умови, які знаходяться поза межами прямого контролю проекту (Рис. 1). Досягнення завдань може залежати від того, наскільки справдяться припущення. Припущення робляться стосовно ступеня невизначеності (ступеня ризику) між завданнями різних рівнів. Чим менше невизначеності щодо того, чи справдяться певні припущення, тим міцніша структура проекту. Невдалі припущення можуть зруйнувати проект так само, як і погана робота над отриманням продуктів.
Якщо причинно-наслідкові відносини є базовим поняттям при доброму плануванні проекту, то необхідні та достатні умови виконання є наслідком. Причинно-наслідкові відносини між рівнями ієрархії завдань проекту (задіяні ресурси – продукти, продукти – кінцеві результати та вплив, вплив – відповідність) описують необхідні умови досягнення цілей розвитку (визначення див. на стор. 12-13). Це внутрішня логіка проекту.
Також важливими є достатні умови на кожному рівні для переходу на наступний, вищий, рівень (умови, за яких може бути досягнуте наступне завдання). Достатні умови між рівнями ієрархії цілей – це припущення. Це – зовнішня логіка проекту. Ієрархія цілей (необхідні умови) плюс припущення (достатні умови) в поєднанні дають набагато чіткіше уявлення про структуру проекту. Це те, що логічна структура представляє у графічному вигляді.
Ієрархія цілей та її зв'язок з показниками результативності виконання проекту.
Користувачі логічної структури узгодили певний набір термінів (кінцеві продукти, результати, мета, показники, цілі, досягнення, цілі розвитку). Ці терміни, власне, є шляхами реферування або класифікації цілей.
Логічна структура передбачає, що у проекті існує декілька рівнів цілей (ієрархія цілей). Хоча і немає логічного обмеження кількості рівнів, більшості проектних команд важко ефективно керувати більш ніж чотирма рівнями. Отже, як правило, логічна структура передбачає чотири рівні цілей. Світовий Банк використовує показники, засновані на структурі, що включає три рівні цілей: задіяні ресурси для заходів проекту, продукти заходів проекту, кінцеві результаті та вплив. Для цілей Світового Банку задіяні ресурси та продукти прямо пов’язані з управлінням проектом, а кінцеві результати та вплив з пов’язані з розвитком цілей проекту.
Стратегія допомоги країнам відображає угоду між Банком та його позичальниками щодо загальних цілей розвитку країни та передбачених засобів їх досягнення – проектів, економічних та секторальних заходів, технічної допомоги, щоб Банк (та інші організації, що надають фінансування) міг би сприяти їх виконанню. Проекти мають відображати, як їх цілі пов’язані із реалізацією загальних цілей розвитку країни.
Для будь-якого проекту перелік показників результативності його виконання має розроблятися в рамках логічної структури. Розробка показників результативності починається із цілей проекту та відображає споріднену ієрархію заходів, їх продуктів та бажаних кінцевих результатів щодо кожного компоненту проекту. Здійснені заходи та досягнуті результати завдань нижчого рівня – це задіяні ресурси для досягнення завдань проекту більш високого рівня, наприклад на інституційному, секторальному, програмному чи державному рівні. 5 Виходячи з цього, визначення показників на кожному рівні тісно пов’язано із кінцевою метою проекту, яка може бути скромною (наприклад, зменшити рівень захворюваності на попереджувальну хворобу у певній групі населення шляхом збільшення імунізації), або більш амбіційною (зменшити смертність серед дітей).
Організація ієрархії цілей
Логічна структура схематично представляє ієрархію цілей проекту, показники результативності виконання для вимірювання досягнення кожної цілі, засоби перевірки кожного показника, а також припущення (фактори ризику та сприятливі фактори), що є критичними для досягнення цілей наступного рівня. Секція 4 наводить приклад логічної структури проекту з покращення харчування та розвитку дітей в Уганді.
Зв’язки між цілями проекту та потреба в інформації щодо його виконання також можуть бути проілюстровані, відображаючи логіку програми та очікування щодо результативності у вигляді дерева цілей (Рис. 2). Дерево розпочинається із загальних цілей розвитку проекту, що відповідають Стратегії допомоги країні, наводить продукти нижчого рівня, через яких досягаються дані цілі та показує специфічні задіяні ресурси, необхідні для здійснення заходів проекту. Використання дерева цілей для відображення цілей проекту допомагає перевірити логіку структури проекту та підтвердити, що для оцінки результативності виконання були визначені правильні показники.
Секція 4 Логічна структура Проекту з харчування та дитячого розвитку в Уганді
| Короткий виклад Цілі розвитку ВПЛИВ Покращення стану здоров’я, харчування, та когнітивного стану дітей молодшого віку РЕЗУЛЬТАТИ Покращення догляду, харчування та охорони здоров’я дітей Покращення умов для отримання доходу жінками Управління проектами ПРОДУКТИ Запровадження програми захисту дітей на у громадах Запровадження програми із забезпечення мікроелементами Встановлення компоненту щодо доходу жінок ЗАХОДИ Громадські програми Із зростання ролі моніторингу Пропагандистські програми з проведення «Днів здоров’я» Залучення грантів до місцевих ECD-центрів Проведення кампаній в ЗМІ Гранти для жінок з метою професійної підготовки для отримання засобів для існування Роздача вітаміну А в капсулах та харчових добавок з вмістом заліза Кампанія з йодизації солі Кампанія з дегельмінтизації | ПОКАЗНИКИ РЕЗУЛЬТАТИВНОСТІ Зменшення переважання протеїнового енергетичного харчування – оцінка здійснюється серед виснажених дітей дошкільного віку – від 25% до 13% в 2003 році Зменшення нестачі мікроелементів ( порушення іонного обміну у ендемічних зонах зменшилося на 50 %, а анемії серед дітей – на 33%, паразитозу – на 50%, ксерофтальмії на 2% в 2003 р) Кількість зарахованих до школи учнів в 2003 р. збільшилась до 80% Кількість дітей, що отримали послуги Кількість жінок, що отримали послуги Кількість жінок і дітей, що взяли участь в програмі Кількість проведених заходів в рамках «Днів здоров’я» Кількість створених денних ECD-центрів Кількість розповсюджених капсул вітаміну А, та харчових добавок з вмістом заліза Процент йодованої солі Кількість жінок, які пройшли навчання з навичок для отримання засобів для існування/ догляду за дітьми ЗАДІЯНІ РЕСУРСИ Всього $ 42 млн, включаючи витрати на функціонування та обслуговування, а також на моніторинг та оцінювання | МОІНТОРИНГ І КОНТРОЛЬ Національні антропометричні дослідження Демографічні дослідження та дослідження у сфері охорони здоров’я Записи про зарахування до школи Річна звітність щодо проекту Річна звітність щодо проекту Опитування з моніторингу проекту, опитування господарств Звіти щодо моніторингу проекту Звіти щодо моніторингу проекту Дослідження зразків солі на ринку Звіти щодо моніторингу проекту Заходи будуть перевірятися через постійний моніторинг проекту | ПРИПУЩЕННЯ І РИЗИКИ (вплив та відповідність) Інші національні програми (імунізація, первинна медико-санітарна допомога), виробництво продовольства, початкова освіта є сталими; через взаємодію з даними програмами можна досягти більшого впливу проекту (Кінцеві результати та вплив) ЮНІСЕФ зацікавлена в партнерстві з проектом Уряд ухвалює закон щодо дітей Підтримка партнерства з іншими донорами (продукт та кінцеві результати) Впровадження політики децентралізації Місцеві адміністрації надають подальшу підтримку (заходи та продукти) Достатній інтерес з боку громад Матері застосовують нові навички і знання |
Д
ерево цілей має включати результати нижчого рівня, що є необхідними для досягнення цілей більш високого рівня. Сюди зокрема відносяться зовнішні фактори та припущення про умови в більш широкому оточенні проекту, яке не підпадає під його вплив – зовнішні ризики та несприятливі фактори (див. стор. 7 та 14).6 Моніторинг цих аспектів має вестися впродовж усього проекту, поряд із моніторингом впливу, кінцевих результатів, продукту і задіяних ресурсів, також дані аспекти необхідно перевіряти на стадії виконання, щоб пересвідчитись, що припущення є вірними. У прикладі дерева часткових цілей, наведеного на рис. 2, кожен з результатів нижчого рівня залежить не лише від факторів та припущень, зображених на рисунку, але й від інших, які на ньому не зображені. Це можуть бути зобов’язання проекту, зображені в діаграмі (деякі деталі не вміщені через просторові обмеження). Але це також можуть бути і зобов’язання іншого проекту, проектів або уряду, що відносить їх до припущень та зовнішніх факторів ризику проекту.
Наприклад, «поширення імунізації у школах», як тут показано, залежить від «збільшення запасів вакцини», «покращення підготовки», «збільшення кількості закладів», що, згідно із схемою, відносяться до зобов’язань проекту. Це також залежить від «покращення доступу до вакцини», і «покращення обізнаності громадськості», що можуть бути частиною проекту (хоча на рисунку цього не видно) або частиною іншого проекту, і таким чином, становлять частину припущень та зовнішніх факторів ризику даного проекту.
Інструменти для концептуалізації, розробки та оцінювання проектів, такі як дерево цілей або аналогічний аналітичний інструмент, та утворені на їх основі показники результативності виконання проекту не мають вважатися незмінними.7 Вони мають постійно переоцінюватися на кожному етапі підготовки проекту, його виконання та оцінювання. Якщо результати, проаналізовані під час виконання проекту, вказують на те, що необхідно змінити засоби досягнення його цілей, то набір задіяних ресурсів (заходів, що мають проводитися) та визначення продуктів проекту мають бути відкориговані, відповідно мають бути підібрані нові показники для оцінювання оновлених цілей.
Загальні етапи, що ведуть до формулювання цілей проекту та створення його логічної структури, є важливими аспектами етапів визначення та підготовки проектів у проектному циклі Світового банку (Секція 5).8
Типи показників результативності виконання проекту.
Є різні шляхи для вимірювання результативності виконання для кожної заданої змінної (мета, вплив, кінцевий результат, продукт, задіяні ресурси). Система показників, що базується на логічно-структурному підході, зображена на рис. 3. Тоді як рисунок відображає загальну систему показників, щоб забезпечити повне уявлення про принципи її побудови, елементи системи, які детально не розглядаються у даному посібнику, зображені пунктиром. Ці елементи входять до процедури оцінювання результативності виконання проекту Відділом оцінки операцій.
Показники результатів.
Показники результатів оцінюють результати проекту відносно його цілей. Результати вимірюються на рівні, який визначений цілями проекту. Пам’ятайте, що згідно із структурно-логічним підходом, вони мають визначатися починаючи з показників впливу та результату (і рухаючись назад до показників задіяних ресурсів).
Показники задіяних ресурсів. Показники задіяних ресурсів вимірюють кількість (а іноді і якість) ресурсів, що надаються для проведення заходів проекту. Залежно від проекту до них можуть входити:
- Фінансування – зовнішнє фінансування, позики Банку, спільне фінансування, гранти
- Гарантії
- Людські ресурси – кількість осіб-років на виконавчий підрозділ, консультантів та технічних радників
- Навчання
- Обладнання, матеріали та поставки, або одноразові витрати на них, наприклад - підручники, шприци, вакцини, класні приміщення.
Показники продукту. Ці показники вимірюють кількість (а іноді і якість) товарів та послуг, створених або наданих через використання задіяних ресурсів. Залежно від проекту до них можуть входити:
Секція 5 Процеси в межах логічної структури
Крок 1 АНАЛІЗ ПРОБЛЕМИ ТА БЕНЕФІЦІАРА
Цей аналіз має дати відповідь на ряд запитань: Які проблеми існують, і них кого вони стосуються? Які потреби, очікування, наміри та мотиви різних зацікавлених сторін, із розбиттям за статтю та іншими відповідними соціальними критеріями? Чи потребує проблема зовнішньої допомоги для її вирішення, чи її можна вирішити іншим чином? Цей крок, як правило, є частиною економічної та секторальної роботи або процесу визначення проекту і підготовчих вправ, якщо попередня економічна та секторальна робота не була проведена, також він є частиною розробки Стратегії допомоги країні.
Крок 2 АНАЛІЗ ЦІЛЕЙ: розгляд альтернативних варіантів і очікування щодо результативності виконання проекту
На цьому кроці відбувається визначення потреб або проблем та шляхів їх вирішення, тобто намічаються специфічні кількісні цілі. Кожне завдання може бути розбите на декілька підзавдань та продуктів, які повинні бути досягнуті на різних етапах реалізації проекту. Майже завжди існують альтернативні способи досягнення цілей проекту, а обраний метод може вплинути на конфігурацію отриманих продуктів. Тому частиною цього кроку є також розгляд альтернатив і вибір найоптимальнішого способу досягнення цілей. Розгляд альтернативних варіантів передбачає аналіз економічних чинників, ризиків і несприятливих чинників, рентабельності (витрати-вигоди), екологічного та соціального аспекту та консультації з бенефіціаром.
На основі аналізу цілей, основні елементи проекту – весь логічний ланцюг, включаючи секторальні цілі та цілі проекту, заплановані продукти, необхідні заходи та задіяні ресурси, можуть бути графічно зображені у вигляді логічної схеми або дерева цілей (див. рис. 1 і 2).
Кожен елемент - задіяні ресурси, заходи, продукти, кінцеві результати та вплив, а також фактори ризику та сприятливі фактори, що впливають на ці елементи, можна виміряти. Для цього і використовують показники, які визначають і вимірюють кожен з цих елементів і які визначаються на етапі планування та аналізу цілей проекту. Тому вкрай важливо формулювати і представляти цілі і продукти проекту таким чином, щоб можна було вимірювати як короткострокові так і довгострокові результати. Визначення цілей продукту, кінцевого результату та впливу має включати:
• Цільову групу(для кого)
• Кількість та рівень (скільки)
• Якість (щодо стандартів розробки та впливу на довкілля чи інші фактори)
• Час (коли це буде виконано)
• Місце (де це має відбутися)
Крок 3 ЗАВЕРШЕННЯ РОЗРОБКИ ПРОЕКТУ І ПОКАЗНИКІВ
На цьому етапі планувальники ретельно вивчають проект, щоб переконатись,що всі елементи проекти мають між собою логічний зв'язок. Планувальники також оцінюють цілісність показників та реалістичність цілей на даному етапі, беручи до уваги всі припущення проекту та вихідні дані, і завершують розробку планів.
• Особи, яким проведено щеплення (проект в галузі охорони здоров'я)
• Фермери, з якими провели інструктаж (продовжений проект)
• Довжина побудованих доріг (проект з дорожнього будівництва)
• Встановлені електрогенератори та лінії електромереж (проект з електрифікації сільських районів)
• Вжиті заходи з контролю над забрудненням, або постанови, введені в дію (проект з контролю над забрудненням або поліпшення якості повітря або води).
ПОКАЗНИКИ ВПЛИВУ І РЕЗУЛЬТАТІВ. Показники впливу і кінцевих результатів вимірюють кількість і якість результатів, досягнутих за рахунок надання товарів та послуг в рамках проекту. В залежності від типу проекту, до них можуть належати:
Світовий Банк не вимагає розробляти показники, дотримуючись лише даної схеми
• Зниження захворюваності (через вакцинацію)
• Удосконалення методів ведення сільського господарства (через проведення інструктажів)
• Посилення використання транспортних засобів та дорожнього руху (через будівництво або поліпшення доріг)
• Збільшення постачання та споживання електроенергії у сільській місцевості (через розширення електромереж)
• Скорочення смертності або зменшення витрат на охорону здоров'я (через покращення способу життя сім'ї або харчування чи якості повітря і води).
ПОКАЗНИКИ ВІДПОВІДНОСТІ. Деякі проекти спрямовані на досягнення цілей вищого порядку, що не входять до прямих показників кінцевого результату, як ті, що описані вище. Наприклад, деякі проекти мають національні або секторальні цілі, тому їх вплив має оцінюватися на відповідному рівні. Проекти також можуть мати незапланований і, часто, негативний вплив. Його також необхідно включити у дослідження з оцінювання. Показники відповідності оцінюють також тенденції в рамках більш широкої політичної кон’юнктури, на яку має бути спрямований вплив проекту. Якщо це стосується проекту, ці показники теж можуть бути використані. В залежності від типу проекту, до них можуть належати:
• Покращення рівня здоров'я населення, що оцінюється показниками охорони здоров'я (за допомогою підвищення якості медичних послуг, покращення результативності системи охорони здоров'я)
• Збільшення прибутку фермерських господарств та зниження цін на продовольство (на основі вдосконалення методів ведення сільського господарства)
• Скорочення транспортних витрат та посилення розвитку економіки (за допомогою будівництва або поліпшення доріг)
• Підвищення темпів економічного зростання і розширення споживчого добробуту (за допомогою електрифікації, обмеження забруднення, та ряду інших інноваційних технологій).
Система показників, виведених з логічної структури, оцінює відповідність результатів проекту, а також його кінцевих результатів та впливу (див. рис. 3). Однак такі наслідки може бути важко віднести на рахунок окремих результатів проекту. Тому оцінювання результатів в рамках моніторингу Світового Банку обмежується визначенням впливу проекту у порівнянні з поставленими цілями. При цьому, як зазначалося вище, показники відповідності відповідають цілям секторального або національного масштабу.
Показники ризику
Показники ризику оцінюють стан екзогенних факторів, що є критичними, за допомогою аналізу ризиків та чинників (ризиків і сприятливих факторів), що виконується в рамках економічного аналізу проекту. Це фактори, що найбільш імовірно, матимуть безпосередній вплив на кінцеві результати різних аспектів проекту (наприклад, економічно вигідні ціни на електроенергію або конкурентноздатна заробітна плата для співробітників проекту) – вони являють собою припущення щодо зовнішніх умов проекту. Досягнення цілей проекту можливе, лише тоді, коли логічні відносини «засоби-ціль» між елементами проекту є надійними, а зовнішні фактори ризику - сприятливими.
Показники дієвості
Показники дієвості свідчать, наскільки результати на одному рівні виконання проекту, були втілені у результати на наступному рівні: дієвість задіяних ресурсів, дієвість продуктів проекту, сталість впливу проекту. Вони оцінюють дієвість проекту скоріше у досягненні його цілей, а не результатів. Логічно-структурний підхід іноді використовує такі засоби поряд з безпосередніми показниками результатів.
Оцінка результатів в рамках моніторингу Світового Банку обмежується впливом проекту відносно його завдань: працівникам Банку не ставиться за мету оцінювати сталість, результативність або ефективність, як частини контролю або Звітності про завершення виконання, натоміть вони повинні дотримуватись показників «безпосередніх результатів». Однак показники дієвості (використання ресурсів, наприклад, організацією) проекту можуть відповідати показникам результатів, якщо дієвість є ціллю проекту. Більше того, ДОО використовує ці засоби оцінювання при проведенні оцінки результативності виконання проекту. Тому у даний посібник включені тлумачення цих показників.
ПОКАЗНИКИ ЕФЕКТИВНОСТІ. Показники ефективності, як правило, являють собою співвідношення задіяних ресурсів на одиницю виробленої продукції, - наприклад, матеріальних ресурсів, коштів, чи праці на одиницю виробленої продукції. Показники звітності (які переважно є предметом проектного та фінансового аудиту) можуть разом розглядатися як підсистема показників ефективності. Вони використовуються для оцінки наявності ресурсів та їх адекватного використання під час проведення заходів, для яких вони були надані.
ПОКАЗНИКИ РЕЗУЛЬТАТИВНОСТІ. Показники результативності, як правило, являють собою співвідношення продуктів (або ресурси, що використовуються для отримання продуктів) на одиницю кінцевих результатів або впливу проекту, або ступінь впливу продуктів на результати та впливи проекту.
Наприклад:
• Кількість проведених щеплень (або їх вартість) з розрахунку на одиницю зниження захворюваності (попередження захворюваності) або на одиницю зниження смертності
• Кількість фермерів, для яких було проведено інструктаж, і які здійснили вимірювані зміни у фермерській діяльності (кількість господарств, що ввели нові методи господарювання), або кількість фермерів, що ввели нові методи господарювання на одиницю збільшення продуктивності господарювання
• Довжина побудованих доріг в розрахунку на одиницю збільшення використання транспортних засобів, або використання нових доріг в розрахунку на одиницю зменшення заторів.
ПОКАЗНИКИ СТАЛОСТІ. Показники сталості відображають сталість переваг проекту в часі, зокрема після закінчення його фінансування. До таких можна віднести, наприклад:
• Тенденції захворюваності після закінчення зовнішнього фінансування проекту з вакцинації
• Збереження нових методів ведення сільського господарства після закінчення інструктажів
• Проведення ремонтів та подальша експлуатація доріг після закінчення проекту з їх будівництва
• Функціонування установ (програм, організацій, взаємин і т. д.), створених з метою досягнення вигод проекту.
Методи оцінки результативності виконання проекту
Інформація щодо результативності виконання проекту, що оцінюється відповідно до впливу, результату, продукту, задіяних ресурсів, ефективності та показників ризику може бути виражена та зібрана по-різному. Вибір показника та засобів збору інформації залежить від наявності даних, часових обмежень та аналізу витрат і вигод, а також співвідношення між змінними.
Безпосередні міри оцінювання
Безпосередні міри оцінювання повністю співпадають з результатами на будь-якому рівні виконання проекту. Наприклад, кількість поставлених товарів або кількість обслугованих клієнтів є безпосередніми мірами оцінки продукту, зміна поведінки бенефіціара є безпосередньою мірою оцінки результату проекту, а зниження коефіцієнту дитячої смертності є безпосередньою мірою впливу проекту. Ця змінна може служити показником результатів на будь-якому з різних рівнів (ресурси, продукт, результат або вплив), в залежності від цілей проекту.
Непрямі міри оцінювання
Непрямі міри оцінювання є менш точними, ніж прямі, стосовно очікуваної результативності виконання. Їх часто застосовують у випадку, коли використання безпосередніх мір є надто складним, незручним або дорогим. Непрямі міри оцінювання ґрунтуються на відомому співвідношенні між змінною результативності виконання та мірою оцінювання, що має її відображати, наприклад, використання нижчих цін сільгоспвиробника як непрямого показника зростання продуктивності сільського господарства, використання зниження тарифів на вантажні перевезення або таксі в якості непрямого показника зменшення кількості заторів, або використання зменшення кількості скарг споживачів в якості непрямого показника покращення обслуговування.
Попередні показники: проміжні та провідні показники
Часом інформацію про ймовірні результати проекту необхідно отримати раніше за надходження даних про остаточне виконання проекту. В інших випадках вона має важливе значення для визначення того, чи рухається проект в правильному напрямку, хоча остаточних результатів ще не досягнуто. В обох випадках проміжні або провідні показники дозволяють здійснити попередню оцінку результативності виконання (Рис. 4).
Джерело: Team Technologies, Inc.
Проміжні показники оцінюють проміжні результати або проміжні кроки на шляху до досягнення цілей проекту. Вони, як правило, оцінюють зміни, пов'язані з бажаним кінцевим впливом, інформація про який може бути отримана заздалегідь. Наприклад, закупівля добрив може бути використана в якості попереднього показника зміни методів ведення сільського господарства, або підвищення культури споживання харчових продуктів може розглядатися як показник поліпшення харчування. Проте необхідно мати на увазі два аспекти. По-перше, проміжні показники часто являють собою попередні причинно-наслідкові зв’язки, тому їх ефективність залежить від обґрунтованості гіпотези, що пов’язує ці заходи з остаточним результатом виконання проекту. По-друге, проміжні показники іноді відображають результати початкових або окремих частин програми, тому їх ефективність залежить від їх репрезентативності.
Крім того, іноді можна визначити провідні показники (або індекси показників), що чітко пов'язані з більш довгостроковими результатами. Хоча концептуально вони й подібні до проміжних показників, провідні показники, як правило, мають багато сфер використання та статистично обґрунтовані дані щодо їх вірогідності (наприклад, американський індекс провідних економічних показників).
Кількісні та якісні показники
Для багатьох проектів, що фінансуються Банком, показники впливу, результату, продуктів та задіяних ресурсів легко відобразити в цифровому вигляді, тобто оцінити відповідно до певних числових значень. Звичайно вони є основою для розрахунків ставки економічної рентабельності та чистої наведеної вартості. В ході її виконання система моніторингу та оцінювання проекту, або фінансованого закладу може надати ці дані, наприклад, реєструючи кількість студентів, зарахованих до вищих учбових закладів та частоту повторного зарахування, кількість фермерів, яких відвідали працівники та провели заняття або кількість спожитого палива, проданої електроенергії, або амортизованої техніки. Неважко отримати дані про довжину побудованих доріг, зібране мито, об’єм транспорту на дорогах і т. д. Власне тому існує небезпека отримання надлишкової інформації. У деяких випадках витрати на збір даних про кінцеві результати проекту доволі великі, - наприклад, для оцінки досягнень у сфері освіти може виникнути необхідність у розробці нової системи. Важливо до початку збору інформації визначити, наскільки точною та своєчасною має бути інформація, хто буде проводити її збір та скільки це потребуватиме коштів.
Проте, результати та вплив проекту можуть не відображатись у вигляді безпосередньо вимірюваної числової інформації. Вони можуть більше проявлятися в плані відносин бенефіціарів. Наприклад, чи мають батьки тепер можливість спрямовувати більше ресурсів на освіту дітей? Чи стала вищою мораль викладачів? Проте чисто описове вираження цих наслідків може виявитися недостатнім для оцінки результатів. Можливо, необхідно буде розробити способи оцінювання результатів та впливу в кількісному вираженні, переводячи якісний опис в кількісну інформацію. Подібну трансформацію можна здійснити за допомогою таких методик дослідження, як оцінка бенефіціара, швидка оцінка сільськогосподарських угідь, або опитування фокус-груп відповідно до структурованих питань. Інформацію, отриману за допомогою цих методик, можна використовувати для розрахунку номінальних оцінок, ранжування категорій, а також частотних підрахунків. Також можна використовувати інтервальну шкалу та шкалу оцінок. Потенціал для кількісного вираження інформації про результати проекту не слід недооцінювати.
Масштаб оцінки
Масштаб оцінки пов’язаний із застосуванням вибіркових груп населення. Показники результативності виконання проекту іноді безпосередньо оцінюють результати для всієї цільової групи населення (осіб або організацій) на основі адміністративних даних, спостережень, даних перепису. Часто, однак, масштаб оцінки обмежується вибіркою цілей або майданчиків. Такий підхід ставить додаткову технічну проблему: наскільки вірогідним буде статистичне прогнозування виконання проекту в цілому на основі даного зразка? Іноді виконання вимірюється тільки по одному параметру проекту, або лише по декількох, як у випадку заміни статистичної вибірки ситуаційним дослідженням. Хоча ситуаційні дослідження можуть дати корисну інформацію про те, як проекти працюють (або чому не працюють так, як очікувалося), та як можна їх удосконалити, слід переконатися (і навіть більше, ніж при використанні вибірок), що результати, отримані з одного майданчика, не видаються за показники результативності виконання проекту в цілому. Відповідно, подібні ситуаційні дослідження, як правило, проводяться в контексті спеціальних досліджень (див. нижче), а не в якості заміни більш широких показників результативності виконання проекту.
Спеціальні дослідження
Іноді поточні дані з моніторингу та оцінювання проекту не надають достатньої інформації. Якщо виникає несподівана проблема, то проведення додаткового поглибленого аналізу за допомогою спеціальних досліджень може вказати шляхи до її вирішення та запобігання її виникненню в майбутньому. Спеціальні дослідження – це змістовне оцінювання причин та передумов виникнення проблеми, цим воно відрізняється від показників моніторингу, які є частиною системи завчасного попередження. Наприклад, керівникам проектів, можливо, необхідно більше дізнатися про причинно-наслідкові зв'язки між продуктами проекту, його кінцевими результатами і впливом, особливо, коли показники свідчать про те, що більш широкі цілі даного проекту не досягнуті, навіть незважаючи на те, що його заплановані продукти були отримані. У такому випадку, очевидно, десь виникла похибка: логіка проекту може бути помилковою, припущення з приводу ризиків і сприятливих факторів можуть бути недійсними, або може не вистачати важливого ресурсу.
Спеціальні дослідження часто надають важливий поштовх для реорганізації проекту та проведення дискусій на вищому політичному рівні.
Загальні принципи вибору показників.
При виборі показників слід керуватися трьома загальними принципами: показники повинні бути змістовними та відповідними, необхідно вчасно розробити надійну систему для збору потрібних даних, а також слід врахувати інституційний потенціал позичальника для використання системи моніторингу та оцінювання та його готовність до цього. Ці загальні принципи передбачають наступні міркування: 9
• Відповідність. Відібрані показники повинні відповідати базовим цілям секторального розвитку цього проекту, і, за можливості, загальним цілям розвитку країни.
• Селективність. Показники, вибрані для моніторингу, повинні бути нечисленними і змістовними. Для Світового Банку рекомендується проводити моніторинг не більше дванадцяти показників, принаймні половина з них має бути показниками впливу, які прямо оцінюють вплив проектів відповідно до кожної основної мети розвитку.
• Практичність показників, власність позичальника та збір даних. Якщо показники результативності виконання змістовно відображають цілі проекту, вони повинні спільно обиратися позичальником та Банком в ході співпраці по підготовці проекту, а дані, які вони оцінюють, мають бути корисними як для потреб проекту, так і країни. Дані, необхідні для формулювання ключових показників, повинні бути легко доступними, а якщо збір таких даних вимагатиме особливих зусиль, подібну необхідність треба передбачити на ранніх етапах циклу проекту та включити до проектних розробок. Проведення заходів із збору даних потім може бути заплановано безпосередньо в ході виконання проекту або передано установам, які займаються проведенням досліджень на секторальному, регіональному або національному рівнях.
• Проміжні та провідні показники. За відсутності більш визначених показників впливу, попередні показники впливу розвитку можуть бути використані в ході реалізації проекту для оцінки досягнення цілей проекту. У багатьох випадках показники кінцевих результатів та показники факторів ризику можуть слугувати в якості достатніх проміжних або провідних показників впливу.
• Кількісні та якісні показники. Наскільки це можливо, показники результативності виконання повинні передбачати кількісну оцінку впливу розвитку. Для деяких цілей проекту (наприклад, розбудова спроможності) може бути необхідним розробити якісні показники для оцінки успіху, які, тим не менш, мають передбачати достовірність та неупередженість моніторингу. (Більш детальну інформацію про перетворення якісних показників у кількісні оцінки якісних аспектів, які є предметом дослідження, див. на стор. 16-17.)
Труднощі при визначенні показників
У попередньому розділі описані різні типи показників, які використовуються для оцінки ступеню результативності виконання проекту. Однак, іноді буває важко розрізнити, наприклад, продукти та результати проекту або ж його результати та вплив. При визначенні показників необхідно орієнтуватися на типологію показників як на діапазон, що відображає логічний взаємозв’язок засобів і цілей проекту: ресурси, задіяні у різних заходах, які приносять продукти, які, в свою чергу, сприяють отриманню результатів та впливу. Тип показника визначається конкретними логічним зв’язком зі стратегічною метою проекту, яку він втілює.
Візьмемо, наприклад, проект по розповсюдженню сільськогосподарських знань. Два можливих показники – це кількість навчених фермерів, і кількість фермерів, що перейняли рекомендовані методи.
Другий показник, безумовно, відноситься до результату, а перший? Підготовка кадрів є продуктом проекту, але це також потенційний ресурс для вдосконалення методів ведення сільського господарства. Цей приклад свідчить про необхідність розгляду показників як діапазону, коли ресурси за допомогою певних заходів втілюються у певні продукти, що призводять до бажаних результатів та впливу. Не завжди легко розмежувати продукти і результати або вплив, тоді як задіяні ресурси, як правило, очевидні. Розглянемо проект, який має на меті поліпшити зайнятість серед дівчат через розширення їх доступу до загальної та професійної освіти. Показником продукту буде кількість дівчат, які закінчили середню школу та професійно-технічні училища, а показником результату буде кількість дівчат-випускниць, що влаштувалися на роботу завдяки проекту, а показником впливу буде сума їх доходів відносно попередніх доходів або по відношенню до середнього заробітку у цій соціальній групі.
Труднощі оцінки впливу
Показники впливу найважче виміряти та зібрати в основному через затримку між впровадженням проекту та його впливом, або, іншими словами, між моментом здійснення впливу і моментом, коли стає можливим зібрати дані, що стосуються впливу. Але моніторинг впливу проекту в ході виконання – це одна з основних мотивацій для використання показників моніторингу виконання. Використання провідних і проміжних показників як засобів передачі впливу є одним із шляхів вирішення проблеми оцінювання.. Корисні методи збору якісних даних про вплив – це оцінка бенефіціара, швидка оцінка сільськогосподарських угідь, або опитування у фокус-групах. До і після цього чудовим інструментом для збору повної інформації про вплив є дослідження на основі домогосподарства та громади, але пов’язані з ним часові та фінансові витрати роблять його недоцільним для регулярного моніторингу проекту. Найчастіше такі методи використовуються при визначенні проекту, на етапі проміжних перевірок (таких, як середньостроковий огляд), при завершенні виконання, а також для підсумкової оцінки.
Взірцеві орієнтири та їх співставлення на міжнародному рівні.
При виборі показників в ході підготовки та оцінки проекту, позичальник (у разі необхідності, з допомогою Банку) може використовувати базові та порівняльні дані з інших програм для визначення цілей, прогрес у досягненні яких буде визначатись із застосуванням показників в процесі моніторингу, - тобто мінімальних значень, які передбачається досягти. Деякі з переліків показників, виданих Центральними Віце-президенствами Банку забезпечують дані для співставлення, показуючи які саме значення є найвищими і найнижчими для даної перемінної. Співробітники Банку мають проводити консультації з відповідними секторальними департаментами Центрального Віце-президентства з приводу вибору показників для проекту та радитись стосовно цілей.
Як показники моніторингу результативності виконання проекту впливають на роботу Банку?
Показники відіграють ключову роль у діяльності Банку, починаючи від діяльності на економічному і секторальному рівнях і, продовжуючи на протязі повного циклу проекту аж до підсумкової оцінки.
Економічна та секторальна роботи
Секторальні показники результативності виконання можуть бути і розроблені на основі аналізу, і використовуватись для аналізу в рамках проведення економічної і секторальної роботи, а пізніше - для інформування щодо розробки проекту, моніторингу впливу проекту, а також щодо секторального моніторингу. Крім забезпечення логічної структури при оцінюванні секторальної результативності, секторально-специфічні показники результативності виконання можуть бути корисними для осіб, які розробляють і приймають політичні рішення, керівників проектів та співробітників Банку для покращення стратегії надання допомоги та кредитування країни, а також при створенні системи моніторингу заходів проекту (див. нижче). Секторальні показники, отримані під час роботи в секторі або із загальнодоступних секторальних даних, особливо корисні на етапі визначення проекту та його оцінювання для уточнення цілей проекту та для наступної оцінки впливу проекту.
Проектний цикл
На рис. 5 продемонстровано, як показники, що використовуються для моніторингу результативності виконання проекту відповідають проектному циклу.
Визначення, підготовка та попередня оцінка проекту
Планування проекту розпочинається з визначення цілей, які відображають бажаний вплив проекту на процес розвитку; дані цілі можуть бути ієрархічно організовані, але вони мають бути визначені за допомогою оцінюваних цільових показників, на яких будуть ґрунтуватись показники виконання результативності виконання проекту. Поставлені цілі визначають початковий перелік показників під час планування проекту та розробки його структури.
В рамках цієї проблеми, аналізу бенефіціарія та цілей, необхідно обговорити з позичальником та іншими зацікавленими сторонами ряд питань: Чого ми намагаємось досягти? Як оцінити наші досягнення? Які типи показників і оцінок нам потрібно розробити? Які цільові значення слід використовувати?
Процес відбору показників результативності допомагає позичальникам і співробітникам Банку чіткіше визначати задачі проекту, ставити цілі, які можна виміряти і забезпечувати, щоб заходи проекту логічно призводили до реалізації його цілей. У ході підготовки проекту необхідно виробити чітке уявлення про базові значення показників впливу та заплановані цільові значення впливу розвитку даного проекту, а також про засоби для оцінки досягнень (логічні ланцюг показників).
Ці заходи допомагають позичальникові та Банку оцінити реалістичність завдань проекту та визначити наявність даних для оцінки показників і методи їх збору. (В наступному розділі обговорюються питання, пов'язані з визначенням цілей та оцінкою даних.) Зосередивши увагу на тому, як виміряти кількість і оцінити вплив на даному етапі, допомагає позичальнику та Банку покращити розробку та узгодженість компонентів проекту для досягнення бажаних результатів з якомога меншими витратами.
Рис. 5. Показники результативності та проектний цикл
Ці заходи також можуть свідчити про необхідність розвитку моніторингових потужностей до початку виконання проекту або створення структур моніторингу та оцінювання під час виконання проекту.
Оцінка та переговори
Після закінчення планування проекту його цілі закріплюються у конкретних компонентах проекту. Тоді ж закінчують розробку показників для вимірювання поступу у досягненні кожної цілі та для моніторингу постачання задіяних ресурсів, стану ризиків і сприятливих факторів, виявлених в ході аналізу економічної чутливості та ризиків.
План виконання, розроблений позичальником та оцінений Банком, має включати показники моніторингу результативності виконання проекту: задіяні ресурси, продукти, результати та показники впливу для кожного аспекту реалізації проекту. Під час оцінки позичальник і Банк погоджують не більше шести найбільш важливих показників задіяних ресурсів та продукту і приблизно таку ж кількість показників результатів і впливу - ключових показників виконання результативності виконання проекту, моніторинг яких буде здійснюватись Банком. Дані показники, в якості узгоджених орієнтирів , а не обов’язкових цілей, вносяться до оціночної документації проекту, а також до юридичної угоди, яку Банк укладає з організацією, відповідальною за виконання проекту (див. Процедури 10.00 Світового Банку , Додаток B та відповідні робочі меморандуми). У випадках, коли визначені орієнтири є критичними для досягнення цілей проекту, позичальник і банк можуть також, за бажанням, зробити їх обов’язковими у кредитній угоді (див. стор 26).
Виконання та контроль
Під час виконання проекту позичальник та виконавчий підрозділ проекту здійснюють моніторинг показників, визначених в ході розробки проекту, відповідно до графіку плану виконання. У ході регулярних перевірок та середньострокового огляду Банк здійснює моніторинг ключових показників, визначених і узгоджених з позичальником під час оцінки проекту. Ці показники лежать в основі оцінки Банком ходу виконання (IP- рейтинги) і впливу (ціль розвитку, або DO-рейтинги) згідно Форми 590. Якщо початково розроблені для проекту показники, стають невідповідними через зміни зовнішніх умов або структури проекту, то банк і позичальник розробляють нові показники з урахуванням обставин, що змінилися.
Оцінювання
Після завершення виконання проводиться оцінювання досягнутих цілей проекту за допомогою вимірюваних показників, розроблених під час планування проекту, а саме, впливу і результату, які порівнюють фактичний вплив проекту із запланованим. Використання показників позбавляє процес оцінювання суб'єктивності та надає йому більш об'єктивної основи.
Показники результативності та управління проектом
Логіка структури проекту визначає логіку моніторингу: виконавчий підрозділ здійснює більш докладний моніторинг задіяних ресурсів та продуктів, ніж держава-позичальник чи Світовий Банк. Керівники виконавчого підрозділу, в першу чергу, мають займатися тактичними аспектами виконання проектів, у той час як позичальники та співробітники Банку більше зацікавлені у стратегічних наслідках виконання проекту та альтернативних варіантах для виконання завдань проекту.
Для задоволення різноманітних інформаційних потреб всіх зацікавлених сторін, показники результативності, як правило, повинні бути ієрархічно структуровані. Таку структуру можна досягти через гніздові мережі інформаційних систем результативності, що частково перекриваються між собою, і в яких показники результативності нижчого рівня підсумовуються або вибірково узагальнюються і утворюють основу інформації більш високого рівня. У наступних розділах описані різні показники результативності виконання проектів та інформаційні потреби різних суб'єктів, відповідальних за виконання проекту. (Ця інформація наведена у секції 6.)
Виконавці на робочому рівні
Керівники виконавчих підрозділів у першу чергу пов’язані із методами, які використовуються в ході виконання конкретного проекту або компоненту програми. В рамках своїх відносно вузьких повноважень вони мають знати про доступність необхідних ресурсів (людські, фінансові та матеріальні), і про виробництво запланованих продуктів(товари та послуги). Вони також мають знати, що ці ресурси використовуються на законних підставах, відповідна фінансова звітність забезпечена, і що ресурси ефективно перетворюються в продукти. Керівникам виконавчих підрозділів на місцях також необхідна, принаймні, деяка інформація про кінцеві результати і вплив програми, тобто, вони повинні знати, наскільки отримані продукти і результати відповідають запланованим для того, щоб вони могли покращити виконання проекту та отримали мотивацію для досягнення кращих результатів. .