Методическое пособие по теме «Оценка программ с участием общественности»

Вид материала

Содержание

Виды оценок
Сроки проведения
Достаточность времени.
Критерии оценки гуманитарной помощи
Подсказки по выбору методологии оценки
Необходимо получить ответы на следующие методологические вопросы
Разнообразие методов и техник оценки
Подготовка индивидуального исследования

Подобный материал:

1 ... 14 15 16 17 18 19 20 21 22

Виды оценок

(приведенные ниже виды оценок не являются взаимоисключающими)

Тематическая	Оценка разработки одной темы, например, темы пола или окружающей среда ы целом ряде проектов или программ на уровне одной страны, или в разных проектах одной организации. Часто называется сквозной оценкой. Предпренимается для развития и улучшения стратегии.
Секторная	Помощь определенному сектору, например, здравоохранению или общественному питанию. Как и при тематических оценках, подобные оценки охватывают многие проекты и программы на уровне одной страны.
Секторно -программная	Секторная или помощь одной стране.
Самооценка	Короткое однодневное или двухдневное мероприятие во время реализации проекта для обзора полученных уроков, возможно с привлечением постороннего фасилитатора.
Текущая	Связана с привлечением одного из сотрудников агенства к постоянному участию в текущем проекте для оценки разворачивающихся событий.
Оценка процесса	Оценка внутренней динамики организаций-исполнителей, то есть их политических средств, их механизмов реализации проекта, их навыков менеджмента и взаимодействий между этими процессами.
Общенациональная программа	Все виды помощи (проектные и непроектные) в одной стране.
Синтез	Синтез данных полученных при различных оценках отдельных проектов и программ.
Совместные	Проводимые совместно партнером или другими спонсорами
Оценка воздействия	Фокусируется на воздействии помощи, а не на способах ее оказания. Обычно, но не всегда, выполняется через некоторе время после завершения проекта.
Оценка участниками	Оценка проводится первичными заинтересованными лицами, обычно получателями помощи или совместно с ними.
Стратегическая	Рассматривает логический подход, убеждения и предположения, которые делают отдельные проекты возможными и желательными. Оценки стратегии направлены на выявление областей напряжения или противоречий в целях стратегии с помощью таких инструментов как дискурсивный анализ.

Название оценки
Агентство-заказчик
Дата сдачи отчета
Фамилия и должность оценщика
Причина оценки
Дата оценки

Раздел 1. Референтные термины оценки, выбор времени и команды. (Этот раздел может служить памяткой для специалистов по оценке, когда они готовят референтные термины. Это может также помочь определить, возможно ли провести оценку рассматриваемой инициативы).

1.1 Референтные термины оценки
Местность проверки	Правила	Комментарии	Баллы
i. Стоимость оценки?	Референтные термины в целях прозрачности должны описывать бюджет оценки, предпочтительно указывая процентное соотношение стоимости оценки со стоимостью всего проекта.
ii. Качество референтных терминов, применяемых к оцениваемому проекту?	Референтные термины должны предоставлять достаточно деталей (включая обзор контекста, цель воздействия и ключевых заинтересованных лиц), чтобы дать возможность правильно анализировать.
iii. Качество референтных терминов, связанных с целью оценки?	Референтные термины должны объяснять главную цель/мотивы (например, требования спонсоров, подотчетность, обратную связь, усиление сообщества). Когда ставятся разные цели, отчет оценщиков должен содержать информацию о достижении всех этих целей.
iv. Качество референтных терминов, связанных с основной направленностью оценки?	Референтные термины должны ясно отражать направленность оценки (например, вклад партнера, программу, политику организации, проект, анализ работы учреждения, деление на секторы, координированность).
v. Качество референтных терминов, связанных с оценкой качества процедур в общемподходе и методе?	Референтные термины должны прояснить ожидания агентства-заказчика от качества процедур (например, применение критериев DAC^⁴, применение международных стандартов, включая международное право, многоуровневый подход, то есть, качественный и количественный, консультации с ключевыми заинтересованными лицами^⁵ для ознакомления с данными, выводами и рекомендациями, гендерный анализ). Удовлетворительная или высокая оценка должна присуждаться только тогда, когда на все описанные выше вопросы были получены адекватные ответы, или оценщик доказал, что некоторые из них не имеют значения.

vi. Качество референтных терминов, связанных с пользователями результатов оценки?	Референтные термины должны уточнять предполагаемое использование оценки и пользователей, а также лиц и отдел, ответственных за отслеживание обратной связи.
vii. Качество референтных терминов, связанных с формой отчета оценки?	Референтные термины должны описывать желательную форму и состав отчета (например, отчет должен включать резюме исполнения, основной текст - методологию, анализ контекста, полученные данные, выводы, рекомендации; Приложения - библиографию, список респондентов, специализацию членов команды)
viii. Сроки проведения оценки?	Сроки проведения Референтные термины должны обосновывать временные рамки оценки. Оценка должна производиться за такой срок, за который можно получить полезные результаты для ключевых заинтересованных лиц и конечных пользователей. Достаточность времени. Время должно быть достаточным, чтобы отработать методы; сделать обзор истории организации, оценить информацию о контексте; выполнить полевые исследования; предпринять анализ на всех стадиях оценки и сформулировать отчет. Раздел «Комментарии» должен сообщать о невыполнении референтных терминов.
ix. Качество референтных терминов, связанных с уточнением процедур?	Процесс прояснения процедур агентству-заказчику и команде оценщиков, в плане обзора контекста, общей схемы работы, подхода, методов и т.д. должен быть описан в отчете и все видоизменения должны отмечаться отдельно.

1.2 Команда оценщиков
Местность проверки	Правила	Комментарии	Баллы
i. Природа, состав и профессиональная пригодность команды оценщиков?	Отчет оценщиков должен описывать а. процедуру отбора (например, конкурс, рекламное предложение), b. природу оценки (например, внешняя оценка или смешанная) и состав команды (например, экспертизу ее членов) и с. обоснованность выбора (например, беспристрастность, акцент на обучении). Состав команды должен соответствовать проблемным областям, которые необходимо знать, включая понимание местных особенностей. Удовлетворительная или высокая оценка должна даваться, если выполняются условия а.-с.

Раздел 2. Подход к оценке и методология (этот раздел может служить памяткой для специалистов по оценке, когда они решают, какой подход/методологию они будут использовать).

Местность проверки	Правила	Комментарии	Баллы
i.Правильность общего подхода к оценке?	Общий подход к оценке должен быть четко сформулирован и его правильность, связанная с главной целью оценки, фокусом внимания и конечными пользователями, должна быть объяснена. Удовлетворительная или высокая оценка должна присуждаться только тогда, когда отчет связан с более широким подходом к оценке (например, оценка, ориентированная на подотчетность, на использование, на усиление организации), и отмечает сильные и слабые стороны подхода.
ii.Правильность выбранных методов оценки?	Отчет оценщиков должен давать ясное описание методов оценки, обосновывать их выбор в соответствии с главной целью оценки и потребностями конечных пользователей, а также отмечать возможные ограничения этого выбора. Удовлетворительная или высокая оценка должна присуждаться только тогда, когда используется многоуровневый подход (качественный и количественный). Применение критериев DAC; соответствие международным стандартам, включая международное право; консультации с ключевыми заинтересованными лицами для ознакомления с полученными данными, выводами и рекомендациями; привлечение третьей организации к проверке; гендерный анализ должны быть адекватно проведены или оценщик должен доказать, что они не имеют значения.
iii.Правильность применения критериев DAC и обоснованность их применения?	Отчет оценщиков должен обеспечивать ясное описание того, как будут применяться критерии DAC, и по каким причинам. Там, где один из критериев считается несущественным, оценщики должны доказать это в обосновании формы отчета.
iv.Приняли ли во внимание ограничения?	Отчет оценщиков должен описывать ключевые ограничения, возникающие во время оценки (недостаток времени, трудные транспортные условия, недостаток первичных данных, плохая система мониторинга агентства, недостаточный доступ к ключевым информационным источникам, трудности создания контрольных групп, трудности перевода), и влияние этих ограничений.
v.Была ли учтена предвзятость оценщиков?	Отчет оценщиков должен описывать их ценности или предвзятость, которая может повлиять на оценку.
vi.Учитывается ли конфиденциальность и дается ли возможность сохранить достоинство?	Отчет оценщиков должен описывать, как общий подход и методы защитят конфиденциальность и сохранят уважение к заинтересованным лицам, их чувства собственной ценности.

Раздел 3. Анализ контекста (Этот раздел можно использовать как памятку для специалистов для оценки при составлении внутренних документов и определении внутренней политики, и процедур, используемых в качестве первичных и вторичных источников информации)

Местность проверки	Правила	Комментарии	Баллы
i. Качество анализа контекста?	Отчет оценщиков должен давать ясный анализ пострадавшего населения и местности (например, анализ истории, социальной жизни, экономики, политики и культуры). Удовлетворительная или высокая оценка должна зависеть от степени правильности анализа контекста в проекте.
ii. Качество анализа прошлых проектов агентства и его местных партнеров?	Отчет оценщиков должен давать ясный анализ прошлых акций и главных областей работы агентства-заказчика и его местных партнеров, охватывающий достаточно длинный срок, чтобы понять положение агентства (например, 3 года).
iii. Качество анализа кризиса, на преодоление которого направлен проект?	Отчет оценщиков должен описывать четкую хронологию и анализ ключевых событий (например, составить график событий во время кризиса). Удовлетворительная или высокая оценка должна присуждаться тогда, когда отчет или приложения содержат такую хронологию.

Раздел 4. Анализ вмешательства (Этот раздел может служить памяткой для выяснения высокого или низкого качества процедур и обзора черновых вариантов отчета).

4.1 Особенности учреждения
Местность проверки	Правила	Комментарии	Баллы
i. Качество оценки правил и принципов агентства?	Отчет оценщиков должен давать ясный анализ соответствия проекта политике и принципам агентства, и описывать их значимость для результатов вмешательства.

ii. Качество оценки работы менеджеров агентства и кадровой работы?	Отчет оценщиков должен давать четкий анализ кадровой политики и процедур агентства (например, исследовать уровень опыта/экспертизы полевых исследователей; процедуры найма; текучести кадров; взаимоотношения между главным офисом и полевыми исследователями; менеджмент и привлечение национальных кадров; процедуры брифинга и дебрифинга; учебные программы; службу безопасности), их влияние и значимость для результатов вмешательства.
4.2 Оценка потребностей, цели, планирование и выполнение
Местность проверки	Правила	Комментарии	Баллы
i. Качество оценки потребностей и жизненных условий, на основе информации, полученной во время вмешательства?	Отчет оценщиков должен обеспечить четкий анализ потребностей и жизненных условий, на основе информации, полученной во время вмешательства (например, рассмотрение местных и национальных условий; привлечение к участию первичных заинтересованных лиц) и их влияние на результаты вмешательства.
ii. Качество оценки целей вмешательства?	Отчет оценщиков должен содержать информацию о целях вмешательства в связи с анализом контекста и потребностей/жизненных условий.
iii. Качество оценки планирования вмешательства (включая дизайн проекта)?	Отчет оценщиков должен содержать четкий анализ процедур планирования (например, внимание к местным условиям; местные и национальные партнерства (критерии отбора, целостность политики, финансовые обязательства); участие первичных заинтересованных лиц) и их влияние на результаты вмешательства. Удовлетворительная или высокая оценка должна присуждаться только тогда, когда на все эти вопросы получены адекватные ответы или оценщик доказал, что некоторые из них несущественны.
iv. Качество оценки процедур исполнения проекта?	Отчет оценщиков должен содержать четкий анализ процедур исполнения проекта (например, степень привлечения местных и общенациональных ресурсов, местные и общенациональные партнерства [распределение финансовых средств согласно потребностям организаций]; уровень участия заинтересованных лиц) и их влияние на результаты вмешательства. Удовлетворительная или высокая оценка должна присуждаться только тогда, когда были получены адекватные ответы на эти вопросы, либо оценщик доказал, что некоторые из них несущественны.
v. Качество оценки мониторинга и механизмов процессуальной оценки?	а. Отчет оценщиков должен содержать четкий анализ системы мониторинга проекта и механизмов оценки, и влияния этих механизмов на результаты вмешательства. б. Отчет оценщиков должен содержать анализ применяемых индикаторов. Когда вмешательство охватывает разные сферы помощи, реабилитации и/или обучения, необходимо оценить правильность индикаторов для каждого вида деятельности. В тех случаях, когда были использованы неправильные индикаторы, удовлетворительная или высокая оценка должна присуждаться только тогда, когда оценка упоминает об этих недостатках.
vi. Качество оценки затрат на вмешательство?	Отчет оценщиков должен содержать описание расходов на вмешательство, указывая процентные соотношения финансовых средств, потраченных на помощь, реабилитацию или подготовительную работу. В тех случаях, когда вмешательство охватывает помощь, реабилитацию и/или подготовительную работу, отчет оценщиков должен содержать описание необходимых расходов, распределенных по типам деятельности и источникам финансирования.
4.3 Внимание к сквозным проблемам
Местность проверки	Правила	Комментарии	Баллы
i. Качество оценки соответствия вмешательства международным стандартам?	Отчет оценщиков должен содержать анализ соответствия проекта международным стандартам, в частности процедурам планирования, исполнения и мониторинга (соответствие международному праву, законодательству о правах человека; стандартам Красного креста, законодательству для общественных организаций) и стандартам появившимся в данной области недавно (например, «сфере»).
ii. Качество оценки координационной деятельности?	Отчет оценщиков должен содержать четкий анализ координационной деятельности агентства во время вмешательства и ее влиянии на результаты. Удовлетворительная или высокая оценка должна присуждаться только тогда, когда был проведен четкий анализ координации с национальным правительством, общественными организациями (международными, общенациональными и местными) и другими агентствами, например со спонсорами и ООН.
iii. Качество оценки уровня защищенности?	Отчет оценщиков должен содержать четкий анализ внимания к уровню защищенности и влиянию на результаты вмешательства. (Термин защиты включает программные вопросы, которые являются общей заботой так же как деятельность агентств с мандатом на защиту)
iv. Качество оценки внимания к равноправию полов?	Отчет оценщиков должен содержать четкий анализ внимания к равноправию полов (например, принималось ли равноправие полов во внимание во всех значимых областях? соответствует ли вмешательство текущей гендерной политике организации?) и влияние этого на результаты Удовлетворительная или высокая оценка должна присуждаться только тогда, когда оценка указывает на недостатки гендерной политики.
v. Качество оценки внимания к уязвимым/маргинальным группам?	Отчет оценщиков должен содержать четкий анализ внимания к уязвимым и маргинальным группам (например, к старикам, инвалидам, детям, носителям вируса СПИД) и влияние этого на результаты вмешательства

Раздел 5. Анализ процедур оценки (Этот раздел может служить памяткой для прояснения эффективных процедур и обзора черновых вариантов отчета).

5.1 Применение контекстуальной информации и анализа
Местность проверки	Правила	Комментарии	Баллы
i. Качество применения контекстуальной информации оценщиками?	Отчет оценщиков должен интегрировать контекстуальную информацию, чтобы помочь анализу вмешательства. Если контекстуальная информация представлена слабо, необходимо присуждать более низкие оценки, даже если эта ограниченная контекстуальная информация хорошо интегрирована.
ii. Качество применения вторичных источников?	Отчет оценщиков должен использовать значимые вторичные источники, чтобы пополнить данные, выводы и рекомендации (например, использовать другие значимые оценки, публикации агентства и правительства, отчеты мониторинга, оценки других агентств и академическую литературу). Удовлетворительная или высокая оценка должна присуждаться только тогда, когда в отчет включен список вторичных источников.
5.2 Консультирование и участие в процессе оценки
i. Качество консультирования и участия первичных заинтересованных лиц (получателей помощи и лиц, на которых повлияет проект)?	Отчет оценщиков должен описывать природу (например, встречи один на один, фокусные группы, применяемые анкеты, связи с общественностью, семинары обратной связи) и масштаб консультаций и участия получателей помощи и лиц, на которых она повлияет (например, как производился отбор во время оценки, скольких людей опросили, сколько человек пришло на встречи, с разделением на значимые характеристики, такие как пол или этническое происхождение). Удовлетворительная или высокая оценка должна присуждаться только тогда, когда представлены доказательства адекватного консультирования и участия в процессе оценки первичных заинтересованных лиц. Либо оценщик должен доказать, что консультирование было невозможным по убедительным причинам.
ii. Качество консультаций и участия других ключевых заинтересованных лиц в процессе оценки?	Отчет оценщиков должен описывать природу (например, встречи один на один, фокусные группы, применяемые анкеты, связи с общественностью, семинары обратной связи) и масштаб консультаций с другими ключевыми заинтересованными лицами в течении процесса оценки (например, привлечение агентств, бывших агентств и местных или общенациональных партнеров, участвующих в проекте; спонсоров; местной власти). Отчет должен содержать список других ключевых заинтересованных лиц с которыми проконсультировались или которые участвовали в процессе оценки.
5.3 Применение методов, критериев и стандартов
Местность проверки	Правила	Комментарии	Баллы
i. Качество применения выборочных методов оценки?	Применение выборочных методов должно соответствовать поставленным целям и процедурным правилам, принятым в данной области (например, многоуровневому подходу и привлечению третьих лиц; адекватному консультированию с ключевыми заинтересованными лицами и гендерную чувствительность). Если произошло изменение в методологии, отчет оценщиков должен содержать описание и обоснование этих изменений.
ii. Качество применения критериев EHI при оценке вмешательства?	Отчет оценщиков должен содержать правильно применяемые критерии оценки гуманитарной деятельности: а. эффективность (включая рентабельность) б. быстрота (включая сроки проведения оценки) в. влияние г. значимость/правильность д. устойчивость, связность е. охват ж. целостность
iii. Соответствие международным стандартам?	Отчет оценщиков должен содержать анализ соответствия проекта международным стандартам, в частности процедурам планирования, исполнения и мониторинга (соответствие международному праву, законодательству о правах человека; стандартам Красного креста, законодательству для общественных организаций) и стандартам появившимся в данной области недавно (например, «сфере»).
5.4 Полученные данные, выводы и рекомендации
Местность проверки	Правила	Комментарии	Баллы
i. Качество доступности данных, полученных оценщиками?	а. предварительные данные должны обсуждаться с ключевыми заинтересованными лицами, включая первичных, по ходу оценки. б. черновой вариант отчета оценщиков должен предоставляться ключевым заинтересованным лицам и обратная связь от них должна быть включена в окончательный вариант отчета или в Приложение. Для того, чтобы получить полную обратную связь, черновой вариант отчета должен быть переведен на местный язык.
ii. Качество выводов, сделанных из полученной информации?	Выводы должны логически следовать из полученных данных. В отчет оценщиков должна цитироваться информация, которая подтверждает каждый вывод и должна содержаться информация, необходимая для ценностных суждений и либо похвалы, либо порицания.
iii. Качество (включая реалистичность) рекомендаций?	а. Рекомендации должны соответствовать главным выводам, отражать взгляды ключевых заинтересованных лиц, понимание организации заказчика и потенциальных ограничений при получении обратной связи. Они должны быть ясными, значимыми и реалистичными и содержать варианты конкретных действий. б. Отчет оценщиков должен расставлять приоритеты (например, макро- и структурные составляющие, микро- и легкодостижимые составляющие) и срок получения обратной связи, а также уточнять кто должен отвечать за это, если это не уточняется в референтных терминах.

Раздел 6. Широта охвата отчета, его правомерность и доступность (Этот раздел может служить памяткой для прояснения эффективных процедур и обзора черновых вариантов отчета).

Местность проверки	Правила	Комментарии	Баллы
i. Широта охвата отчета оценщиков?	Отчет оценщиков должен иметь достаточно широкий охват по всем областям, указанным в референтных терминах, и описывать дополнительные факторы, влияющие на исполнение.
ii. Качество формата отчета?	Отчет оценщиков должен иметь формат, соответствующий референтным терминам. Это предполагает, что формат описывался референтными терминами с самого начала после обсуждения и переговоров.
iii. Доступность отчета?	Отчет оценщиков должен быть доступен разным читателям/пользователям (быть написанным ясным языком; иметь четкий формат; разные уровни информации; быть лаконичным; содержать иллюстрации).
iv. Качество резюме исполнения?	Резюме исполнения должно содержать краткий обзор ключевых выводов оценщиков и рекомендации, а также соответствовать формату главного текста.

Раздел 7. Общие комментарии.(пишутся с информационными целями и не оцениваются в баллах)

Местность проверки	Правила	Комментарии	Баллы
i. Комментарии по проблемам неуказанным выше.	Это возможность прокомментировать вопросы, лежащие вне фокуса данной оценки.
ii. Общие комментарии по отчету.	Эта возможность сделать общий комментарий по отчету, описывая его сильные и слабые стороны.

Приложение 1

OECD/DAC критерии оценки: общие определения^⁶

Результативность " измеряет результаты - качественные и количественные - в соотношении с затраченными усилиями. Для этого необходимо сравнить альтернативные подходы к достижению подобного результата, чтобы убедиться, что был использован самый эффективный процесс".

Рентабельность "… выходит за рамки того, как затраченные усилия преобразуются в результаты, и как можно произвести другие, более значимые результаты для достижения целей проекта".

Эффективность "измеряет степень, в которой деятельность достигает своей цели или может достигать ее через некоторое время в результате проекта. Критерии эффективности связаны со сроком проведения оценки. (Поскольку, если предоставление помощи продуктами питания сильно задерживается, то ситуация пострадавшего населения с питанием сильно ухудшится). Хотя координация не является формальным критерием, Руководство OECD/DAC предлагает, что координированность действий необходимо рассматривать как часть эффективности".

Воздействие "связано с широкими последствиями проекта - социальными, экономическими, техническими, экологическими - для отдельных лиц, возрастных групп определенного пола, сообществ и учреждений".

Значимость "означает оценку того, удовлетворяет ли проект местным потребностям и приоритетам (а также значимость связана с политикой спонсоров). …связана с общей целью программы".

Правильность "представляет собой подогнанность гуманитарной деятельности к местным нуждам, усиление чувства принадлежности, подотчетность и рентабельность^⁷. … больше сосредоточена на деятельности и затраченных усилиях".

Устойчивость " измеряет, сможет ли деятельность или воздействие продолжиться после прекращения спонсорской помощи… многие гуманитарные проекты, в отличие от проектов развития, не являются устойчивыми по своему формату. Их необходимо оценивать, принимая во внимание долгосрочность воздействия в связи с удовлетворением насущных потребностей. Ларри Минеар называет это свойство связностью, потребностью "убедиться, что краткосрочные кризисные меры принимаются таким образом, чтобы они имели долговременные последствия и принимали во внимание взаимосвязанные с этим проблемы"^⁸.

Охват " потребность донести информацию до основных пострадавших групп населения, где бы они ни находились, обеспечив их поддержкой и защитой в соответствии с их потребностями и без политической предвзятости".

Целостность "потребность оценить безопасность, политику развития, торговую и военную политику, а также внутреннюю политику гуманитарных организаций, чтобы убедиться в связности (согласованности) действий, и, в особенности, убедиться, что права человека и гуманистические аспекты принимаются во внимание".

Приложение 2

Возможный формат отчета

Памятка: (проставьте галочки в ячейке для каждого компонента отчета; проставьте прочерк, если какой-то компонент отсутствует)

Вводная часть
	Титульная страница (включая дату составления отчета)
	Оглавление, включая страницы
	Список акронимов
	Абзац
	Карты, резюме шагов

Основной текст
	Введение (включая мотивацию заказчика оценки, цель исследования, охват, общий подход, методологию, список членов команды, описание ограничений проекта)
	Контекст, в котором ведется гуманитарная деятельность, гуманитарный контекст и реакция
	Полученные данные
	Выводы
	Рекомендации

Приложения
	Источники/библиография
	TOR (референтные термины)

Критерии оценки гуманитарной помощи

OECD DAC определение оценки предлагает 5 критериев, которые должны использоваться для оценки гуманитарной помощи

Критерии	Определение
Значимость/правильность	Значимость означает оценку того, удовлетворяет ли проект местные потребности и приоритеты (а также значимость связана с политикой спонсоров)* Правильность – это соотнесение гуманитарной деятельности с местными нуждами, растущими запросами, подотчетностью и рентабельностью соответственно.
Результативность	Результативность измеряет результаты - качественные и количественные - в соотношении с затраченными усилиями. Для этого необходимо сравнить альтернативные подходы к достижению подобного результата, чтобы убедиться, что был использован самый эффективный процесс. Рентабельность является более широким понятием, чем результативность, в том смысле, что при оценке рентабельности мы выходим за пределы того, как затраченные усилия соотносятся с результатами и видим, как мы могли бы произвести другие результаты более важные для достижения целей проекта.
Эффективность	Степень, в которой деятельность достигает своей цели или может достигать ее через некоторое время в результате проекта. Критерии эффективности связаны со сроком проведения оценки. Вопросы обнаружения ресурсов и подготовленности также должны быть связаны с этим критерием.
Воздействие	Воздействие связано с широкими последствиями проекта - социальными, экономическими, техническими, экологическими - для отдельных лиц, возрастных групп определенного пола, сообществ и учреждений. Влияние может быть прямым и долговременным, намеренным и ненамеренным, положительным или отрицательным, макро- (секторные) или микро- (для отдельных семей).
Связность	Связность означает необходимость убедиться, что краткосрочные действия выполняются в контексте, учитывающем долговременные цели и взаимосвязанные проблемы.
Охват	Потребность донести информацию до основных пострадавших групп населения, где бы они ни находились, обеспечив их поддержкой и защитой в соответствии с их потребностями и без политической предвзятости.
Целостность	Потребность оценить безопасность, политику развития, торговую и военную политику, а также внутреннюю политику гуманитарных организаций, чтобы убедиться в связности (согласованности) действий, и, в особенности, убедиться, что права человека и гуманистические аспекты принимаются во внимание.

*Источник: OECD DAC (2001), Руководство Alnap по критериям оценки

Компетентность оценщика и другие необходимые качества

Любознательность - открытость новым идеям.
Высокий уровень межличностного общения и аналитические навыки - в особенности, в случае сложных, кризисных ситуаций, потребность взаимодействовать с совершенно разными группами (местными властями, исполнителями из партнерских агентств, пострадавшим населением), и - все больше - взаимодействия с военными или членами вооруженных формирований, требует высочайшего уровня дипломатичности и такта.
Очевидное умение проводить интервью, желание и умение слушать, способность поддерживать дискуссию между разными группами получателей помощи и социальными организациями. Высокая наблюдательность и глубокое любопытство.
Добросовестность.
Непредвзятость.
Способность четко и систематически рассуждать.
Хорошее умение писать и профессиональные бухгалтерские навыки.
Знакомство с ежедневным ходом программы. В идеале, оценщики должны уметь работать с программной документацией, анализировать интервью и определять, были ли достигнуты поставленные цели.
Знакомство с политическим контекстом.
Внимание к сложности и ограничениям, связанным с мандатом организации.
Вызывать доверие менеджеров, которым предстоит выполнять рекомендации оценки.

(заимствовано из разных источников, будет дополнено в ходе обсуждения на семинаре)

Подсказки по выбору методологии оценки

Методология оценки должна разрабатываться заново для каждой ситуации.

Рекомендуется избегать сложности и излишней проработанности.
Выбирайте серьезную методологию, поскольку это важно для оказания значимой гуманитарной помощи и серьезного воздействия.
Поймите, что менеджер организации гуманитарной помощи отвечает за подбор реалистичной и правильной методологии.
Обращайте внимание на гибкость и многократность применяемых методов, в противовес линейным методам.
Собирайте данные различных типов.

Необходимо получить ответы на следующие методологические вопросы:

Согласуются ли предлагаемые методы с доступными для оценки временными рамками и ресурсами?
Обеспечат ли методы вид и качество аналитических данных, необходимых заинтересованным лицам?
Появились ли в ходе начальной стадии оценки особые вопросы или гипотезы и отражают ли они критерии оценки?
Обеспечат ли выбранные методы валидную и надежную информацию, с помощью которой можно ответить на эти вопросы?
Описываются ли предполагаемые методы в программном тексте оценки?

(Источник: Руководство по оценке, Департамент оценки DFID, 2000)

Разнообразие методов и техник оценки

Большинство методологий объединяют то или иное разнообразие методов и техник при сборе и анализе данных, например, включая:

Исследование документов - анализ планов и стратегий политики организации; анализ отчетов и данных.

Качественные методы

Качественные данные дают глубину и детальность картины благодаря прямому цитированию и тщательному описанию программных ситуаций, событий и людей. Анализ может быть сложным по причине возможной не систематизированности или стандартизированности подобных отзывов. Источниками «сырых» данных для качественной оценки являются:

Цитаты
Самостоятельные развернутые ответы в анкетах
Наблюдения и/или описания наблюдений
Участие
Комплексные наблюдения и навыки интервью

Интервью. Внимание должно быть сосредоточено на получении фактуальной информации, допускающей перекрестную проверку - триангуляцию - другими источниками. Не допускаются предвзятые утверждения и предрассудки. Профессиональные интервьюеры задают вопросы с интересом, уважением и вниманием.

Если интервью проводить несколько человек, необходимо выработать стандартные протоколы для всех членов группы, чтобы использовать их во время каждого отдельного интервью.

Эффективная организация результатов этих интервью является важнейшей характеристикой эффективности команды.

Интервью являются более важным источником, чем это обычно бывает, при оценке помощи в развитии, потому что возникает больше проблем с документированием процесса.

Некоторых людей необходимо убедить, что во время интервью будет сохранена конфиденциальность.

Специальный поиск людей, не получивших пользу от программ помощи, может принести плоды, поскольку раскроет проблемы с выбором целевой группы и процедурами отбора, используемыми агентствами.

Групповые интервью (с представителями пострадавшего населения, местными жителями или официальными лицами) могут быть полезными для перекрестной проверки информации на местах и от большого количества респондентов. В некоторых случаях, общее согласие может быть достигнуто, что будет ценным для усиления чувства общности взамен разобщенности. Однако, злоупотребление групповыми интервью может привести к информационным лакунам, потому что некоторые проблемы трудно обсуждать в группах, и интересы некоторых людей нелегко выявить во время групповых встреч, например, интересы женщин.

Наблюдение (на местах) дополняет интервью, позволяя оценщикам увидеть условия жизни пострадавшего населения и последствия своей помощи для этого населения.

«Удобная» выборка (также называемая случайной или произвольной выборкой) является наиболее часто используемым методом в кризисных ситуациях. Она основывается на выборке наиболее доступных респондентов, например, тех кто живет по обочинам дорог, или рядом с административными центрами или лагерями беженцев и т.д. Опасность этого типа выборки заключается в возможном появление предвзятых или предрассудочных результатов, поскольку в легкодоступных местах проживают те, кто обладает наибольшими ресурсами и/или властью. Для правильного применения метода необходимы определенные познания в статистической теории.

Целевая выборка базируется на знании заранее о тех, кто мог бы быть способным сообщить значимую или особенную информацию. Выборка детей младше пяти лет, например, это тип целевой выборки используемой в оценке питания, поскольку ранее доказано, что эта группа является чувствительным индикатором общей ситуации с питанием в данном сообществе.

Семинары и встречи.

Созыв группы людей из местного сообщества или гуманитарной организации для проверки полученной информации, чтобы собирать и обновлять ее в процессе оценки.

Сравнительный анализ, чтобы проанализировать стандарты, расходы и выполнение. Для изучения двух или более программных рангов или специфических индикаторов, результатов или критериев.

Формальная/неформальная проверка (качества, компетентности)

Для проверки было ли качество помощи систематическим, проконтролированным и продемонстрированным.

Самооценка/самоанализ

Лица вовлеченные в разработку и исполнение вмешательства инспектируют результаты программы и соответствие их достижения целому ряду критериев.

Методы проверки рентабельности.

Для проверки соотношения между расходами на программу и ее результатами, если результаты не имеют конкретного денежного измерения.

Нарративная история (рассказ)

Техника рассказа извлекает информацию, которую иначе было бы трудно получить другими средствами. Ответы обычно свежей и менее цензурированы и не подчиняются обычному оценочному жаргону и процессам (Вилкинсон 1999)

Подготовка индивидуального исследования

Цели исследуемой программы
Кто финансирует программу?
Бюджет программы
Кто инициировал и/или заказал оценку?
Цель оценки
Бюджет оценки.
Длительность оценки
Расписание оценки относительно цикла программы
Обобщение референтных терминов
Организация оценки и набор команды
Состав команды оценщиков (например, из каких областей знания, каков размер, опыт)
Просмотр референтных терминов и планирование
Полевые методы и организация
Полевая работа
Динамика команды
Написание оценки
Отчет и окончательная редакция
Последующие действия.

Вопросы для самопроверки:

Какими были сильные стороны оценки? Могут ли они считаться лучшими процедурами для оказания гуманитарной помощи?
Какими были старые стороны, были ли достигнуты цели, описанные референтными терминами? Можно ли извлечь из этих слабых сторон уроки для лучшего оказания гуманитарной помощи?
Какую роль играли получатели помощи/целевая группа населения в оценке? Какими были бы результаты, если бы получатели играли большую или меньшую роль?
Если бы оценку можно было провести заново, что бы вы сделали по-другому, исходя из своих возможностей?
На какие факторы, находящиеся за пределами вашего влияния, вы бы обратили большее внимание?
Какие вопросы у вас есть о своем случае или об оценках в целом, на которые вы не получили ответа?

Это необходимо спланировать заранее. Организации-заказчики обычно первыми налаживают контакт с полевыми исследователями, партнерами в правительстве, и получают необходимые разрешения.

Безопасность сотрудников

Личная безопасность сотрудников, проводящих оценку, должна считаться важной. Маршруты поездок должны тщательно планироваться, картографироваться, и храниться у супервизоров и/или сотрудников службы безопасности, прежде чем оценщики поедут в опасные районы. Необходимо получить все пропуски, прежде чем выезжать во враждебные и строго охраняемые районы.

Подготовительная работа, проводимая менеджером по оценке

Менеджер по оценке должен провести брифинг с оценщиками перед началом работы. Этот брифинг должен включать обсуждение
TOR (референтных терминов)
Первичный план работ
Консультативную группу
Роли и обязанности (включая свои)
Предлагаемая поддержка
Необходимые документы и файлы
Соображения конфиденциальности и безопасности
Лучшие образцы отчетов оценщиков

Важно создать механизмы регулярной отчетности, подходящие для разных сторон во время работы.

Необходимо рассмотреть ограничения предпринимаемой оценки - политические и погодные условия, проблемы

безопасности.

Получение сотрудничества и предвидение обратной связи

Если ожидаются большие противоречия, это указание на необходимость предпринять все усилия, чтобы вовлечь заинтересованных лиц в планирование. Проблемы можно уменьшить, если исполнители и оценщики обсуждают цели и приходят к согласию. В общем, процесс планирования более важен для того, чтобы произвести серьезные изменения, чем следование разработанным процедурам.

Вопросы, на которые оценщику полезно получить ответы:

Какие действия предпринял менеджер по оценке до начала внешней оценки?
Какие решения были приняты о сроках проведения и содержании оценки?
Каковы политические реалии и контекстуальные особенности, влияющие на процесс?
Было ли получено сотрудничество заинтересованных лиц?
Осознают ли заинтересованные лица то, какую пользу принесет им оценка? Был ли проект разработан в форме диалога или в форме осуждения?
Были ли заинтересованные лица привлечены к планированию - обсуждались ли с ними цели, было ли достигнуто согласие, произошло ли совместное планирование оценки - и в какой степени?
Обсуждались ли с заинтересованными лицами референтные термины, и было ли получено их одобрение, чтобы получить сотрудничество во время оценки?
Разъяснялись ли заинтересованным лицам ограничения, препятствующие оценке (безопасность, недостаток данных и т.д.)

Источник: Руководство по оценке DFID, Отдел оценки

Домашнее задание

Составить техническое задание на проведение оценки программы, деятельности, организации (каждый участник/регион выбирает самостоятельно).
Провести оценку в соответствии с составленным техническим заданием.

Примеры выполненных домашних заданий (фрагменты)

Авторы: Э. Гарифуллина, менеджер АКОО "Ассоциация социальных Педагогов и социальных работников"; кафедра социальной работы, г.Барнаул; Л. Сковоронская, ведущий специалист отдела по делам детей, женщин и семьи Комитета краевой администрации по социальной защите населения, г.Барнаул; С. Чуракова, руководитель Алтайской краевой общественной организации «Поддержка общественных инициатив», Н. Щепина, начальник отдела по делам молодёжи администрации г.Новоалтайска.

Техническое задание

оценки деятельности государственного учреждения «Краевой центр социально-психологической реабилитации населения»

Заказчик оценки: Комитет Алтайского края по социальной защите населения в лице начальника отдела по делам детей, женщин, семьи и социальной помощи населению.

Место проведения оценки: г. Барнаул: Краевой центр социально-психологической реабилитации населения

Цель оценки: Предоставление рекомендаций по повышению эффективности деятельности центра

Длительность оценки с 1 июля по 30 августа 2004 г.

Предмет оценки

Соответствие практической работы уставной деятельности учреждения
Квалификация персонала организации
Объем и качество оказываемых услуг
Себестоимость оказываемых услуг
Организационная и материально-техническая база Центра
Ведение документации
Выявление сильных и слабых сторон деятельности Центра

Участники оценки (Респонденты)

I. Персонал (руководители высшего звена управления, руководители среднего звена управления, специалисты, обслуживающий персонал)

II. Клиенты

III. Партнеры

IV. Контролирующие субъекты

+ документы, отзывы, данные СМИ.

Фокус оценки

№	Предмет оценки	Метод оценки	Источники
	Оценка процесса планирования работы Центра и его структурных подразделений	Анализ документов, интервью с руководителем и заведующими отделений	Перспективные планы работы Центра на 2004 г.; Квартальные планы работы; Ежемесячные планы работы подразделений; График работы специалистов
	Оценка выполнения планов, отчетности	Анализ документов, анализ статистики	Отчеты и информации о выполнении планов, база данных о клиентах, результаты социологических исследований
	Оценка организации содержательной работы специалистов	Включенное наблюдение, Анализ документов, Интервью со специалистами	Статистические отчеты, посещение групповой работы, журналы работы специалистов, анкеты клиентов, коррекционно-реабилитационные карты, результаты социологических исследований
	Оценка состава, подготовки, аттестации кадров	Анализ документов	Примерное и фактическое штатное расписание, должностные обязанности и инструкции приказы по центру, протоколы, решения, графики отпусков и пр.
	Оценка методического обеспечения Центра	Анализ документов, интервью со специалистами	Программы деятельности с различными целевыми группами, библиотека для специалистов, каталог информационно-методических материалов
	Оценка информационно-методической работы	Анализ документов, интервью со специалистами	Отчеты и планы семинаров, круглых столов, конференций, книга отзывов, заявки от организаций, буклеты, статьи, доклады

Blog