Базовые подходы и опыт E&P

1. Измерение социального эффекта
Базовые подходы и опыт E&P
Сергей Мартыщенко, Руководитель программ
XIII КОНФЕРЕНЦИЯ ФОРУМА ДОНОРОВ
«Искусство оценки в благотворительности: культура и практика»
22 октября 2015 года, Москва

2. 2
Evolution&Philanthropy: создание среды для развития в России социальных инноваций
Ключевая компетенция: - ФОРМИРОВАНИЕ МЕЖСЕКТОРНЫХ ПАРТНЕРСТВ
Основной фокус: - ИЗМЕРЕНИЕ СОЦИАЛЬНЫХ РЕЗУЛЬТАТОВ
Целевая аудитория: - НЕКОММЕРЧЕСКИЕ ОРГАНИЗАЦИИ, БИЗНЕС, ГОСУДАРСТВО
Создание E&P (Лондон, UK) - ДЕКАБРЬ 2007 г. / Регистрация Филиала E&P в Москве - СЕНТЯБРЬ 2011 г.
Направления Ключевые продукты
 Обзор
международного
опыта и выпуск
информационно-
аналитических
материалов
• Дайджесты публикаций филантропического сообщества (более 60)
• Поддержка исследований и публикаций партнеров из НКО сектора
• Переводы лучших практик на русский язык (более 30)
• База знаний лучших зарубежных практик (более 100)
 Разработка
методических
продуктов и
внедрение
передовых практик
• Стандарты оценки деятельности (апдейт в 2015 году);
• Руководство по планированию и измерению результатов
благотворительных программ;
• Рекомендации по оценке социально-экономической эффективности
социальных программ (издано);
• Рекомендации по определению показателей деятельности, включая
библиотеку показателей ( в открытом доступе)
• Методическое пособие по применению Теории изменений при
планировании программ (издано).
 Организация
площадок / участие в
ведущих
международных
инициативах /
создание партнерств
• Партнерская инициатива «Общие подходы к оценке социальных
результатов программ в сфере защиты детства (Фонд «Культура
детства»
• NEW! База Знаний Social Value!
• Член международной сети Social Value International

3. 3
Опыт E&P и стратегических партнеров по развитию культуры оценки
Создание Единых
Принципов и
Стандартов Оценки
верхнего уровня
2011
Развертывание Стандартов до уровня методических документов
Руководство
по
планированию,
мониторингу
и оценке
Руководство по
планированию и измерению
результатов
благотворительных
программ Компаний
Семейной Филантропии
(утв. ОС 18.03.13)
Концепция
измерения
социально-
экономической
эффективности
(с расчетом на
примере
программы
БДФ «Виктория»)
Обзор лучших
зарубежных
практик для
проведения
бенчмаркинга
(утв. ОС
27.06.12)
Подходы к
определению
показателей
верхнего
уровня
(утв. УС
30.10.12)
2012 2013
Методическое
пособие по
использованию
«Теории
изменений» при
планировании
благотворительн
ых программ
(основа
планирования
дизайна
программ)
(утв. ОС
13.12.12)
Стандарты
оценки
верхнего
уровня
(утв. УС
07.12.11)
2015 ! Апдейт Стандартов Оценки
Рекомендации
по управлению
социальны
воздействием
(на основе
методики EVPA)
2014 2015

4. 4
Источник Определения
Руководство по оценке
(B&M Gates Foundation)
Отдаленные во времени устойчивые изменения, которые иногда могут быть соотнесены с
деятельностью
Оценка программ.
Методология и практика
(Комитет помощи
развитию)
Позитивные и негативные, главные или второстепенные долгосрочные изменения, являющиеся
прямыми или косвенными, запланированными или непреднамеренными следствиями реализации
программы
Оценка программ.
Методология и практика.
(АЕА США)
Последствия любых общественных, государственных или частных инициатив, отражающиеся на том,
как люди живут, работают, развлекаются, относятся друг к другу, самоорганизуются для
удовлетворения своих потребностей и в целом функционируют как члены общества. Также
изменения в культуре, касающиеся норм, ценностей и убеждений, которые определяют самосознание
отдельных людей и общества в целом
Crutchfield & Grant, HBS Влияние на первопричины, порождающие проблему общества; устойчивое значительное изменение
Roche, HBS, 1999
Значительные или стабильные/устойчивые изменения в жизни людей, которые являются результатом
конкретной деятельности или совокупности видов деятельности
Performance Measurement,
Harry P. Hatry
То, что в конечном счете ожидается от реализации программы, благоприятные изменения, имеющие
значение не столько для клиентов программы, сколько для населения, общества в целом.
European Venture
Philanthropy Association
Атрибуция вклада от деятельности организации в более широких и долгосрочных изменениях.
Monitor Institute
Созданная измеряемая социальная стоимость / ценность - в абсолютном выражении или на душу
населения, и/или ярко выраженная способность содействовать совершенствованию системы
формирования и поставки социальных благ, основанная на продуманной и привлекательной модели
социальных преобразований; способность организации измерять социальное воздействие и
добиваться максимального социального эффекта.
Что такое IMPACT? – Социальный эффект / Воздействие / Влияние

5. 5
Объем денежных
средств,
количество
сотрудников
Разработка и
реализация программ,
создание новой
инфраструктуры
Количество
благополучателей,
распространенных
экземпляров
Рост уровня знаний
у прошедших
обучение;
изменение
моделей поведения
Учет влияния других
факторов (альтер-
нативных программ),
незапланированных
последствий
5 тыс. у.е.,
5 сотрудников
Разработана
программа,
создан Центр
Обучено 20 человек
10 участников
получили новые
компетенции;
у 70% улучшились
коммуникативные
навыки
40% участников
Программы нашли
работу именно
благодаря нашим
тренингам, в результате
улучшилось их
благосостояние
РЕСУРСЫ
(INPUTS)
ДЕЯТЕЛЬНОСТЬ
(ACTIVITIES)
НЕПОСРЕДСТВ.
РЕЗУЛЬТАТ
(OUTPUTS)
СОЦИАЛЬНЫЙ
РЕЗУЛЬТАТ
(OUTCOMES)
СОЦИАЛЬНЫЙ
ЭФФЕКТ
(IMPACT)
ЦЕПОЧКА СОЦИАЛЬНЫХ РЕЗУЛЬТАТОВ
Некоторые методики предлагают
учитывать «очищать» социальный
эффект от других факторов

6. 6
Пример факторов для корректировки социального эффекта*
Что произошло бы в любом случае (what would have
happened anyway) - “deadweight”;
Действия других организаций (the action of others)
“attribution”;
Насколько вероятно снижение достигнутого результата с
течением времени, какова устойчивость результатов (how
far the outcome of the initial intervention is likely to be
reduced over time) “drop off”;
Стандарт Еврокомиссии 2014 г. по измерению социального эффекта, подготовленный на основе методики EVPA
http://ec.europa.eu/internal_market/social_business/docs/expert-group/social_impact/140605-sub-group-report_en.pdf
Степень замещения полученными результатами других
потенциальных позитивных результатов (the extent to
which the original situation was displaced elsewhere or
outcomes displaced other potential positive outcomes -
“displacement”;
Непреднамеренные следствия - отрицательные или
положительные (unintended consequences, (which could be
negative or positive)

7. 7
Основные мотивации для измерения социального эффекта
Инвестиционный выбор: приоритеты для вложений с
наибольшим социальным эффектом
Инструмент управления: рамка для интеграции
социального эффекта в стратегию и операции
Стимулирование: создание системы стимулов
для организации работы, нацеленной на
достижение эффекта
Отчетность: трансляция о воздействии в целях
маркетинга и фандрайзинга

8. 8
Определите свое место и место ваших программ, прежде чем
приступать к оценке социального эффекта
Теорияизменений
Комплексная
ИНСТИТУЦИОНАЛЬНЫЕ РЕЗУЛЬТАТЫ
 Изменение общественных и
законодательных норм (о правах и
свободах, надлежащем управлении,
эффективных рынках).
Оценка немедленных результатов (outputs) и
«влияния» промежуточных изменений
(intermediate outcomes).
ЭКОСИСТЕМНЫЕ РЕЗУЛЬТАТЫ
 Социально-экономическое развитие,
комплексное развитие сфер народного
хозяйства, управление природными
ресурсами, расширение сотрудничества.
Оценка промежуточных (outcomes) и устойчивых
изменений (impacts).
Простая
НИШЕВЫЕ РЕЗУЛЬТАТЫ
 Основные услуги и экстренная
социальная помощь (кризисные центры,
«горячие линии»).
Оценка вложенных ресурсов (inputs),
деятельность (activities) и немедленных
результатов (outputs).
ИНТЕГРИРОВАННЫЕ РЕЗУЛЬТАТЫ
 Оказание услуг (в сфере здравоохранения,
образования, трудоустройства), кампании
по вакцинации, комплексные услуги по
оказанию экстренной социальной помощи
Оценка агрегированных немедленных
результатов (outputs), промежуточных
изменений (outcomes) и в отдельных случаях –
устойчивых изменений (impacts).
Простая Комплексная
Операционная стратегия
Источник: Alnoor Ebrahim and V. Kasturi Rangan (2010) Пределы влияния некоммерческих организаций: cтруктурная рамка обстоятельств, влияющих на оценку результатов общественной
деятельности. Harvard Business School.
• Государство
• Крупные
институциональные
доноры
• НКО
• Частные
доноры
 Если, организация реализует свои программы в нишевых результатах, то измерение экосистемных результатов
нецелесообразно и даже неуместно;
 Если же, все таки, есть потребность в измерении и оценке экосистемных результатов, то необходимо разрабатывать /
пересматривать свою теорию изменений и настраивать в соответствие с ней свою операционную стратегию
Структурная рамка обстоятельств

9. 9
Что уже имеет место в Вашей организации, что Вы
считаете важным развивать в будущем, а что не
имеет особого значения?
19%
5%
4%
3%
11%
10%
2%
33%
62%
49%
33%
40%
40%
39%
48%
32%
46%
64%
49%
51%
59%
повышение прозрачности и
подотчетности
улучшение измерения
долгосрочных социальных…
повышение финансовой
устойчивости
извлечение уроков из успехов
и неудач прошедших…
соответствие требованиям и
ожиданиям доноров
соответствие требованиям и
ожиданиям государства
соответствие требованиям и
ожиданиям общества
имеет место в
настоящем
важноразвиватьв
будущем
неимеет особого
значения
«Анализ публичных отчетов НКО РФ»
участников конкурса ТОЧКА ОТСЧЕТА 2012
1. Большая часть отчетов - в парадигме
«истории и кейсы» и проблематична
репрезентативность.
2. Типично: разрыв между миссией и
представленной результативностью.
Все отчеты отражают непосредственные
результаты, не более ½ - социальные
изменения.
3. Не представлена четко прописанная
логическая рамка.
4. Характерна избыточность информации
вместо фокуса на наиболее важных и
доказательных достижениях.
5. Практически все отчеты содержат
отклики от стейкхолдеров, но чаще это
эмоциональные суждения и не всегда
ясны достигнутые изменения.
Исключение - личные истории
благополучателей, волонтеров.
«Оценка потенциала российских НКО»
(в партнерстве с Национальной ассоциацией
благотворительных организаций)
Исследования E&P в отношении измерения социального эффекта

10. 10
«Оценка социального эффекта от деятельности организаций должна
проводиться с учетом возможности ее выполнения и ее стоимости»*
Особенности и ограничения применения
 Социальный эффект может проявляться отсрочено – лишь через некоторое время после
окончания деятельности.
 Оценка социального эффекта может проводиться либо с использованием
экспериментального/ квази-экспериментального подхода (без раскрытия механизма
воздействия), либо с использованием смешанных методов, ориентированных на раскрытие
и изучение механизма воздействия.
 Оценка социального эффекта требует наличия специальной квалификации у тех, кто ее
будет проводить.
Задача особой сложности и может оказаться весьма дорогостоящим
мероприятием, а потому не всегда целесообразна.
Не всегда возможна. Основная проблема – выделение эффекта на
фоне эффектов, связанных с другими факторами, которые могут
оказаться более существенными, чем деятельность организации.
Следует оценивать в тех случаях, когда масштабы воздействия,
оказываемого организацией, сопоставимы с масштабами системы,
на которую это воздействие оказывается.
Определение ожидаемого социального эффекта и необходимости
его измерения должно закладываться на стадии планирования.
* - Стандарты оценки деятельности (внутренние) для стратегических партнеров E&P. Разработаны при участии компании «Процесс консалтинг», 2011 год

11. 11
Отчет Учредителю - Логика достижения социального эффекта E&P
1. Разработка
внутреннихи
внешних
методических,
аналитическихи
информационных
продуктов
ПРОЦЕССЫ
2. Организация
образовательных
мероприятийпо
теме фандрайзинг,
оценкаи отчетность
3. Создание
профессиональных
сетей для
продвижения
разработанных
продуктов
Разработаны
уникальные
продукты
Проведены
образовательные
мероприятия
Проведены
образовательные
мероприятия
НЕПОСРЕДСТВЕННЫЙ
РЕЗУЛЬТАТ
(промежуточный)
ПРОДУКТЫ
ДЕЯТЕЛЬНОСТЬ
НАТУРАЛЬНЫЙРЕЗ-Т
НЕПОСРЕДСТВЕННЫЙ
РЕЗУЛЬТАТ
(конечный)
Специалисты
получили
уникальные
продукты
Специалисты
приобрелиновые
знания и навыки
Созданные сети
объединяют
специалистов
некоммерческого
сектора
СпециалистыНКО
повысили
компетенциив
области
фандрайзинга,
оценкии отчетности
НКО внедрили
лучшие зарубежные
практикив области
фандрайзинга,
оценкии отчетности
СОЦИАЛЬНЫЙРЕЗ-Т
СОЦИАЛЬНЫЙ
РЕЗУЛЬТАТ
(промежуточный)
НКО повысили
эффективность
деятельности
СОЦИАЛЬНЫЙ
РЕЗУЛЬТАТ
(конечный)
СОЦИАЛЬНЫЙ
ЭФФЕКТ
МИССИЯ
Содействовать
эффективному
развитию
некоммерческого
сектора в
благотворительно
сти в России через
распространение
международного
опыта и обмен
знаниями
За что мы отчитываемся в данном отчете
За что мы подотчетны в долгосрочной
перспективе
Созданы
профессиональные
сети

12. 12
Характеристика и результаты внешней оценки E&P
Цель исследования:
Получить комплексную обратную связь о результатах
деятельности E&P, качестве продуктов, эффективности
каналов распространения, взаимодействии с партнерами
и оценки социального эффекта.
* - всего опрошено: N = 57 человек
Участники исследования:
 Представители некоммерческого сектора РФ
(в том числе, грантополучатели E&P);
 Представители широкой общественности
(подписчики и пр.), интересующиеся
проблематикой развития некоммерческого
сектора и благотворительности
 Стратегические партнеры E&P
Методы исследования:
 Комбинация количественных и качественных
методов: метод полуформализованного
интервью (n=10) и метод онлайн
анкетирования (n= 47)
 Уникальность E&P: в планомерном и
последовательном содействии развитию сектора и
формированию сообщества
 Эксперты указывали на затруднения с оценкой
вклада E&P: «проще оценить усилия компании, чем
степень влияния на сектор», особенно учитывая,
что существуют другие участники процесса.
Общая оценка вклада E&P в развитие НКО РФ

13. 13
ПЛЮСЫ И МИНУСЫ ИССЛЕДОВАНИЯ СОБСТВЕННЫМИ СИЛАМИ
Стремление организации
использовать исследование как
обучение
Опрос среди аудитории,
являющейся получателями
продуктов E&P через социальные
медиа;
Возможность вовлекать
сотрудников и грантополучателей
в обсуждение результатов и
извлекать уроки
Увеличение продолжительности
исследования за счет вовлечения
сотрудников;
Определенная доля субъективизма
и заинтересованности в
интерпретации данных (особенно, в
части открытых вопросов);
Онлайн анкетирование на ресурсе
Google (объективные и
субъективные ограничения,
влияющие на глубину
количественного анализа.

14. 14
Цикл эффективной практики и принципы содействия социальным изменениям
Принцип 1. Возьмите на себя ответственность за
социальный эффект и предложите другим
организациям последовать вашему примеру.
Принцип 2. Постоянно
следите
за тем, чтобы
организация
выполняла своё
предназначение.
Принцип 5. Следите за всеми изменениями,
которые имеют отношение к вашей
деятельности.
Принцип 6. Будьте
честными и
открытыми.
Принцип 3. Вовлекайте
в свою практику
содействия социальным
изменениям разные
группы стейкхолдеров.
Принцип 4. Используйте методы и ресурсы, которые
согласуются с целями вашей организации.
Принцип 7. Стремитесь к
изменениям и
действуйте,
руководствуясь
полученной
информацией.
Принцип 8. Активно делитесь со
стейкхолдерами планами содействия
социальным изменениям.
Источник: Inspiring Impact: The Code of Good Impact Practice (2013)

15. 15
Рекомендации по измерению социального эффекта
1. В настоящее время, нет надежных общепризнанных и стандартизированных разработок и
подходов. Существуют разные школы к определению социального эффекта, которые
проходят апробацию на практике;
2. Необходимо различать интересы НКО и социальных инвесторов на всех этапах
измерения социального эффекта, в т.ч. и на уровне постановки целей;
3. Оценка эффекта – задача, предъявляющая высокие требования к определению и
исключению сторонних влияний. Даже при существенном потенциале инициаторов
задача остается трудновыполнимой;
4. Измерение результатов не должно производиться в отрыве от анализа стейкхолдеров и их
потребностей. Для выбора методов измерения эффекта, в начале, необходимо
определить уровень подотчетности организации;
5. Каждая программа (или, как минимум, организация) должна иметь теорию изменений
(как практическое приложение – дорожную карту - к своей долгосрочной стратегии) и
настраивать в соответствие с ней свою операционную стратегию;
6. Независимо от того, какие цели и кто заказчик измерения и оценки социального эффекта,
организации необходимо выстраивать внутреннюю культуру стремления и
нацеленности на достижение и измерение социального эффекта;
7. Более четкое понимание и применение социального эффекта к своей деятельности может
прийти лишь через практику, поэтому необходимо изначально ориентироваться на
длительный период практической апробации подходов;

16. 16
Благодарю за внимание !!!
Филиал в Москве, Ул. Ефремова 8, Тел. +7-495-785-12-12
Вебсайт: http://ep.org.ru/
E-mail: info@ep.org.ru
Сайт дайджеста: http://ep-digest.ru/