Многомерный подход к измерению деятельности программ по оказанию социальных услуг Measuring the Performance of Human Service Programs Lawrence L. Martin, Peter M. Kettner, 2010

1. Многомерный подход
к измерению деятельности программ
по оказанию социальных услуг
Measuring the Performance of Human Service Programs
Lawrence L. Martin, Peter M. Kettner, 2010

2. 2
Глоссарий
 Эффективность, производительность
 Effectiveness, efficiency, Performance, KPI, productivity
 Английская терминология, перевод разный
 Разное употребление терминов в РФ (аудит
эффективности счетной палаты, пр)
 А что у нас? Стандарты по оценке
2

3. 3
Цепочка создания социального результата
3
Вход
Деятель
ность
Немедле
нный
результа
т
Отложенн
ый
результат
1 порядка
Социаль
ный
эффект
Отложенн
ый
результат
2 порядка
Влияние
контекста На что мы
нацелены
Целевая
аудитор
ия
Фокус измерений
в 90-е годы
По материалам McLaughlin
Основа для стандарта

4. 4
Что такое измерение деятельности
Измерение деятельности (performance measurement)
- это регулярный сбор информации и предоставление
отчета о:
 производительности (efficiency),
 качестве (quality) и
 результативности (effectiveness) программы.
4

5. 5
Базовая модель систем
5
Исходные ресурсы Продукты, услугиПрограмма
Обратная связь
Исходные
ресурсы
Продукты,
услуги
Программа
Расширенная модель систем
Качество Социальный
Результаты
(outcomes)
Качество
Производительность
(Productivity, efficiency)
Результативность
(effectiveness)

6. 6
Основные понятия
 Исходные ресурсы (inputs) - все, что использует система
(программа соц.услуг) для достижения своих целей. Ресурсы и
сырье (фонды, сотрудники, приспособления, технические
средства, клиенты), которые включаются в программу.
 Процесс – план деятельности или методология предоставления
услуги, включающий потребление исходных ресурсов и
превращение их в продукцию.
 Продукция (outputs) – все, что производит программа. Часто
соотносится с единицами услуг.
 Результаты (outcomes) – изменение, которое произошло
вследствие осуществления программы – преднамеренно и
непреднамеренно
 Обратная связь – данные и информация об эффективности
системы, которые повторно вводятся в систему как
дополнительный входящий параметр.
6

7. 7
Определение трех направлений в измерении
Измерение
эффективности
Определение Пример
Производительность
(efficiency)
Продукция / исходные ресурсы Суммарная стоимость
программы фостерной
опеки / число дней услуги
фостерной опеки
Качество (quality) Продукция, соответствующая
стандарту качества /
суммарная продукция либо
Продукция, одобренная
потребителями / суммарная
продукция
Число или процент
доставленной на дом
еды, которая была
доставлена горячей
Результативность
(effectiveness)
Отношение отложенных
результатов (outcomes) к
исходным ресурсам
Общая стоимость
программ усыновления /
количество достигнутых
совершенных
усыновлений
7

8. 8
Производительность (efficiency)
 Фокус на количестве продукции, охвате целевой аудитории.
 Критика: «Можно очень производительно делать неправильные
вещи»
 Зачем измерять:
- Требования управления: чтобы каждый доллар был израсходован
таким образом, чтобы как можно больше подходящих клиентов
получили услугу.
- Обсуждения производительности или продуктивности лежат в
основе большей части контрактов, основанных на эффективности
(performance-based), гонорарных способах оплаты (fee-for-service),
управляемой мед. помощи (managed care programs), и других
стратегиях фондов.
- Акцент на производительности необходим, чтобы противостоять
убеждению некоторых стейкхолдеров, что социальные программы
непродуктивны. Только около 11% американцев верят, что
организации социальной помощи мудро тратят деньги, делая доброе
дело.
8

9. 9
Качество (quality)
Фокус на соотнесении характеристик продукции/услуг со
стандартами качества.
Сейчас от большинства программ ждут регулярной оценки
качества оказываемых услуг и соотнесения, сравнения с услугами
других организаций.
Теория управления качеством: продуктивность (productivity)
растет, когда программа обеспечивает высококачественные
услуги, и падает, когда услуги имеют низкое качество.
→ При высоком качестве услуг должен быть результат: меньше
ошибок, меньше бумажной работы, меньше времени уходит на
повторную обработку, более рады доноры, более удовлетворены
клиенты, ниже цены, лучше репутация.
9

10. 10
Результативность (effectiveness)
 Фокус на отложенных результатах (outcomes) – результатах,
достижениях, воздействиях.
 Результативность часто считается высшей формой подотчетности
об эффективности.
 Оценка результативности не связана с одноразовым замером
результатов, достижений или воздействий. Идея в том, что
социальные программы не должны быть разнесены с их
социальным контекстом. Поэтому оценка эффективности
направлена не на установление причинно-следственных связей, а
скорее на базовые практические вопросы. Например: Какие
результаты достигаются программами какого типа?
Ориентированная на результативность программа стремится
максимизировать результат по отношению к исходным ресурсам.
10

11. 11
Итак, учет и измерение эффективности:
1. Продвигают клиент-центрированность, делая центральным
компонентом эффективности программы результаты для
клиента
2. Обеспечивают общий язык администраторам, чтобы они могли
обмениваться суждениями о производительности, качестве и
полезности программы
3. Дают администраторам возможность длительно наблюдать
программы, чтобы выявлять «точки воздействия» и улучшать
услуги
4. Могут повышать боевой дух сотрудников, которые получают
обратную связь о том, каким клиентами и насколько помогли.
11

12. 12
Отчеты SEA (Service Efforts and Accomplishments reporting)
В рамках Правительственного совета стандартов расчетов (Governmental
Accounting Standards Board, GASB ) инициатива SEA (Service Efforts and
Accomplishments reporting initiative), 1993, 2008: запуск аналогичной
отчетности в регионах для разных программ, не только социального
обеспечения, для отдельных штатов и локального управления.
Отчет SEA об услуге состоит из 3 элементов:
1) Затраты (Service efforts):
- Финансовая информация (общая стоимость в долларах)
- Нефинансовая информация (Количество эквивалентов ставок; Другие данные,
например, количество рабочих часов)
2) Достижения (Service accomplishments):
- Продукция (outputs) (Объем оказанных услуг)
- Качество (Количество или доля от общего объема услуг тех, что соответствуют
стандарту)
- Результаты (outcomes) (оценки результатов, достижений, воздействий, полных или
частичных)
3) Отношение затрат и достижений
- Измерение производительности (Отношение объема оказанных услуг к затраченным
ресурсам, которое можно оценивать через а) стоимость услуги; услугу в ставках; услугу
в рабочих часах)
- Измерение результативности (Отношение полученных результатов, достижений,
оказанных воздействий к затраченным ресурсам, которое можно оценивать через а)
стоимость результата; б) результат в ставках; в) результат в рабочих часах).
12

13. 13
Service efforts
 Усилия: это вложенные в
программу ресурсы. SEA
измеряет усилия тремя
способами:
а) общая стоимость программы;
б) эквивалент программы в
рабочих ставках;
в) общее число рабочих часов.
Усилия Пример
Общая
стоимость
$750000
Полные ставки 22
Рабочие часы 45760
13

14. 14
Service accomplishments
 Достижения:
а) продукты (продукты
и те продукты,
которые
соответствуют
стандартам
качества),
б) социальные
результаты.
Достижения Пример
Продукты
• количество оказанных
услуг на единицу
анализа
• количество оказанных
завершенных услуг
• 27500 часов
консультирования и
тренинга для родителей
• 225 родителей прошли
программы целиком
Качество
- Количество оказанных
услуг, соответствующих
стандарту качества
По меньшей мере 85%
завершивших обучение
родителей (191) оценили
программу как полезную
или очень полезную.
Результаты
- Результаты,
достижения,
воздействия программы
По меньшей мере про
112 родителей не будет
поступать информации о
насилии и
пренебрежении
ребенком минимум 2
года 14

15. 15
Service efforts and accomplishments ratio
Отношение достижений к усилиям
1. Расчет SEA Пример
Оценка производительности
a)Стоимость единицы услуги
b)Единиц услуги на ставку
c) Стоимость завершенной услуги
d) Завершенных услуг ( на ставку)
$27.27 ($750000 / 27500)
1250 (27500/22 ставки)
$3333 ($750000/225)
10,23 (225/22)
2. Оценка полезности
a) Стоимость результата
b)Результат на ставку
$6696,42 ($750000/112)
5,01 (112/22)
3. Интерпретации
a) Средняя стоимость часа тренинга - $27.27
b) Каждый тренер проводит в среднем 1850 часов тренинга
c) Средняя стоимость завершенной программы для семьи - $3,3333
d) У каждого тренера 10,23 семей завершают программы
e) Стоимость того, что в семье не пренебрегают ребенком и не проявляют насилия по
отношению к нему в течение 2 лет - $6696
f) Среднее количество полезных результатов на каждого тренера 5.
15

16. 16
Обзор методов измерения деятельности
Измерение
производительности
Промежуточные
- Время (единица услуги)
- Эпизод или контакт (единица услуги)
- Материал (единица услуги)
Финальные
- Завершенные программы
Измерение качества Измерение качества продукта на выходе
Удовлетворенность клиента
Измерение социального
результата
Промежуточные
- количественные
- стандартизованные методики измерения
- шкалы уровня функционирования (Level of functioning
(LOF) scales)
- удовлетворенность клиента
Финальные
- количественные
- стандартизованные оценки
- шкалы уровня функционирования (LOF scales)
16