Телефонные опросы в России через призму общей теории ошибок (total error framework)

1. Репрезентативность
телефонных опросов
Тимур Османов
ФОМ
Продолжая Грушина. Февраль 2014.

2. В данной презентации под термином телефонный опрос понимается
опрос населения России, проведенный на основе случайной (RDD)
двухосновной пересекающейся выборке мобильных и стационарных
номеров телефонов. Случайная генерация телефонных номеров
опирается на информацию о задействованных диапазонах телефонной
связи в России, размещенную на официальном сайте Россвязи.
Репрезентативность – это свойство выборки воспроизводить
характеристики исследуемой совокупности.
Продолжая Грушина. Февраль 2014.
2

3. Общая теория ошибок (total error framework)
[Lavrakas, P.J, 2013, P. 835]
Ошибки измерения
Ошибки репрезентации
КОНСТРУКТ
ЦЕЛЕВАЯ
ГРУППА
Ошибки
спецификации
ОСНОВА
ВЫБОРКИ
ИЗМЕРЕНИЕ
Ошибки
измерения
Ошибки
выборки
СПРОЕКТИРОВАННАЯ
ВЫБОРКА
ОТВЕТ
Ошибки
регистрации
Ошибки
неответов
НАБОР
ДАННЫХ
Ошибки
вывода
Ошибки
покрытия
РЕАЛИЗОВАННАЯ
ВЫБОРКА
ВЫВОДЫ,
ЗАКЛЮЧЕНИЯ,
РЕКОМЕНДАЦИИ
Продолжая Грушина. Февраль 2014.
Ошибки
редактирования
3

4. Общая теория ошибок (total error framework)
[Lavrakas, P.J, 2013, P. 835]
Ошибки измерения
Ошибки репрезентации
КОНСТРУКТ
ЦЕЛЕВАЯ
ГРУППА
Ошибки
спецификации
ОСНОВА
ВЫБОРКИ
ИЗМЕРЕНИЕ
Ошибки
измерения
Ошибки
выборки
СПРОЕКТИРОВАННАЯ
ВЫБОРКА
ОТВЕТ
Ошибки
регистрации
Ошибки
неответов
НАБОР
ДАННЫХ
Ошибки
вывода
Ошибки
покрытия
РЕАЛИЗОВАННАЯ
ВЫБОРКА
ВЫВОДЫ,
ЗАКЛЮЧЕНИЯ,
РЕКОМЕНДАЦИИ
Продолжая Грушина. Февраль 2014.
Ошибки
редактирования
4

5. Ошибки покрытия
Величина ошибки покрытия обусловлена долей
покрытия и отличиями между охваченной и
неохваченной частями совокупности.
Продолжая Грушина. Февраль 2014.
5

6. Ошибки покрытия
По данным ФОМ* уровень телефонизации
населения России составляет 95%.
Только 5% населения России не имеют ни
мобильного, ни домашнего стационарного
телефона.
По данным Pew Research Center** мобильный телефон есть у 94% населения.
*Всероссийский ftf опрос ФОМнибус проводился 20-23 февраля 2014 года. Выборка 3000 респондентов. Погрешность
не превышает 2,5 п.п. У 90% населения есть мобильный телефон, у 53% населения есть стационарный телефон.
**Выборка 996 респондентов, опрос ftf проводился 5-21 марта 2013 года, погрешность не превышает 3,6 п.п.
[http://www.pewglobal.org/2014/02/13/emerging-nations-embrace-internet-mobile-technology/]
Продолжая Грушина. Февраль 2014.
6

7. Ошибки покрытия
Вопрос о наличии стационарного либо мобильного
телефона задается в опросах ФОМ с 2011 года.
Мы знаем, что люди без телефона значительно
отличаются от людей с каким-либо телефоном
(мобильным либо стационарным домашним).
Однако ошибка покрытия не превышает 1 п.п.
Анализировались распределения ответов на вопросы, которые были в одной анкете с вопросом о
наличии телефонов.
Продолжая Грушина. Февраль 2014.
7

8. Общая теория ошибок (total error framework)
[Lavrakas, P.J, 2013, P. 835]
Ошибки измерения
Ошибки репрезентации
КОНСТРУКТ
ЦЕЛЕВАЯ
ГРУППА
Ошибки
спецификации
ОСНОВА
ВЫБОРКИ
ИЗМЕРЕНИЕ
Ошибки
измерения
Ошибки
выборки
СПРОЕКТИРОВАННАЯ
ВЫБОРКА
ОТВЕТ
Ошибки
регистрации
Ошибки
неответов
НАБОР
ДАННЫХ
Ошибки
вывода
Ошибки
покрытия
РЕАЛИЗОВАННАЯ
ВЫБОРКА
ВЫВОДЫ,
ЗАКЛЮЧЕНИЯ,
РЕКОМЕНДАЦИИ
Продолжая Грушина. Февраль 2014.
Ошибки
редактирования
8

9. Ошибки выборки
Вероятность респондентов попасть в выборку
зависит от их практик пользования телефонами.
Например:
• пожилые чаще пользуются стационарными
телефонами, молодежь – мобильными;
• в селе люди часто используют мобильный
телефон в качестве домашнего;
• чаще других несколькими сим-картами
пользуются жители крупных городов, люди с
высшим образованием.
Продолжая Грушина. Февраль 2014.
9

10. Ошибки выборки
Сколько человек 18 лет и старше, включая
Вас, проживает вместе с Вами в Вашей
семье?
Размер домохозяйства
Есть ли у Вас стационарный домашний
телефон?
Стац.
Есть ли у Вас личный мобильный телефон?
Моб.
Скажите, пожалуйста, вы всегда один (одна)
пользуетесь этим мобильным телефоном,
или им пользуется несколько человек? Если
несколько, то сколько именно?
Пользователи моб.
Сейчас вы лично постоянно (не реже раза в
неделю) для разговора пользуетесь одним
номером мобильного телефона, сим-картой
или несколькими? Если несколькими, то
сколькими именно?
Количество моб.
Продолжая Грушина. Февраль 2014.
10

11. Ошибки выборки
Телефонный опрос
без взвешивания
Телефонный опрос
выравнивается
вероятность отбора
Опрос ftf
38.8
58.0
47.2
45.5
50.5
только мобильный
3.2
7.4
44.4
мобильный и стационарный
5.1
только стационарный
Анализ 17 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в период с апреля по декабрь 2013 года. Всего 17208
полных интервью.
Всероссийский ftf опрос ФОМнибус проводился 20-23 февраля 2014 года. Выборка 3000 респондентов. Погрешность не превышает
2,5 п.п.
Продолжая Грушина. Февраль 2014.
11

12. Общая теория ошибок (total error framework)
[Lavrakas, P.J, 2013, P. 835]
Ошибки измерения
Ошибки репрезентации
КОНСТРУКТ
ЦЕЛЕВАЯ
ГРУППА
Ошибки
спецификации
ОСНОВА
ВЫБОРКИ
ИЗМЕРЕНИЕ
Ошибки
измерения
Ошибки
выборки
ОТВЕТ
СПРОЕКТИРОВАННАЯ
ВЫБОРКА
Ошибки
регистрации
Ошибки
неответов
НАБОР
ДАННЫХ
Ошибки
вывода
Ошибки
покрытия
РЕАЛИЗОВАННАЯ
ВЫБОРКА
ВЫВОДЫ, ЗАКЛЮЧ
ЕНИЯ, РЕКОМЕНДА
ЦИИ
Продолжая Грушина. Февраль 2014.
Ошибки
редактирования
12

13. Ошибки неответов
Величина ошибки неответов обусловлена
величиной достижимости и отличиями между
опрошенной и недостигнутой частями
совокупности.
Продолжая Грушина. Февраль 2014.
13

14. Ошибки неответов
Логика работы интервьюеров
Дозвонились
(взяли трубку)
• Техническая достижимость
Согласие на
опрос
• Результат контакта с
отобранным
респондентом
Завершенное
интервью
Продолжая Грушина. Февраль 2014.
• Доведение
интервью
до конца
14

15. Ошибки неответов
Технический результат дозвона:
Результат дозвона*:
Стац.
Моб.
Дозвонились
18%
17%
Занято
10%
4%
Неверный номер
Нет ответа
Ошибка при звонке
35%
31%
6%
34%
36%
8%
Анализ телефонных опросов ФОМ, проведенных в период с августа 2013 года по февраль 2014 года.
Всего 680000 телефонных номеров, задействованных в различных проектах.
* Под результатом дозвона понимается результат последнего звонка на телефонный номер.
Продолжая Грушина. Февраль 2014.
15

16. Ошибки неответов
Устойчивость результата дозвона по одному и тому же номеру телефона
в различных опросах
Звонок 2
Мобильный телефон
Дозвонились
Занято
Неверный
номер
Нет ответа
Ошибка при
звонке
53%
3%
6%
37%
2%
Занято
9%
18%
36%
31%
6%
Неверный номер
2%
4%
59%
31%
4%
Нет ответа
14%
4%
26%
51%
5%
Ошибка при звонке
24%
3%
11%
31%
31%
Дозвонились
Звонок 1
Случаев:
6205
1528
12277
12607
1522
Устойчивость
52%
Звонок 2
Стационарный телефон
Дозвонились
Занято
Неверный
номер
71%
2%
3%
23%
1%
Занято
4%
65%
11%
17%
2%
Неверный номер
2%
4%
79%
12%
3%
17%
6%
13%
60%
4%
7%
15%
31%
27%
Звонок 1
Нет ответа
Ошибка при звонке
Ошибка при
звонке
Случаев:
20%
Дозвонились
Нет ответа
1908
1695
2850
3107
424
Устойчивость
66%
Продолжая Грушина. Февраль 2014.
16

17. Ошибки неответов
Результат взаимодействия с респондентом:
полное интервью
отказ
моложе 18 лет
прерванное интервью
вне целевой группы
другое
Моб.
27%
42%
4%
7%
7%
13%
Стац.
18%
48%
4%
4%
12%
16%
Анализ 17 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в
период с апреля по декабрь 2013 года. Всего 17208 полных интервью
Продолжая Грушина. Февраль 2014.
17

18. Ошибки неответов
Устойчивость результата взаимодействия с респондентом по одному и
тому же номеру телефона в различных опросах
Звонок 2
Звонок 1
Мобильный телефон
полное интервью
отказ
моложе 18 лет
прерванное интервью
вне целевой группы
другое
Устойчивость
полное
интервью
отказ
моложе 18
лет
37%
13%
9%
18%
15%
24%
34%
62%
24%
49%
40%
44%
прерв. вне целевой
интервью
группы
2%
2%
48%
3%
3%
1%
4%
4%
3%
5%
4%
5%
4%
7%
6%
8%
26%
6%
другое
18%
12%
10%
17%
12%
19%
Случаев:
1489
2153
185
237
388
572
43%
Звонок 2
Звонок 1
Стационарный телефон
полное интервью
отказ
моложе 18 лет
прерванное интервью
вне целевой группы
другое
Устойчивость
полное
интервью
отказ
моложе 18
лет
25%
9%
14%
13%
7%
19%
44%
65%
34%
60%
26%
46%
4%
3%
26%
4%
2%
3%
прерв. вне целевой
интервью
группы
4%
2%
3%
9%
1%
3%
5%
7%
5%
5%
58%
6%
другое
19%
13%
17%
9%
6%
23%
Случаев:
879
1887
149
128
410
593
45%
Продолжая Грушина. Февраль 2014.
18

19. Ошибки неответов
Отличия между опрошенной и недостигнутой
частями совокупности:
1. Мини-интервью при отказе от основного
опроса.
2. Анализ прерванных интервью.
Продолжая Грушина. Февраль 2014.
19

20. Ошибки неответов
Отказникам задается несколько вопросов.
Вы проживает в городе или селе?
33% отказников ответили на этот вопрос.
В 67% случаев мы не знаем тип населенного пункта отказников.
Тип населенного
пункта
город, пгт
село
респондентов
Результат взаимодействия с
респондентом
Полное
Отказ
интервью
81%
19%
80%
20%
1675
3059
Анализ 3 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в
январе-феврале 2014 года.
Продолжая Грушина. Февраль 2014.
20

21. Ошибки неответов
Отказникам задается несколько вопросов. Сколько полных лет Вам исполнилось?
36% отказников ответили на этот вопрос.
В 64% случаев мы не знаем возраст отказников.
Зависимость коэффициента кооперации (COOP3) от пола и возраста
респондента, типа телефона.
0.7
0.6
0.5
0.4
0.3
<= 24,00
25,00 - 28,00 29,00 - 33,00
Муж. Стац.
34,00 - 38,00 39,00 - 44,00
Жен. Стац.
45,00 - 50,00 51,00 - 55,00
Муж. Моб.
56,00 - 61,00 62,00 - 70,00
Жен. Моб.
71,00+
Анализ 17 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в период с апреля по декабрь 2013 года. Всего 17208 полных
интервью.
Продолжая Грушина. Февраль 2014.
21

22. Ошибки неответов
Анализ прерванных интервью.
По подавляющему большинству вопросов значимых отличий
между полными и прерванными интервью не
наблюдается. Но есть и исключения. Более склонны
прерывать интервью:
•
•
•
•
•
пожилые люди (65+ вне зависимости от пола)
с низким доходом
без мобильного телефона
без стационарного телефона
никогда не пользовались интернетом, НЕ суточная
аудитория интернета
Анализ 22 волн телефонного опроса ФОМ ОМ, проведенных в период с апреля 2013 года
по январь 2014 года. Различия в ответах на открытые вопросы не анализировались.
Средняя продолжительность опросов не превышала 15 минут
Продолжая Грушина. Февраль 2014.
22

23. Общая теория ошибок (total error framework)
[Lavrakas, P.J, 2013, P. 835]
Ошибки измерения
Ошибки репрезентации
КОНСТРУКТ
ЦЕЛЕВАЯ
ГРУППА
Ошибки
спецификации
ОСНОВА
ВЫБОРКИ
ИЗМЕРЕНИЕ
Ошибки
измерения
Ошибки
выборки
ОТВЕТ
СПРОЕКТИРОВАННАЯ
ВЫБОРКА
Ошибки
регистрации
Ошибки
неответов
НАБОР
ДАННЫХ
Ошибки
вывода
Ошибки
покрытия
РЕАЛИЗОВАННАЯ
ВЫБОРКА
ВЫВОДЫ, ЗАКЛЮЧ
ЕНИЯ, РЕКОМЕНДА
ЦИИ
Продолжая Грушина. Февраль 2014.
Ошибки
редактирования
23

24. Общая теория ошибок
Наибольший потенциал к появлению
систематических смещений находится на
стадии ошибок неответов.
При этом ошибки неответов изучены
значительно хуже других типов ошибок.
Величина достижимости, а порой и сам факт
её наличия, игнорируются в подавляющем
большинстве проводимых в России опросов.
Продолжая Грушина. Февраль 2014.
24

25. Спасибо за внимание!
Тимур Османов,
Фонд «Общественное мнение»,
osmanovtim@yandex.ru
Продолжая Грушина. Февраль 2014.
25