Оценка качества поиска носит статистический характер. Нельзя сделать вывод о качестве поисковой системы, основываясь лишь на результатах для трех любимых запросов. Также оценка многомерна: есть большое количество параметров, на которые нужно обращать внимание, и для разных пользователей они имеют разное значение.

1. 1

2. Примерно так
• Зачем измерять качество?
• Разные техники
– Автоматы
– Асессоры
– Пользователи
• Неотвеченные вопросы
2

3. Что здесь изображено?
3

4. Первый шаг: маркеры
• Конкретные сайты по конкретным
запросам
• Недостатки:
– Трудно составить непредвзятый набор
– Навигационных запросов <15%
4

5. Турфирма солеанс
5

6. Турфирма солеанс
6

7. Что делать с другими
запросами?
• “Тематические маркеры”
– Гипотеза: по многим запросам есть
авторитетные страницы
• В реальности:
– По некоторым запросам авторитетных
страниц очень много
– По некоторым запросам авторитетных
страниц нет совсем
7

8. Поисковая система
8

9. Поисковая система
9

10. Я записался в танкисты
некогда слушать секс пистолз
10

11. Я записался в танкисты
некогда слушать секс пистолз
11

12. Как сравнить количественно?
• Оценки экспертов
• Соответствие документа запросу
• Но не задаче пользователя
1. Сигареты Bond Street
2. Струнный квартет Bond
3. James Bond, агент 007
12

13. Как это у нас
• VITAL – однозначно на первом месте
• USEFUL – отвечает на запрос и
вдобавок
– Находится на авторитетном ресурсе
– Содержит много еще полезного по теме
• REL+ – отвечает на запрос
• REL- – содержит что-то по теме запроса
• IRREL – не помогает пользователю
13

14. Официальный сайт фк зенит
14

15. Vasily smyslov
15

16. Frozen lake
16

17. И вот что получается:
Гипотеза:
• Пользователь идет сверху
вниз
• Останавливается если
• Нашел
• Устал
• Левый лучше
• Хоть без микроскопа и не
видно 
17

18. Слышали про MatrixNet?
Вот так это выглядело год назад
18

19. Кто выиграл уимблдон
19

20. Наполеон
20

21. Наполеон
21

22. А если наполеона спросили
• 31 декабря
• 7 марта
• 30 мая
?
22

23. Можно спросить
пользователей
• Доля некликнутых
23

24. Яндекс
24

25. Можно спросить
пользователей
• Доля некликнутых
• Средняя позиция первого клика
25

26. Санкт Петербург
26

27. Еще не все вопросы отвечены
• Как пользователь выбирает поисковик?
• Что предпочесть, когда показатели
разнонаправлены?
27

28. 28