Видеозапись: http://www.youtube.com/watch?v=ofpWHyhRkWs План доклада: Фильтрация навигационных запросов Автоматическая классификация запросов на «информационные» и «коммерческие» Быстрая группировка семантического ядра для существующего сайта

1. Тонкости фильтрации и
группировки запросов
26 февраля 2015
Онлайн-марафон «SEO 24/7»

2. Игорь Бакалов
• В клиентском SEO с 2010 года
• Опыт продвижения: более 60 проектов
• Автор блога http://bakalov.info/

3. План доклада:
1) Фильтрация навигационных запросов
2) Автоматическая классификация запросов на
«информационные» и «коммерческие»
3) Быстрая группировка семантического ядра для
существующего сайта

4. Небольшое отступление…
Сперва нужно собрать СЯ:
1) Yandex Wordstat, Rambler AdStat, Google KeywordPlanner
2) Подсказки Яндекс, Google, Mail.ru
3) Счетчики Яндекс.Метрики, Google Analytics
4) Базы ключевых слов: Amazing, Пастухов, UP-base, …
5) Анализаторы: SpyWords, SEMrush, Prodvigator, ADVSE, …
Затем выполнить первичную чистку:
1) Чистка дубликатов
2) Чистка по спискам стоп-слов
3) Чистка от запросов с ошибками
4) Чистка от запросов-пустышек

5. Фильтрация навигационных запросов
Навигационный запрос – это запрос, по которому
пользователь ищет конкретную фирму или сайт.
Очень актуально в тематиках:
• кафе, рестораны
• базы отдыха, турбазы
• медицинские клиники
• банки и кредитные брокеры
• гостиницы, отели, хостелы
Частично уже рассматривал данный вопрос:
http://www.youtube.com/watch?v=4KQTlNe9HDw

6. Фильтрация навигационных запросов
Определяем витальный сайт по запросу в Yandex.XML.
Например, по запросу «русский дом база отдыха»
сайт russ-dom.ru:

7. Фильтрация навигационных запросов
Общая схема:
1) Собрать топ-10 по всему СЯ через Yandex.XML. Разделить запросы на 2
группы: в первой – по XML есть витальные сайты, во второй – нет.
2) Для первой группы – по каждому запросу из топ-10 исключается
витальный сайт, затем подсчитывается сколько раз оставшиеся сайты
встречаются в группе. Задается минимальный порог «встречаемости».
Формируется «итоговый список» доменов, которые встречаются в
первой группе с количеством раз не менее заданного порога.
3) Для второй группы – по каждому запросу оценивается топ-10, если
сайт встречается в «итоговом списке», то он получает «1», если не
встречается, то «0». На выходе получаем оценку для каждого запроса,
которая характеризует на сколько топ-10 по конкретному запросу из
второй группы «похож» на выдачу по запросу, где есть витальный
сайты.

8. Фильтрация навигационных запросов
Выгрузка топ-10 по запросам, где есть витальный
сайт (из KeyCollector):

9. Фильтрация навигационных запросов
Используя функционал Excel «текст по столбцам» и
удалением лишних строк, приводится к виду:

10. Фильтрация навигационных запросов
Подсчитывается сколько раз каждый домен (кроме
витальных) встречается в выдаче, выбираются где домены,
которые встречаются 3 и более раз:

11. Фильтрация навигационных запросов
Для СЯ, которое необходимо проверить выполняется поиск в
топ-10 доменов, которые встречаются по витальным запросам:

12. Фильтрация навигационных запросов
Пример в тематике «турбазы»
Запросов всего: 3256
Запросов, где по Yandex.XML есть витальный сайт: 222
Порог «встречаемости»: 3
Порог для определения навигационных запросов: 0.3
Запросов прошедших порог: 1444 из 3034 (47.6%)
Ошибочно определенных запросов: 129
Точность: 91%

13. Фильтрация навигационных запросов
Примеры правильно определенных запросов («турбазы»):
база отдыха ландыш, база отдыха речка, сокол турбаза, турбаза остров, база
отдыха барсучок, база отдыха голд фиш, база отдыха городок, база отдыха
дельфин, база отдыха дубровский, база отдыха остров, база отдыха электрон,
база отдыха янисъярви, базы отдыха бурная ладога, турбаза барсучок, турбаза
заря, турбаза здоровяк, турбаза зоря, турбаза маяк, турбаза полет
Примеры НЕ правильно определенных запросов («турбазы»):
турбазы амурской области, турбазы в тверской области недорого, базы отдыха
в карманово, базы отдыха городецкого района, базы отдыха кстовский район,
базы отдыха на ветлуге, базы отдыха на селигере, базы отдыха на черном море,
воротынский район базы отдыха, нижегородские базы отдыха, турбазы
нижегородской области, турбазы тверской области, тюменские базы отдыха,
база отдыха тверская область, базы отдыха семеновский район

14. Фильтрация навигационных запросов
Пример в тематике «доставка суши»
Запросов всего: 5786
Запросов, где по Yandex.XML есть витальный сайт: 933
Порог «встречаемости»: 5
Порог для определения навигационных запросов: 0.4
Запросов прошедших порог: 1837 из 4853 (37.9%)
Ошибочно определенных запросов: 270
Точность: 85%

15. Фильтрация навигационных запросов
Примеры правильно определенных запросов («суши»):
суши ласты меню, окинава суши щукинская, суши маг на пионерской, бенто суши
москва, евразия суши бар цены, империя суши москва, море суши москва, планета
суши меню доставки, ресторан суши таун, суши бар лотос, суши бар япона мама,
суши вок ладожская, суши маг гашека, суши сан москва сходненская, суши сити
бар, суши шоп время, ямамото суши бар
Примеры НЕ правильно определенных запросов («суши»):
суши метро лесная, суши бар коломенская, суши бар на арбате, суши метро
большевиков, суши фрунзенская, доставка суши метро алексеевская, доставка
суши профсоюзная, доставка суши щелковский район, метро молодежная суши,
проспект мира суши бар, суши бары москвы, суши бар на гагарина, суши бар на
ленина, суши бар на щукинской, суши метро автозаводская, суши метро
алексеевская, суши метро арбатская, суши метро баррикадная

16. Фильтрация навигационных запросов
Пример в тематике «доставка суши»
Из 270 ошибочно определенных запросов:
• 117 по станциями метро
• 25 по районам
• 14 по улицам
• 11 по округам
Как снизить вероятность ошибки?
На начальном этапе выделить все запросы с целевыми
топонимами в отдельную группу для ручной фильтрации.

17. “Информационность” и “Коммерческость” запросов
Задача: есть 100500 запросов, необходимо
определить по каким Яндекс предпочитает
показывать информационные сайты, а по каким
коммерческие.
Коммерческий сайт – продает товары и/или услуги
Информационный сайт – ничего напрямую не
продает, но может размещать рекламу.

18. “Информационность” и “Коммерческость” запросов
Для коммерческого сайта характерно:
Наличие контактной информации (телефон,
физический адрес), обратная связь, возможность
онлайн-заказа, онлайн-консультант и т.д.
Для информационного сайта характерно:
Очень часто отсутствие выше приведенной
информации, наличие рекламы (контекстной, тизеры
и т.д.), возможность прямой рекламы на сайте.

19. “Информационность” и “Коммерческость” запросов
Общий алгоритм:
1. Собираем СЯ из 100500 запросов;
2. Получаем по каждому запросу топ-10;
3. Все URL объединяются в один список, удаляются дубли;
4. Каждый URL проверяется на наличие тех, или иных признаков;
5. На основе полученных признаков определяется является ли
данный URL коммерческим, или информационным;
6. В зависимости от того, сколько и каких URL в топ-10, получаем
итоговую оценку по конкретному запросу.
О том, как всё это сделать на практике, смотрим:
http://www.youtube.com/watch?v=9QKMdcU8yYY

20. “Информационность” и “Коммерческость” запросов
Наличие того, или иного фактора определяется при помощи регулярных
выражений.
Примеры эвристик:
• Если на странице есть контекстная реклама – это информационный
документ;
• Если на странице есть кнопка «Купить» и «Корзина» - это коммерческий
документ;
• Если на страницы есть форма «Добавить комментарий» и информация
«Реклама на сайте» - это информационный документ;
• Если на странице есть ссылка на «Наши услуги», «Прайс», городской
телефон, онлайн-консультант – это коммерческий документ;
• Если на странице нет «факторов» коммерческого документа – это
информационный документ.

21. “Информационность” и “Коммерческость” запросов
Тематика «эпиляция», коммерческие ГНЗ запросы:
ЗАПРОС КОММ ГЕО
восковая эпиляция купить материал 1 0
воск для депиляции фирмы 1 0
воск для эпиляции бьюти имидж 1 0
воск для эпиляции в картриджах 1 0
воск для эпиляции где продается 1 0
воск для эпиляции теплый в картридже 1 0
воск для эпиляции beauty image 1 0
все для депиляции заказать 1 0
все для депиляции интернет магазин 1 0
все для депиляции магазин 1 0
эпиляция бедер 0.9 0
эпиляция ног полностью 0.9 0
эпиляция онлайн запись 0.9 0
эпиляция сопрано 0.9 0
эпиляция soprano xl 0.9 0

22. “Информационность” и “Коммерческость” запросов
Тематика «эпиляция», информационные ГЗ запросы:
ЗАПРОС КОММ ГЕО
безболезненная эпиляция зоны бикини эпилятором 0 1
депиляция кремом для беременных 0 1
депиляция усов у девушек 0 1
крем для депиляции беременным 0 1
крем после эпиляции от раздражения 0 1
правильная эпиляция ног эпилятором 0 1
правильная эпиляция эпилятором 0 1
удаление волос навсегда над губой 0 1
эпиляция эпилятором подмышки 0 1
восковая эпиляция беременным 0.1 1
депиляция при беременности воском 0.1 1
крем для эпиляции в зоне бикини 0.1 1
правильная эпиляция воском 0.1 1
сделать эпиляцию сахаром 0.1 1
спрей для обезболивания при эпиляции 0.1 1

23. “Информационность” и “Коммерческость” запросов
Тематика «планшеты», коммерческие ГНЗ запросы:
ЗАПРОС КОММ ГЕО
заказать планшет через интернет недорого 1 0
купить планшет онлайн 1 0
планшет купить онлайн магазин 1 0
планшет купить онлайн недорого 1 0
планшет сони xperia tablet z цена 1 0
заказать бесплатно планшет 0.9 0
купить планшет онлайн в кредит 0.9 0
купить планшет iru p8901g 0.9 0
планшет леново 8000 отзывы цена 0.9 0
планшет 7 дюймов недорого 0.9 0
планшет apple ipad mini цена 0.9 0
планшет apple mini цена 0.9 0
планшет microsoft surface купить 0.9 0
samsung galaxy tab3 планшет цена 0.9 0

24. “Информационность” и “Коммерческость” запросов
Тематика «планшеты», информационные ГЗ запросы :
ЗАПРОС КОММ ГЕО
детский планшет рейтинг 2014 0 1
лучшие планшеты samsung 2014 года 0 1
планшеты рейтинг популярности 0 1
планшет рейтинг 2014 цена качество 0 1
рейтинг дешевых планшетов 0 1
рейтинг планшетов 2015 0 1
купить лучший планшет 2014 года 0.1 1
лучшие планшеты леново топ 10 0.1 1
лучшие планшеты цена качество 0.1 1
лучшие 7 дюймовые планшеты 0.1 1
лучший планшет для дома 0.1 1
планшеты по дешевке 0.1 1
планшет по параметрам 0.1 1
подбор планшета по параметрам 0.1 1
самый дешевый планшет 0.1 1

25. Группировка СЯ для существующего сайта
Способы группировки семантики:
1) Ручная группировка:
• В Excel
• В KeyCollector
2) Автоматические группировщики по SERP:
• seo-case.com
• engine.seointellect.ru
• coolakov.ru
• just-magic.org
• rush-analytics.ru
• semparser.ru
• stoolz.ru

26. Группировка СЯ для существующего сайта
Минусы ручной группировки:
• Долго
• Много ошибок
Минусы автоматической группировки по SERP:
• Получаем группы запросов без привязки к сайту
• Не понятно, под какие группы уже есть
посадочные страницы, а под какие необходимо их
создать.

27. Группировка СЯ для существующего сайта
Альтернативный подход:
1) Собрать семантическое ядро для сайта, получить
по каждому запросу топ-10 выдачи ПС.
2) Для каждой страницы на сайте выбрать 1 запрос,
который ее максимально точно описывает. Для
всех этих запросов также получить топ-10 выдачи.
3) Сравнить SERP’ы по «привязанным» запросам с
SERP’ами по подобранному семантическому ядру.
На основе схожести выдачи привязать запросы из
СЯ к страницам сайта.

28. Группировка СЯ для существующего сайта
Общий алгоритм:
1) Строится таблица соответствия, в которой указано сколько каждый
запрос (из привязанных к сайту) имеет пересечений по URL’ам с
каждым запросом из подобранного семантического ядра.
2) Например, если ключ N из СЯ имеет 10 пересекающихся URL с ключом
M привязанному к сайту, то ключ N привязывается к ключу M и
удаляется из таблицы.
3) В начале группируются ключи, которые имеют 10 пересекающихся URL,
затем 9, 8 и т.д.
На выходе получается таблица, где для каждой группы запросов известно
основное ключевое слово, привязанное к конкретной странице на сайте, а
также дополнительные ключевые слова с указанием значения близости,
которое зависит от количество пересечений в топ-10.

29. Группировка СЯ для существующего сайта
Пример реализации: небольшая десктопная
программа, на вход которой подается 2 файла с
выгрузками из KeyCollector:
Что получается на выходе?

30. Группировка СЯ для существующего сайта
Пример группировки в тематике «Айфоны»:

31. Группировка СЯ для существующего сайта
Пример группировки в тематике «Духи»:

32. Группировка СЯ для существующего сайта
Пример группировки в тематике «Насосы»:

33. Спасибо за внимание!
Игорь Бакалов
Подписывайтесь на мой блог:
http://bakalov.info/
И добавляйтесь в социальных сетях:
https://www.facebook.com/bakalov.igor
https://twitter.com/Bakalov_Igor
https://www.youtube.com/user/b7186rft