Поиск паттернов (Data Mining: Pattern Discovery) / Константин Игнатов (Qrator Labs)

Поиск паттернов
Константин Игнатов
7 ноября 2017
2017-11-07

∙ Паттерн — это...
Типы паттернов
2
∙
Паттерн — это...
2017-11-07
Что такое паттерны
Примеры
1. Паттерн — это что-то повторяющееся в данных.
2. То есть: некоторая структура, которая
представляет для нас интерес.
3. Как правило, это означает, что она должна
встречаться чаще заданного числа раз (в
абсолютном или относительном измерении). Это
число называется ≪поддержка≫.

∙ Интересный паттерн должен...
∙
встречаться часто в данных — поддержка
(support),
∙ удовлетворять другим критериям.
2
∙ Интересный паттерн должен...
∙ встречаться часто в данных — поддержка
(support),
∙
удовлетворять другим критериям.
2017-11-07
Примеры
1. То есть: некоторая структура, которая
представляет для нас интерес.
2. Как правило, это означает, что она должна
встречаться чаще заданного числа раз (в
абсолютном или относительном измерении). Это
число называется ≪поддержка≫.

2
2017-11-07
Примеры
1. Магазины хотят ставить рядом товары, которые
часто покупают вместе.
2. ... То есть, которые часто появляются в одном
чеке друг с другом.
3. ... По крайней мере так было когда-то —
исторические корни задачи: байка про
подгузники и пиво.
4. ... Сейчас-то они наоборот делают и самое нужное прячут в самом потаённом углу,
чтобы я прошёлся до касс/выхода через весь магазин и купил ещё что-нибудь лишнего
(шутка).

2
2017-11-07
Примеры
1. Веб-аналитикам интересно понимать, какую
последовательность действий пользователи
чаще всего делают на сайте.
2. При этом может быть некоторая вариативность в
промежуточных действиях, которая не
представляет интереса: например, важно только,
что человек нажал на иконку с товаром, а потом
— на кнопку ≪В корзину≫.

Mozilla /5.0 ( Windows NT 6 . 1 ; WOW64) AppleWebKit /537.36 (KHTML, l i k e
Gecko ) Chrome /43.0.2357.81 S a f a r i /537.36 OPR/30.0.1835.59
Mozilla /5.0 ( Windows NT 6 . 1 ; Win64 ; x64 ) AppleWebKit /537.36 (KHTML,
l i k e Gecko ) Chrome /61.0.3163.100 S a f a r i /537.36
Dalvik /2.1.0 ( Linux ; U; Android 5 . 1 ; E5533 Build /29.1.B. 0 . 8 7 )
Mozilla /5.0 ( Windows NT 1 0 . 0 ; WOW64; Trident / 7 . 0 ; rv : 1 1 . 0 ) l i k e
Gecko
Mozilla /5.0 ( Windows NT 5.1) AppleWebKit /537.36 (KHTML, l i k e Gecko )
Chrome /49.0.2623.112 S a f a r i /537.36 OPR/36.0.2130.80
Dalvik /2.1.0 ( Linux ; U; Android 7 . 0 ; SM−J530FM Build /NRD90M)
Mozilla /5.0 ( Linux ; Android 4 . 4 . 2 ; GT−P5200 Build /KOT49H)
AppleWebKit /537.36 (KHTML, l i k e Gecko ) Chrome /61.0.3163.98
S a f a r i /537.36
Dalvik /2.1.0 ( Linux ; U; Android 5 . 0 . 2 ; C6903 Build /14.5.A. 0 . 2 4 2 )
Mozilla /5.0 ( Windows NT 1 0 . 0 ; WOW64) AppleWebKit /537.36 (KHTML, l i k e
Gecko ) Chrome /60.0.3112.113
Паттерны в строках
3
Gecko ) Chrome /43.0.2357.81 S a f a r i /537.36 OPR/30.0.1835.59
Mozilla /5.0 ( Windows NT 6 . 1 ; Win64 ; x64 ) AppleWebKit /537.36 (KHTML,
l i k e Gecko ) Chrome /61.0.3163.100 S a f a r i /537.36
Dalvik /2.1.0 ( Linux ; U; Android 5 . 1 ; E5533 Build /29.1.B. 0 . 8 7 )
Mozilla /5.0 ( Windows NT 1 0 . 0 ; WOW64; Trident / 7 . 0 ; rv : 1 1 . 0 ) l i k e
Gecko
Mozilla /5.0 ( Windows NT 5.1) AppleWebKit /537.36 (KHTML, l i k e Gecko )
Chrome /49.0.2623.112 S a f a r i /537.36 OPR/36.0.2130.80
Dalvik /2.1.0 ( Linux ; U; Android 7 . 0 ; SM−J530FM Build /NRD90M)
Mozilla /5.0 ( Linux ; Android 4 . 4 . 2 ; GT−P5200 Build /KOT49H)
AppleWebKit /537.36 (KHTML, l i k e Gecko ) Chrome /61.0.3163.98
S a f a r i /537.36
Dalvik /2. 1.0 ( Linux ; U; Android 5 . 0 . 2 ; C6903 Build /14.5.A. 0 . 2 4 2 )
Mozilla /5.0 ( Windows NT 1 0 . 0 ; WOW64) AppleWebKit /537.36 (KHTML, l i k e
Gecko ) Chrome /60.0.3112.113
2017-11-07
Примеры
Паттерны в строках
1. Здесь можно искать подстроки, или
подпоследовательности символов, или
подпоследовательности токенов.
2. browscap или RFC2616 можно использовать для
проверки.
3. А теперь опишем эти три задачи более
формально..

∙
Подмножества: {a, b, f } ∈ {a, b, c, d, e, f };
Типы паттернов: абстракции
4
∙ Подмножества: {a, b, f } ∈ {a, b, c, d, e, f };
2017-11-07
Абстракции
1. Примеры подмножеств: товары в чеке, свойства
объектов, иногда бинарные флаги
конвертируются в множества.

∙
∙
подстроки ”abc” ∈ ”blablabcblabla”;
4
∙ подстроки ”abc” ∈ ”blablabcblabla”;
2017-11-07
1. Не стоит путать с задачей поиска максимальной
общей подстроки среди k строк, наши паттерны
не обязательно являются подстроками для всех
исходных строк, они просто достаточно часто
встречаются.

∙
∙
∙ подпоследовательности:
[a, {b, c} , a, b] ∈ [a, c, d, {b, c}, {e, f , g} , a, b, a];
4
∙
подпоследовательности:
2017-11-07
1. Последовательности от строк отличаются тем,
что строка должна совпасть без разрывов, а
последовательность может быть ≪разорвана≫.

∙
∙
∙
подграфы (веб, ДНК, набор HTTP-сессий);
4
∙
∙ подграфы (веб, ДНК, набор HTTP-сессий);
2017-11-07
1. Два основных варианта:
2. ... большой граф (например, представление
ДНК) и в нём ищем подграфы, которые часто
встречаются внутри него,
3. ... большой набор графов (например,
HTTP-сессии как графы переходов), ищем такие
графы, что они являются подграфами для
многих графов из этого набора.

∙
∙
∙
подграфы (веб, ДНК, набор HTTP-сессий);
∙ элементы изображений, временных рядов,
структур данных, регулярные выражения, графы
переходов, сети Петри и прочее.
4
∙
∙ подграфы (веб, ДНК, набор HTTP-сессий);
∙ элементы изображений, временных рядов,
структур данных, регулярные выражения, графы
переходов, сети Петри и прочее.
2017-11-07
1. Лучше всего это работает для автоматически
сгенерированных данных, где даже ≪шум≫ носит
≪структурный≫ характер. Например,
≪похожие≫ элементы изображений найти так
очень трудно, легче — абсолютно идентичные.
2. Рассмотрим пример с
паттернами-подмножествами.

id elements
1 b, c, d, e
2 a, b, d, e
3 d, e, g, h
4 a, e, g, h
Пример: ECLAT
5
id elements
1 b, c, d, e
2 a, b, d, e
3 d, e, g, h
4 a, e, g, h
2017-11-07
Примеры
Пример вертикального поиска паттернов
Пример: ECLAT
1. Рассмотрим пример. Дана таблица
Номер Чека → Список товаров в этом чеке.
2. Попробуем найти все паттерны, встретившиеся
больше одного раза, то есть минимум 2.
3. Название алгоритма историческое (equivalence
class & bottom-up). В 2017 году этому алгоритму
20 лет исполняется...

id elements
1 b, c, d, e
2 a, b, d, e
3 d, e, g, h
4 a, e, g, h
element row_ids
a {2, 4}
b {1, 2}
c {1}
d {1, 2, 3}
e {1, 2, 3, 4}
g {3, 4}
h {3, 4}
Пример: ECLAT
5
id elements
1 b, c, d, e
2 a, b, d, e
3 d, e, g, h
4 a, e, g, h
element row_ids
a {2, 4}
b {1, 2}
c {1}
d {1, 2, 3}
e {1, 2, 3, 4}
g {3, 4}
h {3, 4}
2017-11-07
Примеры
Пример: ECLAT
1. Построим обратную таблицу —
Товар → В каких чеках он появлялся.

id elements
1 b, c, d, e
2 a, b, d, e
3 d, e, g, h
4 a, e, g, h
elements row_ids
{a} {2, 4}
{b} {1, 2}
{d} {1, 2, 3}
{e} {1, 2, 3, 4}
{g} {3, 4}
{h} {3, 4}
Пример: ECLAT
5
id elements
1 b, c, d, e
2 a, b, d, e
3 d, e, g, h
4 a, e, g, h
elements row_ids
{a} {2, 4}
{b} {1, 2}
{d} {1, 2, 3}
{e} {1, 2, 3, 4}
{g} {3, 4}
{h} {3, 4}
2017-11-07
Примеры
Пример: ECLAT
1. Это уже часть ответа. Нужно только удалить {c},
потому что этот элемент (товар) был только в
одном чеке, а у нас поддержка — 2.

id elements
1 b, c, d, e
2 a, b, d, e
3 d, e, g, h
4 a, e, g, h
elements row_ids
{a,e} {2, 4}
{b,d} {1, 2}
{b,e} {1, 2}
{d,e} {1, 2, 3}
{e,g} {3, 4}
{e,h} {3, 4}
{g,h} {3, 4}
Пример: ECLAT
5
id elements
1 b, c, d, e
2 a, b, d, e
3 d, e, g, h
4 a, e, g, h
elements row_ids
{a,e} {2, 4}
{b,d} {1, 2}
{b,e} {1, 2}
{d,e} {1, 2, 3}
{e,g} {3, 4}
{e,h} {3, 4}
{g,h} {3, 4}
2017-11-07
Примеры
Пример: ECLAT
1. Self-join предыдущей таблицы (комбинации)
позволяет найти паттерны длины 2, то есть,
например, два товара, которые покупают вместе.
Например, у {a} были id 2, 4, у {e} — 1, 2, 3, 4
пересечение этих двух множеств даёт {2, 4}.

id elements
1 b, c, d, e
2 a, b, d, e
3 d, e, g, h
4 a, e, g, h
elements row_ids
{b,d,e} {1, 2}
{e,g,h} {3, 4}
Пример: ECLAT
5
id elements
1 b, c, d, e
2 a, b, d, e
3 d, e, g, h
4 a, e, g, h
elements row_ids
{b,d,e} {1, 2}
{e,g,h} {3, 4}
2017-11-07
Примеры
Пример: ECLAT
1. Делаем ещё раз то же самое, склеивая первый и
последний символы паттернов, и находим
паттерны длины 3.
2. Паттернов длины 4, встретившихся более чем в
одном чеке, у нас нет.

elements count elements count elements count
{a} 2 {a,e} 2 {b,d,e} 2
{b} 2 {b,d} 2 {e,g,h} 2
{d} 3 {b,e} 2
{e} 4 {d,e} 3
{g} 2 {e,g} 2
{h} 2 {e,h} 2
{g,h} 2
Пример: ECLAT
5
{a} 2 {a,e} 2 {b,d,e} 2
{b} 2 {b,d} 2 {e,g,h} 2
{d} 3 {b,e} 2
{e} 4 {d,e} 3
{g} 2 {e,g} 2
{h} 2 {e,h} 2
{g,h} 2
2017-11-07
Примеры
Пример: ECLAT
1. Формально задачу мы решили, но это несколько
избыточный результат. Чуть позже обсудим, что
не так.

{ae} {eg}{eh} {gh}
{ }
{a} {b} {d} {e} {g} {h}
2 4
1 22 4 1 2
3 4
3 4 3 4
{egh}
3 4
{bde}
1 2
3 41 2 3
3 41 2 3 4
{bd}{be} {de}
1 2 31 2
Дерево найденных паттернов
6
{ae} {eg}{eh} {gh}
{ }
{a} {b} {d} {e} {g} {h}
2 4
1 22 4 1 2
3 4
3 4 3 4
{egh}
3 4
{bde}
1 2
3 41 2 3
3 41 2 3 4
{bd}{be} {de}
1 2 31 2
2017-11-07
Примеры
1. Наглядное изображение того, что мы только что
сделали. Главное: мы избегали повторений
операций. Это ключ.

{bd}{ae} {be} {de} {eg} {eh} {gh}
{ }
{a} {b} {d} {e} {g} {h}
{egh}{bde}
COUNT=2 COUNT=2
COUNT=2 COUNT=2 COUNT=2 COUNT=2
COUNT=2
COUNT=2
COUNT=2
COUNT=2
COUNT=2 COUNT=2COUNT=3
COUNT=3
COUNT=4
6
{bd}{ae} {be} {de} {eg} {eh} {gh}
{ }
{a} {b} {d} {e} {g} {h}
{egh}{bde}
COUNT=2 COUNT=2
COUNT=2 COUNT=2 COUNT=2 COUNT=2
COUNT=2
COUNT=2
COUNT=2
COUNT=2
COUNT=2 COUNT=2COUNT=3
COUNT=3
COUNT=4
2017-11-07
Примеры
1. Количество паттернов для разных уровней
поддержки наглядно. При поддержке 3 мы
обошли бы только 5 узлов, 3 паттерна попали бы
в ответ.
2. По сути, мы перечисляли все возможные
паттерны, пока не остались только заведомо
редкие.

∙ Ищем подмножества.
∙
В исходных данных встречались элементы
a, b, c, d.
∙ Какие возможны паттерны?
Перечислить все паттерны
7
∙
Ищем подмножества.
∙ В исходных данных встречались элементы
a, b, c, d.
2017-11-07
Пространство паттернов
Конечные множества паттернов
1. Рассмотрим даже ещё более простую задачу —
поиск паттернов-подмножеств из четырёх
базовых элементов.

∙ В случае с подмножествами их конечное число:
∙ ∅;
∙ {a}, {b}, {c}, {d};
∙ {ab}, {ac}, {ad}, {bc}, {bd}, {cd};
∙ {abc}, {abd}, {acd}, {bcd};
∙ {abcd}.
7
∙ В случае с подмножествами их конечное число:
∙
∅;
∙
{a}, {b}, {c}, {d};
∙
{ab}, {ac}, {ad}, {bc}, {bd}, {cd};
∙
{abc}, {abd}, {acd}, {bcd};
∙
{abcd}.
2017-11-07
1. Для того, чтобы все их перечислить, мы
воспользовались трюком — отсортировали
элементы по алфавиту.

{ab} {ac} {ad} {bc} {bd} {cd}
{abc} {adb} {acd} {bcd}
{ }
{a} {b} {c} {d}
adcd{ }
7
{ }
{a} {b} {c} {d}
adcd{ }
2017-11-07
1. Благодаря сортировке, мы можем построить
дерево паттернов, в котором каждый паттерн
встречается ровно один раз, и мы можем даже
сопоставить каждому паттерну номер.
2. В результате, хоть у длинных паттернов есть
много подпаттернов, нам будет нужен только
один из них — первый.
3. Сортировка по алфавиту не всегда возможна, но
всегда можно определить правило, по которому
один элемент должен идти перед другим.

∙ Ищем простые подпоследовательности.
∙
В исходных данных встречались элементы
a, b, c, d.
Перечислить все паттерны-2
8
∙
Ищем простые подпоследовательности.
∙ В исходных данных встречались элементы
a, b, c, d.
2017-11-07
Счётные множества паттернов
1. Много ли поменяется, если мы будем искать не
подмножества, а подпоследовательности?
2. (Со строками — то же самое.)

∙ Теперь паттернов счётное множество:
∙ [];
∙ [a], [b], [c], [d];
∙ [a, a], [a, b], [a, c], [a, d], [b, a], ... , [c, a], ...[d, d];
∙ [a, a, a], [a, a, b], [a, a, c], [a, a, d], ...,[d, d, d];
∙
...
8
∙ Теперь паттернов счётное множество:
∙ [];
∙ [a], [b], [c], [d];
∙ [a, a], [a, b], [a, c], [a, d], [b, a], ... , [c, a], ...[d, d];
∙ [a, a, a], [a, a, b], [a, a, c], [a, a, d], ...,[d, d, d];
∙ ...
2017-11-07
1. То есть паттернов бесконечно много, но мы
можем их перечислять.
2. Так, например. мы знаем, сколько их в каждой
строке.
3. Упорядочивание нам снова помогло, но уже не
так сильно, как в прошлый раз.

[aa] [ab] [ac] [ad] [ba] [bb] [bc] ... ...
...... ...[aaa] [aab] [aac] [aad] [aba] [abc] [abd]
[ ]
[a] [b] [c] [d]
8
[aa] [ab] [ac] [ad] [ba] [bb] [bc] ... ...
...... ...[aaa] [aab] [aac] [aad] [aba] [abc] [abd]
[ ]
[a] [b] [c] [d]
2017-11-07
1. То есть первый этап (почти) любого алгоритма
поиска паттернов — упорядочить паттерны и
придумать подобное дерево.
2. Бывают и б´oльшие пространства, иногда с ними
что-то можно придумать, а иногда уровни дерева
начинают разрастаться ≪слишком
экспоненциально≫.
3. Данных у нас конечное количество, + могут быть
дополнительные ограничения ⇒на практике
пространство паттернов всегда конечно.

a b c d
a b
a
cb
a
db
a
dc
b
dc
a c a d b c b d c d
ba
dc
8
a b c d
a b
a
cb
a
db
a
dc
b
dc
a c a d b c b d c d
ba
dc
2017-11-07
1. Множества можно рассматривать как
полносвязные графы без повторяющихся узлов.

ba
dc
ba
dc
ba
dc
a d b d c d
ba
d
c
ba d
c
ba
d
c
a b
d
a b
d
a b
d
...... ... ...... ... ...
...... ... ...... ... ...
a b
a b
c
a b
c
a b
c
a b c d
a c b c
...... ... ...... ... ...
8
ba
dc
ba
dc
ba
dc
a d b d c d
ba
d
c
ba d
c
ba
d
c
a b
d
a b
d
a b
d
...... ... ...... ... ...
...... ... ...... ... ...
a b
a b
c
a b
c
a b
c
a b c d
a c b c
...... ... ...... ... ...
2017-11-07
1. Это можно расширить для ненаправленных
графов на конечном множестве вершин.
2. Пространство очень быстро разрастается.
3. И да, это именно пространства в том смысле,
что можно определить расстояние между
паттернами, для которого будет выполняться
правило треугольника.

∙ Как строить дерево паттернов?
∙ Как обходить это дерево?
∙ Использовать стандартные алгоритмы обхода
дерева...
∙
... но нам не всегда нужно обойти всё дерево
(модифицируем стандартные алгоритмы).
∙ Избавляться от лишних обходов данных!
∙ Применять ограничения как можно раньше.
Основная идея
9
∙
Как строить дерево паттернов?
дерева...
∙ ... но нам не всегда нужно обойти всё дерево
∙
Избавляться от лишних обходов данных!
2017-11-07
Путешествия в пространстве паттернов
Основная идея алгоритмов
1. Почти все алгоритмы поиска паттернов, так или
иначе, занимаются обходом дерева паттернов.
Они отличаются только тем, в каком порядке они
перебирают паттерны, какую информацию
хранят в узлах, и когда и как считывают данные.

дерева...
∙
9
∙
дерева...
∙
2017-11-07
1. В ECLAT — это дерево подмножеств.

дерева...
∙
9
∙
дерева...
∙
2017-11-07
1. В ECLAT — каждый уровень дерева описан
отдельной таблицей. JOIN этой таблицы с собой
даёт следующий уровень.

дерева...
∙
9
∙
дерева...
∙
2017-11-07
1. В ECLAT — разновидность обхода в ширину.

дерева...
∙
9
∙
дерева...
∙
2017-11-07
1. В ECLAT мы прочитали таблицу с исходными
данными один раз.
2. В узлах (при помощи вспомогательной таблицы)
хранятся так называемые проекции данных
(списки идентификаторов строк/чеков).
3. Размер вспомогательной таблицы уменьшается
от уровня к уровню.
4. Рассмотрим основные проблемы, с которыми
приходится сталкиваться при разработке
алгоритма или его реализации.

2017-11-07
Сложности

{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{?} {?} {?} {?}
Продолжая перечислять паттерны
11
{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{?} {?} {?} {?}
2017-11-07
Сложности
1. Даже просто перечислять паттерны может быть
сложно, дорого и долго.

{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {?} {?} {?}
11
{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {?} {?} {?}
2017-11-07
Сложности
1. Например, если мы идём по пространству
паттернов, построенному ≪в отрыве от данных≫.

{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {?} {?}
11
{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {?} {?}
2017-11-07
Сложности
1. То есть для каждого паттерна считаем,
присутствует ли он в данных...

{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {?}
11
{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {?}
2017-11-07
Сложности
1. ... и сколько раз встречается.

{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
11
{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. Но даже если представить, что подсчёт частоты
как-то даётся нам за O (1)...

{ab} { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
11
{ab} { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. ... нам всё равно нужно cгенерировать огромное
количество паттернов.

{ab} {ac} { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
11
{ab} {ac} { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. Представим, например, что базовых элементов
— потенциальных паттернов длины 1 сто штук.

{ab} {ac} {ad} { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
11
{ab} {ac} {ad} { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. Сколько потенциальных паттернов длины 2?

{ab} {ac} {ad} {bc} { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
11
{ab} {ac} {ad} {bc} { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. А сколько всего?

{ab} {ac} {ad} {bc} {bd} { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
11
{ab} {ac} {ad} {bc} {bd} { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. А если мы не с множествами будем работать, а с
последовательностями или строками?

{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
11
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. Естественно, на практике это можно и нужно
оптимизировать.

{abc} { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
11
{abc} { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. Во-первых, можно посещать только те узлы
дерева, которые соответствуют паттернам, хотя
бы потенциально присутствующим в данных.

{abc} {adb} { ? } { ? }
{ }
{a} {b} {c} {d}
11
{abc} {adb} { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. А желательно, чтобы они не просто
≪потенциально присутствовали≫, но и
потенциально были интересными для нас (часто
встречающимися, например).

{abc} {adb} {acd} { ? }
{ }
{a} {b} {c} {d}
11
{abc} {adb} {acd} { ? }
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. Во-вторых, можно вообще не генерировать
паттерны (кандидатов в паттерны), а
использовать хитрое представление исходных
и/или промежуточных данных.

{ }
{a} {b} {c} {d}
11
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. Но в любом случае, чисто формально, мы
обходим всё пространство паттернов, даже если
≪чисто виртуально≫.

{ }
{{ ##
b : 1

a : 2
{{
c : 1

b : 1

e : 1

d : 1

d : 1

g : 1

e : 1 e : 1 h : 1
FP-tree
12
{ }
{{ ##
b : 1

a : 2
{{
c : 1

b : 1

e : 1

d : 1

d : 1

g : 1

e : 1 e : 1 h : 1
2017-11-07
Сложности
FP-tree
1. Одно из возможных решений этой проблемы —
преобразование исходной таблицы в особую
структуру данных, которая позволяет избежать
генерирования паттернов.
2. На базе этой структуры построены два
популярных алгоритма — FP-growth и PreﬁxSpan.
3. В узлах дерева паттернов тогда хранится такая
структура, и из неё мы можем выделить
(≪вырастить≫) подпаттерны и соответствующую
проекцию данных для этих подпаттернов.

Проблема с длинными паттернами
13
2017-11-07
Сложности
1. Что будет, если все данные у нас одинаковые?
Есть только один длинный паттерн.
2. В ответе тогда будет слишком много избыточных
данных.

{a} 2 {a,e} 2 {b,d,e} 2
{b} 2 {b,d} 2 {e,g,h} 2
{d} 3 {b,e} 2
{e} 4 {d,e} 3
{g} 2 {e,g} 2
{h} 2 {e,h} 2
{g,h} 2
13
{a} 2 {a,e} 2 {b,d,e} 2
{b} 2 {b,d} 2 {e,g,h} 2
{d} 3 {b,e} 2
{e} 4 {d,e} 3
{g} 2 {e,g} 2
{h} 2 {e,h} 2
{g,h} 2
2017-11-07
Сложности
1. Мы уже сталкивались с похожей ситуацией в
нашем простом примере.

{a} 2 {a,e} 2 {b,d,e} 2
{b} 2 {b,d} 2 {e,g,h} 2
{d} 3 {b,e} 2
{e} 4 {d,e} 3
{g} 2 {e,g} 2
{h} 2 {e,h} 2
{g,h} 2
13
{a} 2 {a,e} 2 {b,d,e} 2
{b} 2 {b,d} 2 {e,g,h} 2
{d} 3 {b,e} 2
{e} 4 {d,e} 3
{g} 2 {e,g} 2
{h} 2 {e,h} 2
{g,h} 2
2017-11-07
Сложности
1. Зная, что есть паттерн {b, d, e} с поддержкой 2,
мы сразу получаем, что есть и {b, e} и {b, e} и
{d, e} с такой же поддержкой или больше.

{a} 2 {a,e} 2 {b,d,e} 2
{b} 2 {b,d} 2 {e,g,h} 2
{d} 3 {b,e} 2
{e} 4 {d,e} 3
{g} 2 {e,g} 2
{h} 2 {e,h} 2
{g,h} 2
13
{a} 2 {a,e} 2 {b,d,e} 2
{b} 2 {b,d} 2 {e,g,h} 2
{d} 3 {b,e} 2
{e} 4 {d,e} 3
{g} 2 {e,g} 2
{h} 2 {e,h} 2
{g,h} 2
2017-11-07
Сложности
1. То есть, если бы мы в ответе удалили
подсвеченные паттерны, мы бы не потеряли
информацию.
2. Если бы мы удалили выделенные жирным, мы
бы потеряли информацию о том, сколько раз
паттерн встретился в данных, но не информацию
о том, удовлетворяет ли он нашим критериям
поиска (ДА или НЕТ).

{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
Обход дерева в ECLAT
14
{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. Да, нам не нужно сканировать исходные данные
много раз.

{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
14
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. Но значительную часть этих данных мы храним в
памяти.

{ }
{a} {b} {c} {d}
14
{ }
{a} {b} {c} {d}
2017-11-07
Сложности
1. Можно ли уменьшить потребление памяти?

{ae} {eg}{eh} {gh}
{ }
{a} {b} {d} {e} {g} {h}
1 3 1 2
3 41 3 3 4
1 2
1 2 1 2
{egh}
1 2
{bde}
3 4
1 24
1 2
1 2 3 4
{bd}{be} {de}
1 4
14
{ae} {eg}{eh} {gh}
{ }
{a} {b} {d} {e} {g} {h}
1 3 1 2
3 41 3 3 4
1 2
1 2 1 2
{egh}
1 2
{bde}
3 4
1 24
1 2
1 2 3 4
{bd}{be} {de}
1 4
2017-11-07
Сложности
1. Можно хранить не сами множества
идентификаторов, а их разницу с универсальным
множеством (или со множеством на предыдущем
уровне).
2. ...и проще работа: нужно считать объединение
множеств, а не пересечение — это можно делать
(𝜀, 𝛿)-аппроксимировано (но осторожно).
3. Чем больше данных, тем заметнее результат.

Обход дерева определён через рекурсию
15
2017-11-07
Стек алгоритмов обхода дерева
Уходим от рекурсии
Обход дерева определён через рекурсию

∙ Обход дерева обычно делают рекурсивно.
∙ Уйдя от рекурсии, можно управлять стеком
вручную.
∙ В том числе превратить его в очередь задач.
∙
Но нам потребуются дополнительные средства
модификации стека — чтобы избежать
упомянутых проблем.
Стек работы алгоритма
16
∙
Обход дерева обычно делают рекурсивно.
∙ Уйдя от рекурсии, можно управлять стеком
вручную.
∙
В том числе превратить его в очередь задач.
∙ Но нам потребуются дополнительные средства
модификации стека — чтобы избежать
упомянутых проблем.
2017-11-07
Стек работы алгоритма

{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{?} {?} {?} {?}
Работа со стеком
17
{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{?} {?} {?} {?}
2017-11-07
1. Сначала в стеке-очереди исходное состояние.

{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
17
{ ? } { ? } { ? } { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
1. Эту ≪задачу≫ мы ≪забрали≫ и положили 4 новые,
попутно обнаружив 4 паттерна.

{ab} {ac} {ad} { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
17
{ab} {ac} {ad} { ? } { ? } { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
1. Обработали ≪задачу≫ {a}, ещё лежат {b}, {c},
{d}, ещё три добавили

{ab} {ac} {ad} {bc} {bd} { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
17
{ab} {ac} {ad} {bc} {bd} { ? }
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
1. Минус одна, плюс две.

{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
17
{ ? } { ? } { ? } { ? }
{ }
{a} {b} {c} {d}
2017-11-07
1. Когда остаётся только последний ряд, при
извлечении задач из стека новые уже не
добавляются.

{abc} {adb} { ? }
{ }
{a} {b} {c} {d}
{ ? }
17
{abc} {adb} { ? }
{ }
{a} {b} {c} {d}
{ ? }
2017-11-07
1. Но, в зависимости от типа алгоритма, могут
производиться довольно тяжёлые операции...

{abc} {adb} {acd} { ? }
{ }
{a} {b} {c} {d}
17
{abc} {adb} {acd} { ? }
{ }
{a} {b} {c} {d}
2017-11-07
1. ...включая сканирование исходных данных.

{ }
{a} {b} {c} {d}
17
{ }
{a} {b} {c} {d}
2017-11-07
1. В том числе поэтому, часто нужно
модифицировать стек в процессе работы
алгоритма — так, чтобы уменьшить количество
узлов, которые нужно обойти.

Модификация стека
18
2017-11-07
Ломаем стек
1. Благодаря упорядоченности паттернов, мы
можем быть уверены, что {b, c} не появится
правее в дереве.

18
2017-11-07
1. |Если при обходе в глубину обнаружится, что
поддержка первого упоминания {b, c} такая же
как у самого этого паттерна во втором ряду, то
мы можем отменить все задачи, связанные с
{b, c}.
2. При этом существенно уменьшается количество
паттернов, которые нужно будет обойти.

18
2017-11-07
1. Тоже самое с паттерном {c, d}.

18
2017-11-07
1. И со всеми остальными паттернами...

18
2017-11-07
1. В результате, если в данных есть только один
длинный паттерн, нам нужно будет сделать
единственный проход в глубину.

18
2017-11-07
1. Поэтому существует эвристика — упорядочивать
элементы не по алфавиту или ≪абы как≫, а по
оценке их частоты.

∙ Кроме естественного требования частоты, могут
быть и другие ограничения, например:
∙ суммарная стоимость товаров x,
∙
максимальная длина строки (при
конкатенации) x,
∙ некоторая произвольная функция
F (паттерн, данные) x.
Применение ограничений
19
∙ Кроме естественного требования частоты, могут
быть и другие ограничения, например:
∙ суммарная стоимость товаров x,
∙ максимальная длина строки (при
конкатенации) x,
∙
некоторая произвольная функция
F (паттерн, данные) x.
2017-11-07
1. Можем ли мы сказать что-то про F ({a, b, c})
если мы знаем F ({a, b})?

{ }
{a} {b} {c} {d}
adcd{ }
COST=3 COST=2 COST=3 COST=2
COST=5 COST=6 COST=5 COST=5 COST=4 COST=5
COST=7
COST6
19
{ }
{a} {b} {c} {d}
adcd{ }
COST=7
COST6
2017-11-07
1. В самом простом случае, практически нет
отличий от работы с поддержкой. Добавление
элемента в паттерн увеличивает суммарную
≪стоимость≫, так что достигнув предельного
значения, вниз по дереву идти не нужно.

{ }
{a} {b} {c} {d}
adcd{ }
COST=7
COST6
19
{ }
{a} {b} {c} {d}
adcd{ }
COST=7
COST6
2017-11-07
1. В данном случае, мы смогли обойти только
половину узлов. На практике бывает, конечно, и
лучше.
2. Тип таких ограничений подсказывает нам какой
алгоритм использовать, какую информацию
держать в каждом узле дерева.

∙ Строки → последовательность токенов:
Gecko )
Mozilla /5.0 , ( Windows , NT , 6 . 1 ; , WOW64) , AppleWebKit
/537.36 , (KHTML, , l i k e , Gecko )
∙
Последовательности с малым числом базовых
элементов → множества.
∙ И восстанавливаем последовательности после
ещё одного прохода.
∙
Последовательности → графы переходов.
∙ (борьба с циклами).
Эвристика: упрощение модели
20
∙ Строки → последовательность токенов:
Gecko )
Mozilla /5.0 , ( Windows , NT , 6 . 1 ; , WOW64) , AppleWebKit
/537.36 , (KHTML, , l i k e , Gecko )
∙ Последовательности с малым числом базовых
элементов → множества.
∙ И восстанавливаем последовательности после
ещё одного прохода.
∙ Последовательности → графы переходов.
∙
(борьба с циклами).
2017-11-07
На уровне модели данных и паттернов
Данные
Эвристика: упрощение модели

∙ По популярности:
∙
Не нужно ничего считать, чтобы узнать, что в
русском языке ≪й≫ будет идти после ≪о≫.
∙
По составленному вручную каталогу:
∙ Часто элементы относятся к нескольким
категориям (например, товары или символы)
∙
Нам нужно сделать так, чтобы из этих
категорий получилась строгая иерархия.
Выбор метода упорядочивания паттернов
21
∙
По популярности:
∙ Не нужно ничего считать, чтобы узнать, что в
русском языке ≪й≫ будет идти после ≪о≫.
∙ По составленному вручную каталогу:
∙
Часто элементы относятся к нескольким
категориям (например, товары или символы)
∙ Нам нужно сделать так, чтобы из этих
категорий получилась строгая иерархия.
2017-11-07
На уровне модели данных и паттернов
Паттерны
Выбор метода упорядочивания паттернов

∙ Если известно, что паттерны в данных очень
длинные (или очень многомерные), то всё дерево
паттернов будет слишком трудно обойти.
Эвристический обход дерева
22
∙
Если известно, что паттерны в данных очень
длинные (или очень многомерные), то всё дерево
паттернов будет слишком трудно обойти.
2017-11-07
На уровне работы алгоритмов

1 Вместо этого можно попробовать найти
некоторые длинные паттерны при помощи
сэмплинга.
2 Оказавшись где-то в середине и в глубине дерева,
поднимаемся наверх, обнаруживая более
короткие паттерны.
3 Короткие паттерны перемешиваем, получая
кандидатов в длинные паттерны, проверяем их.
4 Повторяем.
22
1 Вместо этого можно попробовать найти
некоторые длинные паттерны при помощи
сэмплинга.
2 Оказавшись где-то в середине и в глубине дерева,
поднимаемся наверх, обнаруживая более
короткие паттерны.
3 Короткие паттерны перемешиваем, получая
кандидатов в длинные паттерны, проверяем их.
4 Повторяем.
2017-11-07
На уровне работы алгоритмов

∙ Spark
∙
Weka (Java, GUI)
∙ arules (R)
∙ pyarules (Python)
∙ ProM
∙
python-snakes
∙ re2
∙
hyperscan
Что есть в open-source
23
∙
Spark
∙ Weka (Java, GUI)
∙ arules (R)
∙ pyarules (Python)
∙ ProM
∙ python-snakes
∙
re2
∙ hyperscan
2017-11-07
Что есть в open-source

Спасибо
@podshumok
kv@qrator.net
Спасибо
@podshumok
kv@qrator.net
2017-11-07

Поиск паттернов (Data Mining: Pattern Discovery) / Константин Игнатов (Qrator Labs)

Recommended

Recommended

More Related Content

What's hot

What's hot (8)

Similar to Поиск паттернов (Data Mining: Pattern Discovery) / Константин Игнатов (Qrator Labs)

Similar to Поиск паттернов (Data Mining: Pattern Discovery) / Константин Игнатов (Qrator Labs) (20)

More from Ontico

More from Ontico (20)

Поиск паттернов (Data Mining: Pattern Discovery) / Константин Игнатов (Qrator Labs)