1. Проблемы автоматизации классификации слабо формализуемых (нечётких) данных. 2. Нечёткие множества и нечёткие измерительные шкалы. 3. Моделирование нейронной сети для классификации данных. 4. Инструмент FuzzyClassificator и его внедрение в Компании. 5. Автоматизация классификации данных на базе TeamCity.

1. Нейронечёткая классификация слабо
формализуемых данных
Тимур Гильмуллин
Руководитель отдела технологий разработки
(DevOps)
tgilmullin@ptsecurity.com
https://www.linkedin.com/in/tgilmullin

2. Что такое классификация?

3. Постановка задачи классификации

4. Выбор инструментов
Для решения широкого класса задач классификации предлагается использовать:
• теорию нечётких множеств
• инструмент для нечёткой оценки свойств объектов: нечёткие шкалы
• теорию нейронных сетей

5. Нечёткие множества и нечёткие шкалы

6. Нечёткие множества
Лотфи Заде
Основатель теории нечётких
множеств и нечёткой логики
Нечёткое множество A = "Много" для перечислимых объектов:
1 - это немного, 2, 3 - тоже немного, а 4, 5, 6, … - много или нет?

7. Нечёткие шкалы
• Нечёткая шкала (fuzzy scale) –
это упорядоченная совокупность S
нечётких переменных Ai,
определенных своими F-функциями,
значения из которой может принимать
некоторая лингвистическая переменная s:
• S = {Min, Low, Med, High, Max}
– универсальная нечёткая шкала

8. Нейронные сети

9. Биологический и математический нейрон

10. Конфигурация нейронной сети

11. FuzzyClassificator

12. FuzzyClassificator – нечёткий нейроклассификатор
Код в GitHub:
• https://github.com/Tim55667757/FuzzyClassificator/tree/master
• Pyzo:
http://www.pyzo.org/
• PyBrain library:
http://pybrain.org/
Для его работы требуется:

13. Этапы работы FuzzyClassificator

14. Где используется FuzzyClassificator?
Внедрён в Компании для решения одной из прикладных задач по автоматической
классификации уязвимостей, найденных нашими сканерами безопасности.
Это позволило:
• Экономить до 70% времени ручных тестировщиков на разбор уязвимостей
• Увеличить число сканируемых CMS
• Увеличить число сканеров, участвующих в конкурентном анализе (КА)

15. Решение задачи классификации уязвимостей
при помощи FuzzyClassificator

16. 1 этап процесса классификации уязвимостей: обучение НС
(Продолжение см. на сл. слайде)

17. 2 этап процесса классификации уязвимостей: классификация
(Начало см. на пред. слайде)

18. Автоматизация классификации в TeamCity

19. Пример отчёта для этапа обучения

20. Пример отчёта для этапа классификации

21. Выгрузка результатов классификации в TFS

22. Ограничения и доработки FuzzyClassificator

23. Ограничения инструмента FuzzyClassificator
Корректная классификация при помощи FuzzyClassificator:
• сильно зависит от выбранного метода кодирования входных данных
• требуется хорошее знание предметной области, для которой выполняется классификация
• требуются значительные усилия в подготовки "хороших" входных данных для обучения

24. Возможные доработки инструмента FuzzyClassificator
• На данный момент для кода инструмента и всех его низкоуровневых методов уже
выполнена оптимизация алгоритмов
В планах:
• перевести инструмент на CPython
• реализовать исполнение его кода на GPU

25. Подробнее о FuzzyClassificator
• Подходы к автоматизации процесса валидации уязвимостей, найденных автоматическими
сканерами безопасности, при помощи нечётких множеств и нейронных сетей
http://math-n-algo.blogspot.ru/2014/08/FuzzyClassificator.html
• Применение нейросетей для решения классических задач линейного и нелинейного
разделения элементов множества на классы
http://math-n-algo.blogspot.ru/2013/04/blog-post.html
• Сканеры безопасности: автоматическая валидация уязвимостей с помощью нечетких
множеств и нейронных сетей
https://habrahabr.ru/company/pt/blog/246197/
• Сканеры безопасности: автоматическая классификация уязвимостей
https://habrahabr.ru/company/pt/blog/274241/

26. Спасибо!
Вопросы?
Тимур Гильмуллин
Руководитель отдела технологий разработки
(DevOps)
tgilmullin@ptsecurity.com
https://www.linkedin.com/in/tgilmullin