Dans un contexte temps de réel, La conflation est un moyen de limiter les traitements sur un flux de données important. Il est parfois plus adapté que la back pressure. Au programme : présentation des concepts de la conflation, mise en application de certains cas d'usages en live coding. Pour finir, présentation de nos choix de monitoring qui sont indispensables pour mesurer l'efficacité de cette solution.

1. Conflation like @ Meetic

2. Arnaud Georgin
Architecte logiciel
@arnaud_georgin
Cyril Verdier
Tech Lead Scala
@cyril_verdier

3. “Conflation happens when the identities of two or more individuals, concepts, or
places, sharing some characteristics of one another, seem to be a single identity, and
the differences appear to become lost. In logic, it is the practice of treating two distinct
concepts as if they were one ... intentional conflation may be desirable for the sake of
conciseness and recall.”
Source: https://en.wikipedia.org/wiki/Conflation

4. Conflation par l’exemple

5. Conflation par l’exemple

6. Conflation par l’exemple

7. Conflation par l’exemple

8. Conflation par l’exemple

9. Conflation par l’exemple

10. Conflation par l’exemple

11. Conflation par l’exemple

12. Conflation par l’exemple

13. Conflation par l’exemple

14. Conflation par l’exemple

15. Et si on faisait de la backpressure !?

16. Application de la conflation

17. Application de la conflation

18. Application de la conflation

19. Application de la conflation

20. Application de la conflation

21. Application de la conflation

22. En résumé
Filtrage
Merge

23. En résumé
Filtrage
Merge

24. En résumé
Filtrage
Merge

25. Live coding

26. Conflation : Merge
Buffer
provider 1
provider 2
provider 42
...
Tick Tick
délai
Merge

27. Monitoring applicatif : approche
Etape 1 : Production de métriques dans le code
- Kamon
Etape 2 : Infrastructure de collecte des métriques
- Kamon + statsD + graphite
Etape 3 : Visualisation des métriques
- Grafana

28. Monitoring applicatif : schéma global
application
scala
Kamon statsD Graphite
Grafana
serveur de supervision

29. Comment on l’utilise chez Meetic
Merge : notification sur l’interaction la plus qualitative
plusieurs types d’interactions entre les membres (visites, favoris, like, …)
Notifier les membres sur l’interaction la plus qualitative si plusieurs interactions se
suivent
Filtrage : compteur de recherche à l’authentification
rafraîchissement des compteurs à l’ouverture de session
plusieurs messages d’ouverture sessions sont publiés

30. Questions ?
https://github.com/Meetic/scala-merge-conflation
https://github.com/Meetic/scala-filter-conflation