Recommended
More Related Content
Similar to Meetup aws user group lille 2018 chaos engineering
Similar to Meetup aws user group lille 2018 chaos engineering (20)
Meetup aws user group lille 2018 chaos engineering
- 1. Sponsorisé par 22 novembre 2018
- 2. @BenjaminGakic Chaos Engineer & SRE chez OUI.sncf Benjamin Gakic
- 3. Pour la première fois, les indisponibilités arrivent en tête des sujets d’inquiétude des responsables informatiques, devançant ainsi la sécurité. Sondage réalisé sur un échantillon de 400 entreprises en Grande-Bretagne, Allemagne, France, Suède et Pays-Bas par Quocirca pour Splunk Source: Master of Machines III - Réduire l’impact des incidents IT Quocirca
- 4. Un incident majeur est si vite arrivé…
- 5. Qu’est-ce que la résilience?
- 8. CHAOS ENGINEERING « Discipline de l'expérimentation sur un système distribué afin de renforcer la confiance dans la capacité du système à résister à des conditions turbulentes en production. » http://principlesofchaos.org/ initiée par
- 9. Les étapes de l’expérimentation 1. Que cherche-t-on à prouver? 2. Restreindre le périmètre 3. Identifier ce qu’il faut observer 4. Communiquer! 5. Injecter le chaos 6. Analyser consciencieusement les impacts 7. Et Recommencer!
- 10. POC Squad inter-équipe dev & ops Développement en mode expérimental, à base de mini-hackatons Mars 2016 Mai 2017 Demain Janvier 2016 Octobre 2016 Janvier 2017 Septembre 2018 Février 2018
- 11. Communauté Résilience et Tests Techniques Objectifs : • Proposer des outils de test de résilience • Aider à la mise en place des outils et patterns • Apporter un changement culturel Mars 2016 Mai 2017 Demain Janvier 2016 Octobre 2016 Janvier 2017 Septembre 2018 Février 2018
- 12. Grâce à la communauté nous disposons d’un bestiaire à l’image de la Simian army de Netflix Mars 2016 Mai 2017 Demain Janvier 2016 Octobre 2016 Janvier 2017 Septembre 2018 Février 2018
- 13. Days of Chaos Chapter One Vendredi 13 Janvier 2017 Mars 2016 Mai 2017 Demain Janvier 2016 Octobre 2016 Janvier 2017 Septembre 2018 Février 2018
- 14. Game Day
- 15. Days of Chaos Chapter One Vendredi 13 Janvier 2017
- 16. DaysofChaos Vous allez subir des vagues de pannes en provenance des tréfonds de l’exploitation. Votre mission est de repousser ces vagues et de détecter, diagnostiquer et résoudre les pannes le plus vite possible. L’avenir de notre production dépend de vous… Détection : +100 Diagnostic : +150 Résolution : +200 Bonus 1ère proposition: +100 Indice : -50 Nombrederounds: 8 Récompenses: 3
- 17. Résolution Dev Incident Ops Détection Dev Diagnostic Dev Remise en état... Validation Ops Gestion d’une panne Question bonus Vidéo explicative1 2 3
- 20. 113 joueurs 18 équipes 2 commentateurs 2 aides de camp 8 ops
- 21. Objectif accompli ! Détection : 87% Diagnostic : 73% Résolution : 45%
- 22. Supervision et alerting Tests techniques Partage des connaissances 8 -> 6 pannes 4h -> 3h30 de jeu 80% Intérêt du jeu 70% Qualité de l’organisation 74% Prise de conscience
- 23. Communication et marketing Emulation DevOps : cohésion intra et inter-équipes Gamification Points forts
- 24. Days of Chaos Chapter 1 Days of Chaos Chapter 2 CHAPTER 3Vendredi 13/01/2017 Vendredi 07/07/2017 VENDREDI 13/07/2018
- 25. Un Day of Chaos c’est du Chaos Engineering? Mais on est pas en prod!!! https://medium.com/russmiles/chaos-engineering-for-the-business-17b723f26361
- 26. Premier Chaos Monkey en production… …et la production marche toujours Mars 2016 Mai 2017 Demain Janvier 2016 Octobre 2016 Janvier 2017 Septembre 2018 Février 2018
- 27. Mars 2016 Mai 2017 Demain Janvier 2016 Octobre 2016 Janvier 2017 Septembre 2018 Février 2018
- 28. Mars 2016 Mai 2017 Demain Janvier 2016 Octobre 2016 Janvier 2017 Septembre 2018 Février 2018
- 29. Industrialiser et généraliser le Chaos Engineering Mars 2016 Mai 2017 Demain Janvier 2016 Octobre 2016 Janvier 2017 Septembre 2018 Février 2018
- 30. En production La vraie vie, avec des vrais utilisateurs et potentiellement de la perte de VA. Communication Mettre en place du Chaos n’est pas la meilleure façon de rencontrer vos nouveaux collègues, mais c’est la plus rapide. Nora Jones (@nora_js) Gamification Rendre l’apprentissage plus amusant en s’appuyant sur la prédisposition humaine au jeu Expérimentation Les principaux points à retenir Validation de ce qui est important sur votre infrastructure. Votre résilience n’est pas celle des autres.
- 31. https://days-of-chaos.slack.com Paris Chaos Engineering Meetup http://meetu.ps/c/3BMlX/xNjMx/f https://chaosengineering.slack.com http://days-of-chaos.com/ https://medium.com/paris- chaos-engineering- community
- 33. let’s PLAY! Mais juste avant…
Editor's Notes
- Les organisations européennes connaissent en moyenne 3 incidents IT par mois. 2/3 (65%) des organisations européennes rapportent qu’un incident IT a déjà eu des conséquences sur leur réputation, engendrant des répercutions financières (115 k€).
- On veut de la séduction? Préparons notre jeu comme un jeu vidéo avec une vrai jaquette!
- Besoin d’implication forte de la partie ops. Présentation comme un jeu mais aussi comme une opportunité de faire un « vie ma vie d’exploitant ». Permettre de sensibiliser les équipes au travail fait et aux pannes les plus fréquentes ou au besoin de bien communiquer et développer les applications. 2 ateliers de création des pannes : 20 exploitants mobilisés en 2 sessions d’une heure. 40 pannes proposées. 15 short listées pour leur pertinence. 8 sélectionnées par facilité de mise en oeuvre et possibilité de résolution par les équipes de dev (il faut rester pragmatique). Désignation d’une équipe de choc pour gérer le scripting et la réalisation des pannes
- Phase de com’ – Opération séduction Des affiches de teasing créant une rupture avec toutes les autres opérations de com’ réalisées jusqu’à présent. Le thème principal : le jeu de guerre en reprenant comme support culturel « Ender’s Game (la strategie Ender) » de Scott Orson card. Des affiches posées avec très peu d’information, juste un « engagez-vous ». Un ajout à un moment donné d’une adresse vers un site interne réalisé pour l’événement avec sa propre charte graphique et son formulaire d’engagement. Une com’ réglementaire par mail venant compléter le tout et enfonçant le clou.
- Phase de jeu – Le jour J Début à 9h 4 + 8 + 5 personnes dédiées au déroulement. Deux commentateurs maitres de cérémonie (un à Paris, un à Nantes), une aide ops, une chargée de classement et de décompte de points, 8 ops à 150%, 2 com’ interne, 3 services généraux. Une conf Skype avec deux commentateurs donnant des informations sur le déroulement et les avancées du jeu Une room hipchat pour les communications officielles et les réponses Une conf Skype dediée ops 7 pannes déroulées dont une a râté. Une dernière annulée suite à un incident sur la preprod. Fin à 12h30 Remise des prix à 14h. Plus de 200 spectateurs
- War room côté ops pour éviter une conf dédiée parallèle + effet je suis dédié à l’événement. Possibilité pour les ops de participer à la conf gobale Prévoir plus d’ops pour faciliter le traitement des demandes des équipes. Descendre de 4h à 3h d’événement. Pousser peu plus loin les répétitions et les préparations des pannes. Planifier la fin des inscriptions plus tôt. Laisser un délais de un mois entre la fin des inscriptions et l’événement.
- Un sujet difficile, peu motivant rendu plus accessible par la gamification