SlideShare a Scribd company logo
1 of 15
Celery vs rq
Points communs


• 2 gestionnaires de files d’attente

• En python
Celery en quelques mots

• Au départ une application django

• Devenu depuis un projet autonome

• Mais il peut toujours fonctionner de concert
  avec django
Celery en quelques mots
• Distribué :
  – un broker va recevoir les demandes de traitement

  – des workers vont pouvoir les traiter

  – les workers ne sont pas forcément sur le même
    servery
Celery en quelques mots

• Projet déjà ancien, mais qui évolue beaucoup
  – La politique de stabilité est très claire et la
    déprécation d’une fonction intervient longtemps
    avant sa suppression

• Très (trop ?) riche
rq en quelques mots

• Une alternative light à Celery
  – Pas besoin de différents types de tâches

  – Pas besoin de différents backends pour le broker
     rq = Redis Queue

  – Pas besoin de webhooks
Utilisation de Celery

• Doc complète et prise en main assez facile
  – Malgré tout, il est souvent difficile de trouver
    certaines infos

  – On fait donc parfois des mauvais choix parfois
    pénalisants pour la suite
Utilisation de Celery



• Tuning du daemon prend du temps
Utilisation de Celery



• Pas de priorisation des tâches
Utilisation de Celery

• Monitoring : indispensable en asynchrone
  – dj-celery si vous utilisez celery avec django
     • 2 autres daemons à activer

     • activation des évènements au niveau des daemons
      surveillés

  – Si le broker est RabbitMQ: plugin d’admin
Utilisation de rq


• Doc minimaliste (mais il y a beaucoup moins à
  dire)

• Pas de status du résultat
Utilisation de rq


• Pas distribué (pas de channel, ni d’exchange ni
  de router)

• Plusieurs workers mais une tâche à la fois
Utilisation de rq

• Python only : pas de webhooks

• Il existe une interface d'administration, mais
  pour Flask.

• Ne fonctionne que sous Unix.
Questions
Personnal branling


• @nautilebleu

• @greenbureaufr

More Related Content

What's hot

Mongo db applicationmonitor
Mongo db applicationmonitorMongo db applicationmonitor
Mongo db applicationmonitor
Philippe Sfeir
 

What's hot (8)

Mongo db applicationmonitor
Mongo db applicationmonitorMongo db applicationmonitor
Mongo db applicationmonitor
 
XebiCon'17 : Rex Akka dans une architecture microservice - Joachim Rousseau
XebiCon'17 : Rex Akka dans une architecture microservice - Joachim RousseauXebiCon'17 : Rex Akka dans une architecture microservice - Joachim Rousseau
XebiCon'17 : Rex Akka dans une architecture microservice - Joachim Rousseau
 
Xebicon architectures microservices azure v1.0
Xebicon   architectures microservices azure v1.0Xebicon   architectures microservices azure v1.0
Xebicon architectures microservices azure v1.0
 
Postman - Dev/var 15
Postman - Dev/var 15Postman - Dev/var 15
Postman - Dev/var 15
 
Apache Cassandra - Concepts et fonctionnalités
Apache Cassandra - Concepts et fonctionnalitésApache Cassandra - Concepts et fonctionnalités
Apache Cassandra - Concepts et fonctionnalités
 
Apache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performantApache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performant
 
A bas Cron ! Vive Oozie !
A bas Cron ! Vive Oozie !A bas Cron ! Vive Oozie !
A bas Cron ! Vive Oozie !
 
Paris Kafka Meetup - Concepts & Architecture
Paris Kafka Meetup - Concepts & ArchitectureParis Kafka Meetup - Concepts & Architecture
Paris Kafka Meetup - Concepts & Architecture
 

Viewers also liked

Khaled B E N D R I S S Www Journaldunet Com Developpeur Tefdyntc
Khaled  B E N  D R I S S Www Journaldunet Com Developpeur TefdyntcKhaled  B E N  D R I S S Www Journaldunet Com Developpeur Tefdyntc
Khaled B E N D R I S S Www Journaldunet Com Developpeur Tefdyntc
Khaled Ben Driss
 
04 Comenius Holanda
04 Comenius Holanda04 Comenius Holanda
04 Comenius Holanda
seiscentros
 
Tendencias De Las Plataformas De Hardware Y TecnologíAs Emergentes
Tendencias De Las Plataformas De Hardware Y TecnologíAs EmergentesTendencias De Las Plataformas De Hardware Y TecnologíAs Emergentes
Tendencias De Las Plataformas De Hardware Y TecnologíAs Emergentes
maximo coconi torres
 
Empresas Piratas.Ppt
Empresas Piratas.PptEmpresas Piratas.Ppt
Empresas Piratas.Ppt
ANahiMartinez
 
Amenaza de ab home
Amenaza de ab homeAmenaza de ab home
Amenaza de ab home
Privada
 

Viewers also liked (20)

Resumen Tema
Resumen TemaResumen Tema
Resumen Tema
 
El Amor
El AmorEl Amor
El Amor
 
Khaled B E N D R I S S Www Journaldunet Com Developpeur Tefdyntc
Khaled  B E N  D R I S S Www Journaldunet Com Developpeur TefdyntcKhaled  B E N  D R I S S Www Journaldunet Com Developpeur Tefdyntc
Khaled B E N D R I S S Www Journaldunet Com Developpeur Tefdyntc
 
Jesus
JesusJesus
Jesus
 
MrsBIllustrations
MrsBIllustrationsMrsBIllustrations
MrsBIllustrations
 
Amitie3
Amitie3Amitie3
Amitie3
 
04 Comenius Holanda
04 Comenius Holanda04 Comenius Holanda
04 Comenius Holanda
 
Tendencias De Las Plataformas De Hardware Y TecnologíAs Emergentes
Tendencias De Las Plataformas De Hardware Y TecnologíAs EmergentesTendencias De Las Plataformas De Hardware Y TecnologíAs Emergentes
Tendencias De Las Plataformas De Hardware Y TecnologíAs Emergentes
 
Nicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futur
Nicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futurNicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futur
Nicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futur
 
La Miseria Humana
La Miseria HumanaLa Miseria Humana
La Miseria Humana
 
Menu Principal IDE0317021
Menu Principal IDE0317021Menu Principal IDE0317021
Menu Principal IDE0317021
 
Portfolio
PortfolioPortfolio
Portfolio
 
Taller Cuenta1
Taller Cuenta1Taller Cuenta1
Taller Cuenta1
 
Empresas Piratas.Ppt
Empresas Piratas.PptEmpresas Piratas.Ppt
Empresas Piratas.Ppt
 
La veille de Ne Kid du 13.05.09 : la Télévision Mobile Personnelle
La veille de Ne Kid du 13.05.09 : la Télévision Mobile PersonnelleLa veille de Ne Kid du 13.05.09 : la Télévision Mobile Personnelle
La veille de Ne Kid du 13.05.09 : la Télévision Mobile Personnelle
 
Compu training pp
Compu training ppCompu training pp
Compu training pp
 
Enseignement à travers les âges
Enseignement à travers les âgesEnseignement à travers les âges
Enseignement à travers les âges
 
Conceptos de TIC
Conceptos de TICConceptos de TIC
Conceptos de TIC
 
Amenaza de ab home
Amenaza de ab homeAmenaza de ab home
Amenaza de ab home
 
Escribecreativo
EscribecreativoEscribecreativo
Escribecreativo
 

Similar to Meetup django-2012-06-14

Apache solr andré bois-crettez 08
Apache solr   andré bois-crettez 08Apache solr   andré bois-crettez 08
Apache solr andré bois-crettez 08
Loïc Descotte
 
Forum Zimbra 2012 Zimbra et la SSO
Forum Zimbra 2012 Zimbra et la SSOForum Zimbra 2012 Zimbra et la SSO
Forum Zimbra 2012 Zimbra et la SSO
Antony Barroux
 
Cours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdfCours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdf
boulonvert
 
Des poneys à Liberation.fr
Des poneys à Liberation.frDes poneys à Liberation.fr
Des poneys à Liberation.fr
liberation_dev
 

Similar to Meetup django-2012-06-14 (20)

Programmation concurrente en Java
Programmation concurrente en JavaProgrammation concurrente en Java
Programmation concurrente en Java
 
Apache solr andré bois-crettez 08
Apache solr   andré bois-crettez 08Apache solr   andré bois-crettez 08
Apache solr andré bois-crettez 08
 
Perfug BOF devoxx2017.pptx
Perfug BOF devoxx2017.pptxPerfug BOF devoxx2017.pptx
Perfug BOF devoxx2017.pptx
 
Genielogiciel
GenielogicielGenielogiciel
Genielogiciel
 
Présentation Rex GWT 2.0
Présentation Rex GWT 2.0Présentation Rex GWT 2.0
Présentation Rex GWT 2.0
 
Presentation Rex Methodes Agiles
Presentation Rex Methodes AgilesPresentation Rex Methodes Agiles
Presentation Rex Methodes Agiles
 
Rails 3 au Djangocong
Rails 3 au DjangocongRails 3 au Djangocong
Rails 3 au Djangocong
 
Elasticsearch 5.0 les nouveautés
Elasticsearch 5.0 les nouveautésElasticsearch 5.0 les nouveautés
Elasticsearch 5.0 les nouveautés
 
Forum Zimbra 2012 Zimbra et la SSO
Forum Zimbra 2012 Zimbra et la SSOForum Zimbra 2012 Zimbra et la SSO
Forum Zimbra 2012 Zimbra et la SSO
 
Game of upgrades to liferay dxp - ep1: Migration de données
Game of upgrades to liferay dxp - ep1: Migration de donnéesGame of upgrades to liferay dxp - ep1: Migration de données
Game of upgrades to liferay dxp - ep1: Migration de données
 
4 Etude De Faisabilite
4 Etude De Faisabilite4 Etude De Faisabilite
4 Etude De Faisabilite
 
Recueil des mauvaises pratiques constatées lors de l'audit de sites Drupal 7
Recueil des mauvaises pratiques constatées lors de l'audit de sites Drupal 7Recueil des mauvaises pratiques constatées lors de l'audit de sites Drupal 7
Recueil des mauvaises pratiques constatées lors de l'audit de sites Drupal 7
 
Azure Policy: Un outil pour la gouvernance
Azure Policy: Un outil pour la gouvernanceAzure Policy: Un outil pour la gouvernance
Azure Policy: Un outil pour la gouvernance
 
Toutes les raisons d'adopter MongoDB
Toutes les raisons d'adopter MongoDBToutes les raisons d'adopter MongoDB
Toutes les raisons d'adopter MongoDB
 
OpenLDAP - Astuces pour en faire l'annuaire d'entreprise idéal
OpenLDAP - Astuces pour en faire l'annuaire d'entreprise idéalOpenLDAP - Astuces pour en faire l'annuaire d'entreprise idéal
OpenLDAP - Astuces pour en faire l'annuaire d'entreprise idéal
 
Cours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdfCours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdf
 
Rtlinux
RtlinuxRtlinux
Rtlinux
 
Des poneys à Liberation.fr
Des poneys à Liberation.frDes poneys à Liberation.fr
Des poneys à Liberation.fr
 
Formation Google App Engine
Formation Google App EngineFormation Google App Engine
Formation Google App Engine
 
Plongée au cœur du Framework .NET 4.5
Plongée au cœur du Framework .NET 4.5Plongée au cœur du Framework .NET 4.5
Plongée au cœur du Framework .NET 4.5
 

Meetup django-2012-06-14

  • 2. Points communs • 2 gestionnaires de files d’attente • En python
  • 3. Celery en quelques mots • Au départ une application django • Devenu depuis un projet autonome • Mais il peut toujours fonctionner de concert avec django
  • 4. Celery en quelques mots • Distribué : – un broker va recevoir les demandes de traitement – des workers vont pouvoir les traiter – les workers ne sont pas forcément sur le même servery
  • 5. Celery en quelques mots • Projet déjà ancien, mais qui évolue beaucoup – La politique de stabilité est très claire et la déprécation d’une fonction intervient longtemps avant sa suppression • Très (trop ?) riche
  • 6. rq en quelques mots • Une alternative light à Celery – Pas besoin de différents types de tâches – Pas besoin de différents backends pour le broker  rq = Redis Queue – Pas besoin de webhooks
  • 7. Utilisation de Celery • Doc complète et prise en main assez facile – Malgré tout, il est souvent difficile de trouver certaines infos – On fait donc parfois des mauvais choix parfois pénalisants pour la suite
  • 8. Utilisation de Celery • Tuning du daemon prend du temps
  • 9. Utilisation de Celery • Pas de priorisation des tâches
  • 10. Utilisation de Celery • Monitoring : indispensable en asynchrone – dj-celery si vous utilisez celery avec django • 2 autres daemons à activer • activation des évènements au niveau des daemons surveillés – Si le broker est RabbitMQ: plugin d’admin
  • 11. Utilisation de rq • Doc minimaliste (mais il y a beaucoup moins à dire) • Pas de status du résultat
  • 12. Utilisation de rq • Pas distribué (pas de channel, ni d’exchange ni de router) • Plusieurs workers mais une tâche à la fois
  • 13. Utilisation de rq • Python only : pas de webhooks • Il existe une interface d'administration, mais pour Flask. • Ne fonctionne que sous Unix.