Viadeo - Cost Driven Development

•

0 likes•541 views

Julien SIMON

Talk @ AWS Enterprise Summit 2016

Technology

© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Frédéric d’Alessandro - Data architect
Loïc Dias Da Silva - CTO & VP Engineering
Cost Driven Development chez Viadeo
Tâches Spark sur EMR optimisées avec des instances SPOT

Viadeo
SUCCESS
Business
Fournisseurs, clients,
collaborateurs,
investisseurs...
Networking
Pairs, associés, collègues,
camarades, rencontres
pro, partenaires ...
Carrière
Premier job, recherche
d’emploi, entreprenariat,
développement, ...

Migration vers le cloud AWS
Nov. 2014
Escape to
Amazon
thinking
Dec. 2014
First commit
Infrastructure
as a code
Mar. 2015
First industrialized
instance on AWS
cloud
Dec. 2015
Our demo
environment is on
AWS cloud
July 2016
Our live
production
environment is on
AWS cloud
Dec 2016
Datacenter is
closed
demo

Cost-Driven Development
- choix des instances Amazon EC2
- autoscaling
- optimisations Amazon RedShift
- cycle de vie des données Amazon S3
- utilisation d’instances SPOT

Utilisation d’instances SPOT (ex: SnowPlow)
- Prix c3.8xlarge à la demande : 1.68$
- Prix c3.8xlarge Spot : ~0.40$
- Baisse du coût de ~ 1200$ à ~240$ par mois

pop.sh : automatisation du lancement de jobs

Usage
$ ./pop.sh --coreInstanceType=m4.large --coreInstanceCount=2 --ec2spot=true
(...)
# Pricing info = Tue Oct 11 08:00:09 CEST 2016
# Instance type = m4.large
# availabilityZone = us-west-1c
# Aws Spot Price 1 min ago = 0.016700
# Aws Spot Price 1 day ago = 0.016300
# Our max Spot Price max proposal = 0.029
# Aws fixed price = 0.14
# Emr fixed price = 0.030
# Do we take spot = 1
$

Prochaines étapes
- Amélioration de la vitesse de scaling
- Passage des stacks applicatives en µ-services
- Containerisation & orchestration

What's hot

AWS Paris Summit 2014 - T1 - Introduction à Amazon EC2

Amazon Web Services

Le « cloud » est le nouveau mot-clé pour créer le buzz dans l’IT. Grâce aux nouvelles apps, accessoires, etc., nous utilisons ou stockons tous des données dans le cloud parfois sans parfois s’en rendre compte. Amazon, au-delà de son si populaire site marchand, dispose d’un vaste catalogue de web services (AWS). Au sein de ces services, l’un d’entre eux dipose d’un grand potentiel pour les développeurs 4D. Il s’agit d’Amazon Simple Storage Service (S3). S3 constitue la solution Amazon de stockage sur le Cloud.

4D Summit Europe 2016 - Conférence d'A&C Consulting : "Stocker des données su...

Nathalie Richomme

Bonnes pratiques pour la gestion des opérations de sécurité AWS

Julien SIMON

Présentation des services AWS

Julien SIMON

Un Voyage dans le Cloud - Dev & Test

Amazon Web Services

AWS Paris Summit 2014 - T2 - Déployer des environnements entreprises hybrides

Amazon Web Services

Les objets de notre quotidien deviennent maintenant des objets-connectés quelque soit leur complexité, allant d'une simple lampe jusqu’à une voiture. Nous verrons dans cette session les interfaces et architectures permettant de connecter ces objets au Cloud AWS afin de pouvoir ensuite exploiter ces données. Pour se faire nous utiliserons les services managés AWS permettant de traiter ces informations en temps réel et sur une échelle massive comme Amazon Kinesis et AWS Lambda.

AWS Summit Paris - Track 3 - Session 1 - IoT Partie 1 - Connectez vos objets ...

Amazon Web Services

Construire des Applications Web Performantes - Rule Book Webinar

Amazon Web Services

Modèle de sécurité AWS

Julien SIMON

Bonnes pratiques anti-DDOS

Julien SIMON

AWS Paris Summit 2014 - T1 - Services de bases de données

Amazon Web Services

Agile infrastructure with CloudFormation (June 2016)

Julien SIMON

Track 1 - Atelier 3 - Implémentation de cloud d'entreprise par Edifixio

Amazon Web Services

AWS Paris Summit 2014 - T3 - Architecturer avec AWS pour des millions d'util...

Amazon Web Services

Nous allons vous montrer comment utiliser Amazon CloudFront pour architecturer votre site de façon à pouvoir diffuser du contenu statique et dynamique. Vous découvrirez comment configurer des serveurs d'origines multiples dans Amazon CloudFront pour bénéficier de l’accélération fournie par Amazon CloudFront, que vous hébergiez vos sites sur Amazon EC2 ou sur vos serveurs actuels. Vous verrez comment paramétrer Amazon CloudFront pour personnaliser vos pages web pour chaque internaute, et comment protéger la distribution de contenus privés.

Track 1 - Atelier 2 - Distribution complète d’un site avec le cdn Amazon Clo...

Amazon Web Services

Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...

sebastienmoreno

Un Voyage dans le Cloud: Qu'est-ce que AWS?

Amazon Web Services

Gibtalk aws

meliphen

AWS Paris Summit 2014 - T3 - Evolution des architectures VPC

Amazon Web Services

Le business des SSIIs, infogéreurs et sociétés de conseil sur le Cloud d’AWS est en très forte croissance. Le Cloud d’AWS redéfinit la vitesse, l’agilité et le coûts des projets ou solutions proposéés par les SSIIs et ISVs. Dans cette session, nous couvrirons les dernières tendances, meilleures pratiques et programmes de partenariat AWS pour mettre en oeuvre avec succès un business sur le Cloud AWS.

AWS Summit Paris - Track 4 - Session 1 - Faites grandir votre business de ser...

Amazon Web Services

What's hot (20)

AWS Paris Summit 2014 - T1 - Introduction à Amazon EC2

4D Summit Europe 2016 - Conférence d'A&C Consulting : "Stocker des données su...

Bonnes pratiques pour la gestion des opérations de sécurité AWS

Présentation des services AWS

Un Voyage dans le Cloud - Dev & Test

AWS Paris Summit 2014 - T2 - Déployer des environnements entreprises hybrides

AWS Summit Paris - Track 3 - Session 1 - IoT Partie 1 - Connectez vos objets ...

Construire des Applications Web Performantes - Rule Book Webinar

Modèle de sécurité AWS

Bonnes pratiques anti-DDOS

AWS Paris Summit 2014 - T1 - Services de bases de données

Agile infrastructure with CloudFormation (June 2016)

Track 1 - Atelier 3 - Implémentation de cloud d'entreprise par Edifixio

AWS Paris Summit 2014 - T3 - Architecturer avec AWS pour des millions d'util...

Track 1 - Atelier 2 - Distribution complète d’un site avec le cdn Amazon Clo...

Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...

Un Voyage dans le Cloud: Qu'est-ce que AWS?

Gibtalk aws

AWS Paris Summit 2014 - T3 - Evolution des architectures VPC

AWS Summit Paris - Track 4 - Session 1 - Faites grandir votre business de ser...

Viewers also liked

Building Serverless APIs (January 2017)

Julien SIMON

Big Data answers in seconds with Amazon Athena

Julien SIMON

Infrastructure as code with Amazon Web Services

Julien SIMON

The AWS DevOps combo (January 2017)

Julien SIMON

Devops with Amazon Web Services (January 2017)

Julien SIMON

Amazon AI (February 2017)

Julien SIMON

Continuous Deployment with Amazon Web Services

Julien SIMON

Developing and deploying serverless applications (February 2017)

Julien SIMON

IoT: it's all about Data!

Julien SIMON

An introduction to serverless architectures (February 2017)

Julien SIMON

Iot og personvern 2017

Øystein Jakobsen

Presentación dia de andalucia pedro

Pedro Ramirez Serrano

Com clonar i com exportar i importar una màquina virtual

Edu Alias

Study of the densification of the 20th century belt http://buur.be/project-item/labo-xx-antwerpen/ https://www.antwerpen.be/nl/info/577bc9d7bb42c47b4b247ada/labo-xx Following a competition organised by the City of Antwerp, BUUR in association with ‘Futureproofed’, was selected with three other teams for the realisation of a prestigious research project entitled ‘Labo XX’. The mission included the development of a strategy for urban renewal and densification of the twentieth century belt around the city of Antwerp. The strategy aimed to create housing for another 100,000 inhabitants by 2030. The belt around the city centre is as an amalgam of; monotonous neighbourhoods lacking a strong identity, fragments of industry, transformed historic towns, beautifully landscaped parks, undefined residual spaces, remnants of agricultural landscapes and so on. It was thus clear that all the elements were in place in order to create a quality urban environment, including: housing, parks and open spaces, economy and employment and local urban centres. We found a remarkable number of attractions at both the urban and regional scale. Through creating links, BUUR studied the possibilities of progressively integrating existing functions to transform the belt into a pleasant and attractive area that is complementary to Antwerp’s city centre. In order to create distinguishable areas, it was necessary to define additional functions. The existing radial tramlines could be integrated by a north-south tangental line to form a ‘network’ at the local a urban level. Through the study, BUUR analysed the integration of an urban system that is tangental to the existing radial network while looking at densification and renovation opportunities. LOCATION: Antwerp PERIOD: 2013 > 2014 CLIENT: City of Antwerp TEAM: BUUR with Futureproofed

Labo XX Antwerp - Densification strategies for the 20th century belt (BUUR)

Kevin Penalva-Halpin

Filafat ilmu kepolisian

rara wibowo

AWS re:Invent 2016 recap (part 2)

Julien SIMON

Building serverless apps with Node.js

Julien SIMON

Repubblicanesimo, repubblicanismo, republicanismo, républicanisme, republican...

UNIVERSITY OF COIMBRA

Postmarxismo, post marxismo, post marxismo

UNIVERSITY OF COIMBRA

Património Cultural Português - Panteões de Portugal e Edifícios da Soberania...

Artur Filipe dos Santos

Viewers also liked (20)

Building Serverless APIs (January 2017)

Big Data answers in seconds with Amazon Athena

Infrastructure as code with Amazon Web Services

The AWS DevOps combo (January 2017)

Devops with Amazon Web Services (January 2017)

Amazon AI (February 2017)

Continuous Deployment with Amazon Web Services

Developing and deploying serverless applications (February 2017)

IoT: it's all about Data!

An introduction to serverless architectures (February 2017)

Iot og personvern 2017

Presentación dia de andalucia pedro

Com clonar i com exportar i importar una màquina virtual

Labo XX Antwerp - Densification strategies for the 20th century belt (BUUR)

Filafat ilmu kepolisian

AWS re:Invent 2016 recap (part 2)

Building serverless apps with Node.js

Repubblicanesimo, repubblicanismo, republicanismo, républicanisme, republican...

Postmarxismo, post marxismo, post marxismo

Património Cultural Português - Panteões de Portugal e Edifícios da Soberania...

Similar to Viadeo - Cost Driven Development

2011.11.22 - Editeurs, concrétisez votre Offre SaaS avec Aspaway - 8ème Forum...

Club Alliances

Realize the Value of Your Microsoft Investments - French Version - Transforma...

Amazon Web Services

2012.11.20 - Cloud Builders - RV des Experts du Club Cloud des Partenaires - ...

Club Cloud des Partenaires

Cloud Computing : enjeux pour les DSI

Stor Solutions

Seyfallah a os-aix-en-provence

☁️Seyfallah Tagrerout☁ [MVP]

SharePoint & Azure, le couple gagnant

Microsoft

Transforming Enterprise IT - French Version - Transformation Day Montreal 2018

Amazon Web Services

Que se cache-t-il derrière les buzz words « serverless » et « services managés » ? Est-il réellement possible de construire une application sans provisionner de serveurs ? C’est ce que nous allons vous montrer à travers ce live coding. En partant d’une application existante, nous développerons pas à pas une nouvelle fonctionnalité à base de Lambda, de NoSQL (DynamoDB) et d’API Gateway pour enfin la déployer dans le cloud AWS. Si vous vous demandez comment coder une application robuste, testée, scalable en vous concentrant sur les fonctionnalités et non l’infrastructure, cette conférence est faite pour vous.

XebiCon'17 : Serverless is the new back - Jérémy Pinsolle et Gérôme Egron

Publicis Sapient Engineering

Les clients professionnels déplacent de plus en plus l'ensemble de leurs environnements SAP, environnements de production compris, vers AWS. Cela leur permet d'augmenter l'agilité de leurs activités tout en réduisant les coûts. Dans cette session, découvrez comment AWS apporte une infrastructure conçue pour les applications à grande échelle et en mémoire avec l'un des ratios mémoire-prix les plus faibles. Découvrez également comment AWS simplifie les opérations SAP avec AWS Step Functions en automatisant l'une des tâches les plus chronophages et sources d'erreurs de l'environnement SAP : SAP System Refresh.

Réinventer SAP on AWS : évolution et simplification des opérations SAP sur AWS

Amazon Web Services

2012.11.20 - Editeurs - RV des Experts du Club Cloud des Partenaires - Partne...

Club Cloud des Partenaires

Des monolithes aux microservices

Amazon Web Services

2010.07.08. Surfer le Tsunami Cloud avec IBM - Loic Simon

Club Alliances

Continuous cloud costs testing [Fr] - DevoxxFR - 2013-03

Nicolas Fonrose

L'adoption du cloud est plus qu'une simple transformation de votre informatique, c'est une transformation de votre organisation. Elle nécessite une implication large des parties prenantes, un changement d'état d'esprit et un changement de culture pour l'ensemble de votre entreprise. Cette session présentera le framework relatif à l'adoption du cloud qui identifie les parties prenantes clés, explique leurs motivations et leurs doutes et traite des freins qui pourraient ralentir ou retarder l'adoption du cloud. Nous vous présenterons également des ateliers pour impliquer et attirer vos parties prenantes et vous aider à former votre village.

Adoption du cloud : il faut tout un village

Amazon Web Services

Quelle que soit votre mission, vous devez faire en sorte que votre équipe prenne des décisions intelligentes. Les entreprises efficaces utilisent les analyses en libre service qui regroupent des données de plusieurs sources pour mettre en place une résolution des problèmes ponctuelle et axée sur les données. Rejoignez Darin Briskman, expert AWS en base de données, analyses, machine learning et chaîne de blocs pour explorer comment les citoyens du Canada et d'ailleurs sont mieux servis par des entreprises qui mettent en avant la prise de décision basée sur des données.

De la stratégie à la réalité : de meilleures décisions avec les données

Amazon Web Services

AWS Summit Paris - Track 4 - Session 3 - Créez votre SaaS avec AWS

Amazon Web Services

2010.12.02 - le SaaS et le Cloud pour les N...ouveaux - Webinaire Aspaway - L...

Club Alliances

Le Cloud révolutionne la manière de concevoir, de gérer et d'utiliser le système d'information. En effet, il offre des bénéfices déterminants pour répondre aux enjeux des entreprises : maîtrise du Time to Market, accélération des cycles d’innovation, gestion du risque disruptif, maîtrise des coûts, ect. Dans cette session, nous présenterons une démarche globale pour bâtir votre stratégie Coud. Ainsi que les différents modèles (cloud public / hybride) et technologies Microsoft Azure pour faciliter et réussir votre transition vers le Cloud. Nous aborderons différents scénarios et retours d’expériences.

Exadays cloud – Enjeux et Transformation du SI

Samir Arezki ☁

Introduction au cloud computing

Stéphane Traumat

AWS Paris Summit 2014 - T4 - Créez votre PaaS avec AWS

Amazon Web Services

Similar to Viadeo - Cost Driven Development (20)

2011.11.22 - Editeurs, concrétisez votre Offre SaaS avec Aspaway - 8ème Forum...

Realize the Value of Your Microsoft Investments - French Version - Transforma...

2012.11.20 - Cloud Builders - RV des Experts du Club Cloud des Partenaires - ...

Cloud Computing : enjeux pour les DSI

Seyfallah a os-aix-en-provence

SharePoint & Azure, le couple gagnant

Transforming Enterprise IT - French Version - Transformation Day Montreal 2018

XebiCon'17 : Serverless is the new back - Jérémy Pinsolle et Gérôme Egron

Réinventer SAP on AWS : évolution et simplification des opérations SAP sur AWS

2012.11.20 - Editeurs - RV des Experts du Club Cloud des Partenaires - Partne...

Des monolithes aux microservices

2010.07.08. Surfer le Tsunami Cloud avec IBM - Loic Simon

Continuous cloud costs testing [Fr] - DevoxxFR - 2013-03

Adoption du cloud : il faut tout un village

De la stratégie à la réalité : de meilleures décisions avec les données

AWS Summit Paris - Track 4 - Session 3 - Créez votre SaaS avec AWS

2010.12.02 - le SaaS et le Cloud pour les N...ouveaux - Webinaire Aspaway - L...

Exadays cloud – Enjeux et Transformation du SI

Introduction au cloud computing

AWS Paris Summit 2014 - T4 - Créez votre PaaS avec AWS

More from Julien SIMON

An introduction to computer vision with Hugging Face

Julien SIMON

Reinventing Deep Learning  with Hugging Face Transformers

Julien SIMON

Building NLP applications with Transformers

Julien SIMON

Building Machine Learning Models Automatically (June 2020)

Julien SIMON

Starting your AI/ML project right (May 2020)

Julien SIMON

Scale Machine Learning from zero to millions of users (April 2020)

Julien SIMON

An Introduction to Generative Adversarial Networks (April 2020)

Julien SIMON

AIM410R1 Deep learning applications with TensorFlow, featuring Fannie Mae (De...

Julien SIMON

AIM361 Optimizing machine learning models with Amazon SageMaker (December 2019)

Julien SIMON

AIM410R Deep Learning Applications with TensorFlow, featuring Mobileye (Decem...

Julien SIMON

A pragmatic introduction to natural language processing models (October 2019)

Julien SIMON

Building smart applications with AWS AI services (October 2019)

Julien SIMON

Build, train and deploy ML models with SageMaker (October 2019)

Julien SIMON

The Future of AI (September 2019)

Julien SIMON

Talk at OSCON, Portland, 18/07/2019 Real-life Machine Learning applications require more than a single model. Data may need pre-processing: normalization, feature engineering, dimensionality reduction, etc. Predictions may need post-processing: filtering, sorting, combining, etc. Our goal: build scalable ML pipelines with open source (Spark, Scikit-learn, XGBoost) and managed services (Amazon EMR, AWS Glue, Amazon SageMaker)

Building Machine Learning Inference Pipelines at Scale (July 2019)

Julien SIMON

Train and Deploy Machine Learning Workloads with AWS Container Services (July...

Julien SIMON

Optimize your Machine Learning Workloads on AWS (July 2019)

Julien SIMON

Deep Learning on Amazon Sagemaker (July 2019)

Julien SIMON

Automate your Amazon SageMaker Workflows (July 2019)

Julien SIMON

Build, train and deploy ML models with Amazon SageMaker (May 2019)

Julien SIMON

More from Julien SIMON (20)