Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
©2018 Avanade Inc. All Rights Reserved.
Thaissa Bueno Sanches - Consultant at Avanade
Implantando modelos Deep Learning em...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• Noções básicas de imp...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• O que é implantar?
No...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• Payload
Noções básica...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• Encode em base64
• Tr...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• Batching
Noções básic...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• HTTP
Noções básicas d...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• Web Service:
• É uma ...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• Arquitetura de rede n...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• Arquitetura de rede n...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• ResNet , abreviação d...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• ResNet , abreviação d...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• MOBILENET – V2 é uma ...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• CPU VS GPU
Comparação...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• CPU VS GPU
Comparação...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• Kubernetes é um siste...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
Kubernetes
Node Node No...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• Desenvolver modelo
• ...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• Desenvolver modelo, m...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
Implantação no Kubernet...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• Configuração do Azure...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
Implantação no Kubernet...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• Desenvolva modelo e s...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
• Implantação no Kubern...
©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy
©2018 Avanade Inc. All ...
Contatos
Site/Blog/Email:
http://www.thaissasanches.com.br
http://meetup.com/pt-BR/DevelopersBR/
https://meetup.com/pt-BR/...
• Formada em tecnologia em rede de computadores
pela UNIVEM/Marilia.
• Especialista em desenvolvimento .NET e Java.
Pós Gr...
Thaissa Bueno Sanches
Consultant at Avanade
Obrigada
Thaissa Bueno - Implantando modelos Deep Learning em cluster Kubernetes com GPU Ativada
Upcoming SlideShare
Loading in …5
×
Upcoming SlideShare
What to Upload to SlideShare
Next
Download to read offline and view in fullscreen.

0

Share

Download to read offline

Thaissa Bueno - Implantando modelos Deep Learning em cluster Kubernetes com GPU Ativada

Download to read offline

Palestra DevCamp 2019

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all
  • Be the first to like this

Thaissa Bueno - Implantando modelos Deep Learning em cluster Kubernetes com GPU Ativada

  1. 1. ©2018 Avanade Inc. All Rights Reserved. Thaissa Bueno Sanches - Consultant at Avanade Implantando modelos Deep Learning em cluster Kubernetes com GPU Ativada
  2. 2. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • Noções básicas de implantação (carga útil, lotes, HTTP, Web Service) • Arquitetura de redes neurais • Comparação de GPU / CPU para inferência • Kubernetes • Etapas comuns • Implantação no Kubernetes usando o Kubectl • Implantação no Kubernetes usando o AzureML • Implantação no Kubernetes usando Kubeflow e TF serving Agenda
  3. 3. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • O que é implantar? Noções básicas de implantação (payload, batching, HTTP, Web Service)
  4. 4. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • Payload Noções básicas de implantação (payload, batching, HTTP, Web Service) penultimate layer RGB Channels of input image Convolution layer with Kernels Pooling layer Fully connected layer Cat Dog Mouse
  5. 5. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • Encode em base64 • Transfere arquivo Noções básicas de implantação (payload, batching, HTTP, Web Service) decoded_img = base64.b64decode(request.json["input"]) img_buffer = BytesIO(decoded_img) pil_img = Image.open(img_buffer).convert("RGB") Image.open(request.files['image']).convert("RGB")
  6. 6. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • Batching Noções básicas de implantação (payload, batching, HTTP, Web Service)
  7. 7. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • HTTP Noções básicas de implantação (payload, batching, HTTP, Web Service)
  8. 8. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • Web Service: • É uma solução para integração de sistemas e comunicação com aplicações diferentes, podendo utilizar o protocolo de comunicação SOAP (Simple Object Access Protocol, em português Protocolo Simples de Acesso a Objetos) ou a arquitetura REST(Representational State Transfer em português Transferência de Estado Representacional). Noções básicas de implantação (payload, batching, HTTP, Web Service) Container Instances
  9. 9. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • Arquitetura de rede neural que apesar de ter seu modelo predefinido, os blocos ou células não são predefinidos pelos autores, eles são pesquisados ​​pelo método de busca por aprendizado por reforço e utilizam um modelo pré treinado para os datasets cifar-10 ou ImageNet, onde o mesmo alcança resultados de alto nível nesses datasets. • A rede possui um input com o tamanho 331 X 331 px. Arquiteturas de redes neurais – NASNET-Large
  10. 10. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • Arquitetura de rede neural que apesar de ter seu modelo predefinido, os blocos ou células não são predefinidos pelos autores, eles são pesquisados ​​pelo método de busca por aprendizado por reforço e utilizam um modelo pré treinado para os datasets cifar-10 ou ImageNet, onde o mesmo alcança resultados de alto nível nesses datasets. • A rede possui um input com o tamanho 224 X 224 px. Arquiteturas de redes neurais – NASNET-Mobile
  11. 11. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • ResNet , abreviação de Residual Networks é uma rede neural clássica usada como backbone para tarefas de visão computacional, O avanço com a ResNet nos permitiu treinar redes neurais extremamente profundas com mais de 50 camadas. Arquiteturas de redes neurais – RESNET-50
  12. 12. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • ResNet , abreviação de Residual Networks é uma rede neural clássica usada como backbone para tarefas de visão computacional. Este modelo foi o vencedor do desafio ImageNet em 2015. O avanço com a ResNet nos permitiu treinar redes neurais extremamente profundas com mais de 150 camadas. Arquiteturas de redes neurais – RESNET-152
  13. 13. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • MOBILENET – V2 é uma arquitetura de rede neural simples, que permite construir modelos com alta eficiência de uso de memoria para inferência. Arquiteturas de redes neurais – MOBILENET-V2
  14. 14. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • CPU VS GPU Comparação de GPU / CPU para inferência
  15. 15. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • CPU VS GPU Comparação de GPU / CPU para inferência
  16. 16. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • Kubernetes é um sistema de orquestração de contêiners open-source que automatiza a implantação, o dimensionamento e a gestão de aplicações em contêiners. Kubernetes
  17. 17. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy Kubernetes Node Node Node Cluster
  18. 18. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • Desenvolver modelo • Desenvolver API de modelo • Preparar contêiner docker para o serviço da web • Implantar no Kubernetes Etapas comuns
  19. 19. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • Desenvolver modelo, modelo API, Flask App • Crie uma imagem de contêiner com modelo, modelo API e Flask App • Teste localmente e envie a imagem para o Docker Hub • Provisionar o Cluster Kubernetes • Conecte-se ao Kubernetes com kubectl • Implantar aplicativo usando o manifesto (.yaml) Implantação no Kubernetes usando o Kubectl
  20. 20. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy Implantação no Kubernetes usando o Kubectl https://github.com/Microsoft/AKSDeploymentTutorial.git
  21. 21. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • Configuração do AzureML, modelo de desenvolvimento, registro do modelo no espaço de trabalho do AzureML, desenvolvimento da API do modelo (script de pontuação) • Crie imagens com o AzureML usando dependências do conda, requisitos de pip e outras dependências • Capturar imagem do Azure Container Registry (ACR) e testar localmente • Provisione o cluster do Kubernetes e implemente o serviço da Web com o AzureML. Implantação no Kubernetes usando o AzureML
  22. 22. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy Implantação no Kubernetes usando o AzureML https://github.com/Microsoft/AKSDeploymentTutorialAML.git
  23. 23. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • Desenvolva modelo e salve como TensorFlow servable • Puxe a imagem TensorFlow Serving do Docker hub, monte o caminho do modelo, abra a porta da API REST, teste localmente • Crie um Kubernetes cluster, anexe o armazenamento blob no AKS, copie o modelo servable • Instale o Ksonnet, Kubeflow e implante o webservice usando o componente Kubeflow TensorFlow serving usando "ksonnet template". • Implantação no Kubernetes usando Kubeflow e TF serving
  24. 24. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy • Implantação no Kubernetes usando Kubeflow e TF serving https://github.com/Microsoft/DeployDLKubeflowAKS.git
  25. 25. ©2018 Avanade Inc. All Rights Reserved. <Highly Confidential> See Avanade’s Data Management Policy ©2018 Avanade Inc. All Rights Reserved. Participe de um treinamento GRATUITO de Azure Machine Learning Service bit.ly/azuremltdc
  26. 26. Contatos Site/Blog/Email: http://www.thaissasanches.com.br http://meetup.com/pt-BR/DevelopersBR/ https://meetup.com/pt-BR/ai-brasil/ Redes Sociais: Linkedin: /in/thaissa-bueno-sanches Github: thayssa1186 Twitter: thayssa1186 Vagas Avanade: https://careers.avanade.com/jobsenusurl/SearchJobs/?3_56_3=19753 ©2018 Avanade Inc. All Rights Reserved.
  27. 27. • Formada em tecnologia em rede de computadores pela UNIVEM/Marilia. • Especialista em desenvolvimento .NET e Java. Pós Graduanda Machine Learning e Deep Learning na IGTI. • Consultora de TI e Arquiteta • Faço parte da coordenação do evento TDC – Trilha de IA • Organizadora do AIFest 2018 • Uma das coordenadoras do Developers BR e IA Brasil além de varias comunidades de tecnologia que participo. Quem sou eu? ©2018 Avanade Inc. All Rights Reserved.
  28. 28. Thaissa Bueno Sanches Consultant at Avanade Obrigada

Palestra DevCamp 2019

Views

Total views

81

On Slideshare

0

From embeds

0

Number of embeds

0

Actions

Downloads

1

Shares

0

Comments

0

Likes

0

×