O documento discute padrões de design para APIs auto-escaláveis, incluindo roteamento, sharding, consistência eventual e forte, pipelines assíncronas e automação de ambientes na nuvem. Ele também apresenta exemplos de aplicações que utilizam esses padrões e ferramentas como Google Cloud para implementá-los.

1. Apis Rest Autoescaláveis
Padrões de design para
QCONSP 2016
Fernando Ultremare
SEM COMPLICAÇÃO

2. About me
• Full-stack developer desde 1998
• Gerente geral de projetos na
Dextra Sistemas
• Criador do YAWP! Framework
@feroult

4. Agenda
• Introdução
• Padrões de design
• Automação de ambientes
• Na prática com o Google Cloud
• Projetos reais & referências

5. Introdução

6. APIs everywhere
• Web, mobile, microservices
• Grande número de usuários
• Grande volume de dados
• Novos requisitos de escalabilidade

7. Exemplos de aplicações
• Global Apps
Facebook, Twitter, Gmail
• Apps para consumidores
Pedidos on-line, banking,
e-commerce

8. Escalabilidade vertical
• Instâncias mais caras
• Dados em memória
• Ponto único de gargalo
• Menor complexidade

9. Escalabilidade horizontal
• Instâncias mais baratas
• Dados distribuídos
• Gargalo distribuído
• Maior complexidade

10. Pode ser bem difícil
• Sistemas distribuídos
• Consistência eventual
• “Ausência” de Joins
• Automação de ambientes

11. Padrões de design

12. Aplicação de exemplo
Order City State
Item
* 1* 1
1
n
Aggregation
order count
count by status
status:
created
prepared
delivered

13. Aplicação de exemplo
• Código fonte
bit.ly/qconsp2016

14. Roteamento
• Stateless requests ➝ No client affinity
• Baixa latência ➝
Evite grandes sequências server-side
Chamadas assíncronas (outros serviços)
Use cache intensivamente
• Evite locks ➝ 1 doc = 1 transação

15. Roteamento
Client Side Server Side
Security
Validation
Regras
Order
Item
Item
Create
1 doc = 1 tx

16. Roteamento
Client Side
Add
Server Side
Security Validation RegrasOrderCreate
Item
Add Item
Security Validation Regras
Security Validation Regras
1 doc = 1 tx

17. Sharding
• High-throughput para escrita
• Múltiplas instâncias de persistência
• Shard Key
• Replicação
• Dificuldade para Joins

18. Sharding
POST /orders
Routing
Create
Shard
Key
replicação
entre shards
bye bye joins
grupo de
shards

19. Consultas e consistência eventual
• High-throughput para leitura
• Shard Groups com menos carga
• Nós podem estar desatualizados
Eventual ➝ Possível mas incerto
Eventually ➝ At an unspecified future time

20. Consultas e consistência eventual

21. Consultas e consistência eventual
GET /orders?city=sao-paulo
nós quentes
replicação futura

22. Consultas e consistência forte
• Consultas por chave
• Grupos de documentos por chave pai
• Alterações até o momento ➝ Locks
• Mantenha grupos “User Sized”
• ~ 1 write / sec

23. Consultas e consistência forte

24. Consultas e consistência forte
GET /orders?city=sao-paulo
nós quentes
espera transações

25. Pipelines assíncronas
• “Joins” ➝ Views materializadas
• Sums, counts, avgs
• Baixo impacto na latência
• 1 write / sec ➝ Agregadores
• Consistência futura

26. Pipelines assíncronas
Order City State
POST /orders
status = 200
GET /cities GET /states
Fluxo Assíncrono

27. Pipelines assíncronas
Order City State
POST /orders GET /cities GET /states
status = 200
Fluxo Assíncrono

28. Pipelines assíncronas
POST /orders
acumuladores
evitam contenção
de escrita
Order
status = 200
City
GET /cities
sequenciamento
1 write / sec

29. Pipelines assíncronas
City
Daily
Report
Monthly
Report
Múltiplas pipelines
em paralelo
GET /cities
GET /daily
GET /monthly
POST /orders
Order

30. Pipelines assíncronas
Order
Price
Stock
POST /orders
POST /prices
POST /stock
Sales
Report
GET /sales
Pipelines convergentes
(Joins)

31. Automação de ambientes

32. Automação
• Cloud intensive
• Todas as camadas
Front / back-end instances, BD, filas, cache
• Scale Up, Scale Down (elástico)

33. Scale up and down
tempo
infraestrutura
manhã
tarde
noite
• Evita capacidade ociosa
• Menor custo de saída
• Menor custo médio
• Picos inesperados

34. Soluções e ferramentas

35. Na prática com o Google Cloud

36. Aplicação de exemplo
Order City State
Item
* 1* 1
1
n
Aggregation
order count
count by status
status:
created
prepared
delivered

38. Projetos reais & referências

39. Projetos reais
• Pense duas vezes…
• High-throughput
• Dados >> memória
• Simples o suficiente (why not?)

40. Projetos reais
• Vendas / CRM organização de eventos
• Delivery de comida

41. Referências
• Design for Scale (Appengine)
https://cloud.google.com/appengine/articles/scalability
• Shard or not shard
https://dzone.com/articles/shard-or-not-shard
• Appengine data pipelines
https://dl.google.com/googleio/2010/app-engine-data-
pipelines.pdf

42. Referências
• Código fonte
bit.ly/qconsp2016
• YAWP! Framework
yawp.io

43. Obrigado!
@feroult
feroult@gmail.com