SlideShare a Scribd company logo
1 of 67
Download to read offline
Métricas & Forecasting
Não perca (seu raro e precioso) tempo fazendo estimativas!
Não estime
• Ao invés de produzir algo de valor, você
está desperdiçando seu tempo
• Apesar de tudo, não existe razão ou fato
lógico-matemático que nos leve a crer
que, se a história A é mais complexa do
que a história B então certamente a
história A tomará mais tempo para
terminar do que a história B.
https://rodrigoalmeidadeoliveira.wordpress.com/2018/09/18/estimar-ou-nao-estimar/
E não apenas um pouco errado.
Muito errado
Vejamos
Saiba quantos dados precisamos prever
Amostragem
Uma maneira de usar os dados que temos
para fazer predições e previsões
Ela ajuda a descobrir a faixa de valores
possíveis de forma rápida e confiável
Com que rapidez descobrimos um intervalo de valores
por amostragem?
Por quê? Qual a velocidade que obtemos a contagem
de estórias, o tamanho da história, a velocidade, o
rendimento, o tempo de ciclo, e que nos deixa
confiantes de estarmos com as estimativas corretas?
Menor
amostra até
agora
Máximo atual
Minimo atual
Maior amostra
até agora
Q. Em média, qual é a chance da 4ª
amostra estar entre a faixa vista após 3
amostras aleatórias?
(sem duplicatas, distribuição uniforme)?
A. ?1
2
3
4
Menor amostra
até agora
Máximo atual
Minimo atual
Maior amostra
até agora
Q. Em média, qual é a chance da 4ª
amostra estar entre a faixa vista após 3
amostras aleatórias? (sem duplicatas,
distribuição uniforme)
A. ?1
2
3
4
25%
25%
25% de chance de ser maior
que a anterior mais alta
25% de chance de ser menor
que a anterior mais baixa
Menor
amostra até
agora
Máximo atual
Minimo atual
Maior amostra
até agora
Q. Em média, qual é a chance da 4ª
amostra estar entre a faixa vista após 3
amostras aleatórias? (sem duplicatas,
distribuição uniforme)
A. ?1
2
3
4
25%
25%
25% de chance de ser maior
que a anterior mais alta
25% de chance de ser menor
que a anterior mais baixa
A. 50%
% = (n – 1)/(n+1)
% = (3-1)/(3+1)
% = 2/4 = 1/2
% = 0.5
13
Máximo atual
Minimo atual
8,5% de chance de ser
maior que a anterior mais
alta
8,5% de chance de ser
menor que a anterior
mais baixa
Maior amostra
até agora
Menor amostra
até agora
Q. Em média, qual é a chance da 12ª
amostra estar entre o intervalo visto
após 11 amostras aleatórias?
(sem duplicatas, distribuição uniforme)
A. 83%
% = (n-1)/(n+1)
% = (11-1)/(11+1)
% = 0.833
1
2
3
4
5
6
7
8
9
10
11
12
Intervalos de Previsão
• "N" = número de amostras anteriores
• % chance da próxima amostra no intervalo
anterior para contagem de amostra anterior
n (n-1)/(n+1) n (n-1)/(n+1)
2 33% 16 88%
3 50% 17 89%
4 60% 18 89%
5 67% 19 90%
6 71% 20 90%
7 75% 21 91%
8 78% 22 91%
9 80% 23 92%
10 82% 24 92%
11 83% 25 92%
12 85% 26 93%
13 86% 27 93%
14 87% 28 93%
15 88% 29 93%
30 94%
0,0%
20,0%
40,0%
60,0%
80,0%
100,0%
120,0%
1
7
13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
Limite de amostras
(1 - (1 / n – 1)) (n-1)/(n+1)
Quanto tempo você
leva para chegar ao
trabalho de manhã?
depende...
AQUI TEM UMA
VAGA!
AQUI TEM UMA
VAGA!
Métricas nas Práticas Kanban
1.Visualize
2.Limit WIP
3.Gerencie o fluxo
4.Torne as políticas explicitas
5.Implementar loops de feedback
6. Melhorar Colaborativamente, Evoluir
Experimentalmente
(usando modelos / método científico)
Métricas nas Práticas Kanban
1.Visualize
2.Limit WIP
3.Gerencie o fluxo
4.Torne as políticas explicitas
5.Implementar loops de feedback
6. Melhorar Colaborativamente, Evoluir
Experimentalmente
(usando modelos / método científico)
As métricas podem ajudar você a
entender melhor sua demanda e
capacidade
50º percentil:
20 dias ou menos
70º percentil:
35 dias ou menos
85º percentil:
62 dias ou menos
95º percentil:
104 dias ou menos
Powered by
Percentis e intervalo de confiança
• Faixa de valores possíveis para a magnitude (risco relativo) real do efeito.
• Temos X% de chance do intervalo conter o verdadeiro valor da média populacional.
• Em vez de estimar o parâmetro por um único valor, é dado um intervalo de
estimativas prováveis.
https://connected-knowledge.com/page/4/
Não ignore as caudas longas
https://connected-knowledge.com/page/4/
Alexy Zheglov
@az1Eu
85º dos itens gastam até 62 dias ou
menos para serem finalizados
Powered by
Lead time
WIPPowered by
CFD – Cumulative Flow Diagram
Meça e Gerencie o Fluxo
http://leanguru.pro/the-cumulative-flow-chart-cfd-in-a-nutshell/.
Gráfico que exibe o progresso de um
processo
Nunca decresce
Evidencia problemas
Ajuda a buscar a estabilidade de fluxo
Mostra gargalos
Deixa claro onde estamos com sobrecarga
de trabalho e onde temos restrições
Simulação de Monte Carlo
Simulação de Monte Carlo
Um primeiro exemplo...
Determinando o valor de 𝜋 a partir de simulações estatísticas.
–Imagine um alvo (de raio 1) inscrito em um quadro (de lado 2).
–A ideia é atirar, aleatoriamente, um grande número de dardos e contabilizar quantos
caem dentro do alvo.
–O valor de 𝜋 pode ser aproximado pela razão entre as áreas das figuras ou, de forma
equivalente, pelo número de dardos que caem em uma ou outra região.
–Quanto maior o número de pontos, melhor a aproximação.
Simulação de Monte Carlo
Integração numérica
Determinando o valor de 𝜋 a partir de simulações estatísticas.
Na verdade, o método pode ser aplicado para qualquer problema de
integração numérica...
– Seja 𝐴 a área do retângulo que envolve a região de integração de interesse:
Simulação de Monte Carlo
Simulação de Monte Carlo
Simulação de Monte Carlo
Simulação de Monte Carlo
Simulação de Monte Carlo
Quando este processo é realizado com uma grande
massa de dados e por milhares de vezes, os valores
obtidos guardam uma estreita semelhança com os valores
reais no que se refere a variáveis randômicas.
Método de Monte Carlo
Teoria das Filas
“O número médio de itens de trabalho em um sistema estável é
igual à taxa de conclusão média, multiplicada pelo tempo médio
no sistema.”
John Little, 1961
Lead time =
𝑊𝐼𝑃
𝑇ℎ𝑟𝑜𝑢𝑔ℎ𝑝𝑢𝑡
45
Teoria das Filas
• Wait Time + Touch Time = Lead Time
• WIP = Lead Time x Throughput
• Lead Time = WIP / Throughput
• Throughput = WIP / Lead Time
Teoria das Filas
Teoria das Restrições
A Meta (Eliyahu Goldratt)
O processo tem a velocidade do seus
gargalos.
Teoria das Restrições
A Meta (Eliyahu Goldratt)
Métricas e Forecasting
Lei de Little
Teoria das Restrições
Método de Monte Carlo
Métricas suportam mudanças
Fitness Criteria
"Critérios de adequação são métricas que medem o valor do cliente
ao selecionar um serviço várias vezes."
- Tempo de entrega
- Qualidade
- Previsibilidade
- Segurança (conformidade com
requisitos regulamentares)
David J. Anderson
@lki_djaEu
Fique atento:
• Nunca use uma média para comunicar uma previsão.
• Nunca utilize o resultado mais provável para comunicar uma previsão; o
resultado mais provável não é muito provável. Seus dados de tempo de ciclo
não são normalmente distribuídos por isso não assuma isso ao fazer
previsões.
• Estimativa e planejamento geralmente servem para tornar seu processo
menos previsível e não mais previsível.
• Não há quase nenhuma correlação entre uma estimativa de ponto de história
e o tempo decorrido que leva para que um item seja concluído.
• Não há necessidade de itens do mesmo tamanho para a previsão. Muito, se
não a maioria da imprevisibilidade, em seu processo é devido às políticas
frágeis que estão implementadas no seu sistema puxado.
• Implementado incorretamente, as políticas de sistema puxado do seu
processo serão tão bem-sucedidas quanto o Titanic.
Estimativas x Lead Time.
É possível ser previsível com o que este gráfico nos mostra?
Diversas são as fontes de variabilidade que impactam diretamente nas estimativas criadas.
Quantas, além destas, você pode identificar?
• WIP alto ou sem limite
• Tecnologia / domínio / produto
• Composição de time
• Usuário, cliente e representante do cliente
• Multitarefa / falta de foco
• Mercado e concorrentes
• Dependências do sistema
• Dependências de equipe
• Especialização
• Aguardando disponibilidade
• Retrabalho
• Etapas / handoffs (50% * 50% * 50% …)
• Estágios no desenvolvimento da equipe (Tuckman)
• Política de seleção
• Complicação essencial (quão difícil é problema é por si só)
O que você pode fazer sobre a variação?
• WIP baixo e limitado
• ConWIP / WIP Sistema (em todo o sistema, ao invés de ser somente
por coluna)
• Cinco etapas de foco para eliminar restrições (TOC)
• Agrupamento de bloqueadores
• Reduza os estágios do fluxo de trabalho
• Políticas explícitas
• Custo de programação, sequenciamento e seleção de atrasos
• Design simples e desacoplado; fatias finas e verticais; emparelhamento
• Identifique / faça dependências visíveis / meça
• Colaborar / Compartilhar o trabalho (Dimitar Bakardzhiev)
• Pico e estabilização (Dan North)
• Reduza a complexidade acidental (Liz Keogh)
#NoEstimates e o Negócio
• Determinar quais ações seriam diferentes com base na estimativa
• Critérios de adequação baseados no cliente
• Orçamento: taxa de execução da equipe
• Concentre a conversação no valor, não no custo
• MVP e propriedade do produto
• Criar previsão probabilística o mais rápido possível (assim que você
tiver dados) – juntos!
• Revisões de Serviço-entrega (Cadências do Kanban)
• Equipes: Mantenha as equipes juntas, dedicadas (reduz a mudança
de contexto, estágios de Tuckman)
• Tenha um fluxo unificado.
• Liberte-se do time box!!!!
Manifesto #NoEstimates
… Nós passamos a valorizar:
Probabilístico sobre Determinístico
Tempo de entrega sobre o tempo de
desenvolvimento
Escopo do MVP sobre o escopo total
Dados sobre intuição sobre Reduzir as fontes de
variação ao melhorar as estimativas
Ou seja, enquanto houver valor nos itens à direita,
valorizamos mais os itens à esquerda.
https://www.slideshare.net/AgileEnSeine/the-noestimates-game-by-matthew-philip-thoughtworks
Currículo:
• Prof. Rodrigo Oliveira
• Mais de 20 anos de trabalho em T.I.
• Mais de 10 anos de experiência em gestão, em melhoria de processos de desenvolvimento e
qualidade de software
• Certified Kanban Coach
• Approved Kanban Professional
• Accredited Training Partner – Lean Kanban
• Project Management Professional (PMP)
• Mestre em Engenharia e Gestão de Sistemas e Processos, com ênfase em melhoria e otimização de
processos de desenvolvimento e qualidade de software utilizando metodologias ágeis
• Professor de Pós Graduação e Especialização do IETEC-MG, PUC-MG, UNA e Pitágoras
• Contatos:
• Email: rodrigoalmeidadeoliveira@gmail.com
• Site:https://rodrigoalmeidadeoliveira.wordpress.com/
• LinkedIn: https://www.linkedin.com/in/raoliveira
• Slideshare: https://www.slideshare.net/raoliveira
Quer saber mais?
Ou melhor. Praticar mais!
Fundamentals
(8hrs)
Intermediate
(16 hrs)
Advanced
(16 hrs)
Formação Gestão Lean-Kanban (módulos 1 e 2)
Kanban (módulo 1)
Forecasting + Métricas
(8hrs)
Lean + Qualidade (8hrs)
Formação Gestão Lean-Kanban (módulos 1 e 2)
Lean - Métricas (módulo 2)
Planilha com métricas e simulação de monte carlo
https://goo.gl/dDpUKk
0
32
187
235
182
117
100
62
36
21
11 6 5 2 1 3
0,00%
20,00%
40,00%
60,00%
80,00%
100,00%
120,00%
0
50
100
150
200
250
0 a 1 1 a 2 2 a 3 3 a 4 4 a 5 5 a 6 6 a 7 7 a 8 8 a 9 9 a 10 10 a
11
11 a
12
12 a
13
13 a
14
14 a
15
15 a
16
Histograma de Entregas - Simulação de Monte Carlo
Frequências % acumulado
REFERÊNCIASGRAEML, Alexandre Reis; PEINADO Jurandir. Administração da produção: operações industriais e de serviços. Curitiba: UnicenP, 2007.
DATALYSER. Série – As Sete Ferramentas do Controle da Qualidade – 7FCQ. Disponível em:
<http://www.datalyzer.com.br/site/suporte/administrador/info/arquivos/info44/44.html;. Acesso em Novembro de 2018.
FARIAS, Ana Maria Lima de; LAURENCEL, L. C. Fundamentos de Estatística Aplicada: Módulo I: Estatística Descritiva. Rio de Janeiro/RJ:
Universidade Federal Fluminense, 2000.
http://www.prd.usp.br/disciplinas/docs/pro2712-2005-Alberto_Gregorio/1Ferbasq.pdf
Statistical Methods for Quality Improvement: AOTS, Japão, 1988.
OHNO, T. (1997) - O sistema Toyota de produção além da produção em larga escala. Trad. Cristina Schumacher. Artes Médicas. Porto Alegre.
ROTHER, M. & SHOOK, J. (1999) - Aprendendo a enxergar: mapeando o fluxo de valor para agregar valor e eliminar o desperdício. The Lean
Institute Brasil. São Paulo. STANDARD, C. & DAVIS, D. (1999) - Running today’s factory: a proven strategy for lean manufacturing. Hanser
Gardner Publications. Cincinnati. WARNECKE, H. & HÜSER, M. (1995) - Lean production. International Journal of Production Economics.
Vol.41, p.37-43. WOMACK, J.P.; JONES, D.T. & ROOS, D. (1992) - A máquina que mudou o mundo. Campus. Rio de Janeiro.
MAGENNIS, Troy. The Economic Impact of Software Development Process Choice--Cycle-Time Analysis and Monte Carlo Simulation Results.
In: System Sciences (HICSS), 2015 48th Hawaii International Conference on. IEEE, 2015. p. 5055-5064.
Imagem: http://broadleaf.com.au/resource-material/cost-and-schedule-risk-assessment-risk-factor-modelling
"Moneyball for Software Projects: Agile Metrics for the Metrically Challenged";Troy Magennis goo.gl/VbAEEZ
"High-Level Project Planning using Monte Carlo simulation"; Dimitar Bakardzhiev goo.gl/KkC74b “
#NoEstimates Project Planning using Monte Carlo simulation"; Dimitar Bakardzhiev goo.gl/SDHJYP
"Little's law and predictability"; Daniel Vacanti goo.gl/ETDzg9
"Kanban Metrics in practice at Sky Network Services"; Mattia Battiston goo.gl/tQXqwN
"By the power of metrics";Wolfgang Wiedenroth goo.gl/ebGU3h
"Project planning using Little’s Law"; Dimitar Bakardzhiev goo.gl/rw1X5T
Little, J. D. C., S. C. Graves. 2008. Little’s Law. D. Chhajed, T. J. Lowe,eds. Building Intuition: Insights from Basic Operations Management
Models and Principles. Springer Science + Business Media LLC,New York. J. D. C. Little. Little's law as viewed on its 50th anniversary. Oper.
Res. 59 (2011) 536{539. http://learningagileandlean.wordpress.com/2013/08/01/on-the-practically-useful-properties-of-theweibull-
distribution/
DE FREITAS FILHO, Paulo José. Introdução à modelagem e simulação de sistemas: com aplicações em Arena. Visual Books 2ª edição, 2008.
https://rodrigoalmeidadeoliveira.wordpress.com/2018/08/01/metricas-lean-e-gerenciamento-de-fluxo/
REFERÊNCIAS
Muito
obrigado!
Métricas & Forecasting
Não perca (seu raro e precioso) tempo fazendo estimativas!

More Related Content

What's hot

Guia do Papel e Responsabilidade do Scrum Master
Guia do Papel e Responsabilidade do Scrum MasterGuia do Papel e Responsabilidade do Scrum Master
Guia do Papel e Responsabilidade do Scrum MasterPaulo Lomanto
 
Métricas ágeis obtenha melhores resultados em sua equipe
Métricas ágeis obtenha melhores resultados em sua equipeMétricas ágeis obtenha melhores resultados em sua equipe
Métricas ágeis obtenha melhores resultados em sua equipeRaphael Donaire Albino
 
As 5 escolhas para uma produtividade extraordinaria
As 5 escolhas para uma produtividade extraordinariaAs 5 escolhas para uma produtividade extraordinaria
As 5 escolhas para uma produtividade extraordinariafranklincoveybr
 
Gestão do tempo e produtividade
Gestão do tempo e produtividadeGestão do tempo e produtividade
Gestão do tempo e produtividadeIgor Furniel
 
Treinamento Gestão de Tempo e Produtividade
Treinamento Gestão de Tempo e ProdutividadeTreinamento Gestão de Tempo e Produtividade
Treinamento Gestão de Tempo e ProdutividadeRicardo Ferrari Peloi
 
[Product Starter] Fábio Aguiar - Lean Inception e Product Backlog Building
[Product Starter] Fábio Aguiar - Lean Inception e Product Backlog Building[Product Starter] Fábio Aguiar - Lean Inception e Product Backlog Building
[Product Starter] Fábio Aguiar - Lean Inception e Product Backlog BuildingProduct Camp Brasil
 
Como deixar o planning, a daily, a review e a retrospectiva mais objetivas
Como deixar o planning, a daily, a review e a retrospectiva mais objetivasComo deixar o planning, a daily, a review e a retrospectiva mais objetivas
Como deixar o planning, a daily, a review e a retrospectiva mais objetivastdc-globalcode
 
Redução de Custos e Desperdícios em Processos
Redução de Custos e Desperdícios em Processos Redução de Custos e Desperdícios em Processos
Redução de Custos e Desperdícios em Processos EloGroup
 
Métricas em times ágeis: O essencial que você precisa saber, mas não te conta...
Métricas em times ágeis: O essencial que você precisa saber, mas não te conta...Métricas em times ágeis: O essencial que você precisa saber, mas não te conta...
Métricas em times ágeis: O essencial que você precisa saber, mas não te conta...Cleiton Luis Mafra
 
FLAPS! Os 6 Passos da Liderança Adaptágil - L1
FLAPS! Os 6 Passos da Liderança Adaptágil - L1FLAPS! Os 6 Passos da Liderança Adaptágil - L1
FLAPS! Os 6 Passos da Liderança Adaptágil - L1Renato Fontana Capalbo
 
Project Model Canvas (PM Canvas)
Project Model Canvas (PM Canvas)Project Model Canvas (PM Canvas)
Project Model Canvas (PM Canvas)Evandro Paes
 
Liderança em Cenários de Incerteza
Liderança em Cenários de IncertezaLiderança em Cenários de Incerteza
Liderança em Cenários de IncertezaSamira Tavares
 
Workshop Retrospectiva
Workshop Retrospectiva Workshop Retrospectiva
Workshop Retrospectiva Silas Serpa
 
Gestão do Tempo e Produtividade - Conceitos e Ferramentas
Gestão do Tempo e Produtividade - Conceitos e FerramentasGestão do Tempo e Produtividade - Conceitos e Ferramentas
Gestão do Tempo e Produtividade - Conceitos e FerramentasDavi Rocha
 

What's hot (20)

Guia do Papel e Responsabilidade do Scrum Master
Guia do Papel e Responsabilidade do Scrum MasterGuia do Papel e Responsabilidade do Scrum Master
Guia do Papel e Responsabilidade do Scrum Master
 
Métricas ágeis obtenha melhores resultados em sua equipe
Métricas ágeis obtenha melhores resultados em sua equipeMétricas ágeis obtenha melhores resultados em sua equipe
Métricas ágeis obtenha melhores resultados em sua equipe
 
As 5 escolhas para uma produtividade extraordinaria
As 5 escolhas para uma produtividade extraordinariaAs 5 escolhas para uma produtividade extraordinaria
As 5 escolhas para uma produtividade extraordinaria
 
Gestão do tempo e produtividade
Gestão do tempo e produtividadeGestão do tempo e produtividade
Gestão do tempo e produtividade
 
Scrum Day Brazil 2021 | Como o Lean, Agile e Gestão 3.0 irão aumentar a entr...
Scrum Day Brazil 2021 | Como o Lean, Agile e Gestão 3.0  irão aumentar a entr...Scrum Day Brazil 2021 | Como o Lean, Agile e Gestão 3.0  irão aumentar a entr...
Scrum Day Brazil 2021 | Como o Lean, Agile e Gestão 3.0 irão aumentar a entr...
 
PMI CEARA | Bate-papo nas Redes | Liderança Ágil com Management 3.0
PMI CEARA | Bate-papo nas Redes | Liderança Ágil com Management 3.0PMI CEARA | Bate-papo nas Redes | Liderança Ágil com Management 3.0
PMI CEARA | Bate-papo nas Redes | Liderança Ágil com Management 3.0
 
Treinamento Gestão de Tempo e Produtividade
Treinamento Gestão de Tempo e ProdutividadeTreinamento Gestão de Tempo e Produtividade
Treinamento Gestão de Tempo e Produtividade
 
Metricas (e previsões) acionáveis de projeto
Metricas (e previsões) acionáveis de projetoMetricas (e previsões) acionáveis de projeto
Metricas (e previsões) acionáveis de projeto
 
[Product Starter] Fábio Aguiar - Lean Inception e Product Backlog Building
[Product Starter] Fábio Aguiar - Lean Inception e Product Backlog Building[Product Starter] Fábio Aguiar - Lean Inception e Product Backlog Building
[Product Starter] Fábio Aguiar - Lean Inception e Product Backlog Building
 
Como deixar o planning, a daily, a review e a retrospectiva mais objetivas
Como deixar o planning, a daily, a review e a retrospectiva mais objetivasComo deixar o planning, a daily, a review e a retrospectiva mais objetivas
Como deixar o planning, a daily, a review e a retrospectiva mais objetivas
 
Redução de Custos e Desperdícios em Processos
Redução de Custos e Desperdícios em Processos Redução de Custos e Desperdícios em Processos
Redução de Custos e Desperdícios em Processos
 
Palestra Agile Mindset | Ago-21
Palestra Agile Mindset | Ago-21Palestra Agile Mindset | Ago-21
Palestra Agile Mindset | Ago-21
 
Métricas em times ágeis: O essencial que você precisa saber, mas não te conta...
Métricas em times ágeis: O essencial que você precisa saber, mas não te conta...Métricas em times ágeis: O essencial que você precisa saber, mas não te conta...
Métricas em times ágeis: O essencial que você precisa saber, mas não te conta...
 
FLAPS! Os 6 Passos da Liderança Adaptágil - L1
FLAPS! Os 6 Passos da Liderança Adaptágil - L1FLAPS! Os 6 Passos da Liderança Adaptágil - L1
FLAPS! Os 6 Passos da Liderança Adaptágil - L1
 
Project Model Canvas (PM Canvas)
Project Model Canvas (PM Canvas)Project Model Canvas (PM Canvas)
Project Model Canvas (PM Canvas)
 
Scrum
ScrumScrum
Scrum
 
Liderança em Cenários de Incerteza
Liderança em Cenários de IncertezaLiderança em Cenários de Incerteza
Liderança em Cenários de Incerteza
 
Mindset Ágil
Mindset ÁgilMindset Ágil
Mindset Ágil
 
Workshop Retrospectiva
Workshop Retrospectiva Workshop Retrospectiva
Workshop Retrospectiva
 
Gestão do Tempo e Produtividade - Conceitos e Ferramentas
Gestão do Tempo e Produtividade - Conceitos e FerramentasGestão do Tempo e Produtividade - Conceitos e Ferramentas
Gestão do Tempo e Produtividade - Conceitos e Ferramentas
 

Similar to Metricas forecasting

Treinamento MLOps Databricks 2023
Treinamento MLOps Databricks 2023Treinamento MLOps Databricks 2023
Treinamento MLOps Databricks 2023Douglas Mendes
 
Modelagem Analítica – Queueing Theory (Part I)
Modelagem Analítica – Queueing Theory (Part I)Modelagem Analítica – Queueing Theory (Part I)
Modelagem Analítica – Queueing Theory (Part I)Joao Galdino Mello de Souza
 
Porque estimar e porque deixar de estimar
Porque estimar e porque deixar de estimarPorque estimar e porque deixar de estimar
Porque estimar e porque deixar de estimarRodrigo Yoshima
 
Quando vai ficar pronto? Agile Beer version
Quando vai ficar pronto? Agile Beer versionQuando vai ficar pronto? Agile Beer version
Quando vai ficar pronto? Agile Beer versionJuliano Ribeiro
 
Gestão ágil: gerar valor partir otimização de fluxo
Gestão ágil: gerar valor partir otimização de fluxoGestão ágil: gerar valor partir otimização de fluxo
Gestão ágil: gerar valor partir otimização de fluxoAnderson Silveira
 
Aula 7 - MASP - ferramentas da qualidade - 2019-1
Aula 7   - MASP -  ferramentas da qualidade - 2019-1Aula 7   - MASP -  ferramentas da qualidade - 2019-1
Aula 7 - MASP - ferramentas da qualidade - 2019-1IFMG
 
Quando ficará pronto?
Quando ficará pronto? Quando ficará pronto?
Quando ficará pronto? Fabio Torres
 
Quando ficará pronto? Forecasting com métodos quantitativos
Quando ficará pronto? Forecasting com métodos quantitativosQuando ficará pronto? Forecasting com métodos quantitativos
Quando ficará pronto? Forecasting com métodos quantitativosDanilo Garcia
 
TDC2018FLN | Trilha Agile - Quando ficará pronto? Usando métodos quantitativo...
TDC2018FLN | Trilha Agile - Quando ficará pronto? Usando métodos quantitativo...TDC2018FLN | Trilha Agile - Quando ficará pronto? Usando métodos quantitativo...
TDC2018FLN | Trilha Agile - Quando ficará pronto? Usando métodos quantitativo...tdc-globalcode
 
Unidade 0: Projeto de Experimentos
Unidade 0: Projeto de ExperimentosUnidade 0: Projeto de Experimentos
Unidade 0: Projeto de ExperimentosAlexandre Duarte
 
[Lean kanban brazil 2017] Workshop de métricas
[Lean kanban brazil 2017] Workshop de métricas[Lean kanban brazil 2017] Workshop de métricas
[Lean kanban brazil 2017] Workshop de métricasRaphael Donaire Albino
 
[TDC2016] Apache SparkMLlib: Machine Learning na Prática
[TDC2016] Apache SparkMLlib:  Machine Learning na Prática[TDC2016] Apache SparkMLlib:  Machine Learning na Prática
[TDC2016] Apache SparkMLlib: Machine Learning na PráticaEiti Kimura
 
Workshop de métricas Agile Brazil 2017
Workshop de métricas Agile Brazil 2017Workshop de métricas Agile Brazil 2017
Workshop de métricas Agile Brazil 2017Raphael Donaire Albino
 

Similar to Metricas forecasting (20)

Pare de começar e comece a previsibilizar
Pare de começar e comece a previsibilizarPare de começar e comece a previsibilizar
Pare de começar e comece a previsibilizar
 
Metricas lean
Metricas leanMetricas lean
Metricas lean
 
Treinamento MLOps Databricks 2023
Treinamento MLOps Databricks 2023Treinamento MLOps Databricks 2023
Treinamento MLOps Databricks 2023
 
Modelagem Analítica – Queueing Theory (Part I)
Modelagem Analítica – Queueing Theory (Part I)Modelagem Analítica – Queueing Theory (Part I)
Modelagem Analítica – Queueing Theory (Part I)
 
Porque estimar e porque deixar de estimar
Porque estimar e porque deixar de estimarPorque estimar e porque deixar de estimar
Porque estimar e porque deixar de estimar
 
Quando vai ficar pronto? Agile Beer version
Quando vai ficar pronto? Agile Beer versionQuando vai ficar pronto? Agile Beer version
Quando vai ficar pronto? Agile Beer version
 
Gestão ágil: gerar valor partir otimização de fluxo
Gestão ágil: gerar valor partir otimização de fluxoGestão ágil: gerar valor partir otimização de fluxo
Gestão ágil: gerar valor partir otimização de fluxo
 
Aula 7 - MASP - ferramentas da qualidade - 2019-1
Aula 7   - MASP -  ferramentas da qualidade - 2019-1Aula 7   - MASP -  ferramentas da qualidade - 2019-1
Aula 7 - MASP - ferramentas da qualidade - 2019-1
 
Tecnicas de planejamento.ppt
Tecnicas de planejamento.pptTecnicas de planejamento.ppt
Tecnicas de planejamento.ppt
 
Quando ficará pronto?
Quando ficará pronto? Quando ficará pronto?
Quando ficará pronto?
 
Quando ficará pronto? Forecasting com métodos quantitativos
Quando ficará pronto? Forecasting com métodos quantitativosQuando ficará pronto? Forecasting com métodos quantitativos
Quando ficará pronto? Forecasting com métodos quantitativos
 
TDC2018FLN | Trilha Agile - Quando ficará pronto? Usando métodos quantitativo...
TDC2018FLN | Trilha Agile - Quando ficará pronto? Usando métodos quantitativo...TDC2018FLN | Trilha Agile - Quando ficará pronto? Usando métodos quantitativo...
TDC2018FLN | Trilha Agile - Quando ficará pronto? Usando métodos quantitativo...
 
Técnica de Planejamento
Técnica de PlanejamentoTécnica de Planejamento
Técnica de Planejamento
 
Estimativa de Teste sem medo - parte 2
Estimativa de Teste sem medo - parte 2Estimativa de Teste sem medo - parte 2
Estimativa de Teste sem medo - parte 2
 
Unidade 0: Projeto de Experimentos
Unidade 0: Projeto de ExperimentosUnidade 0: Projeto de Experimentos
Unidade 0: Projeto de Experimentos
 
[Lean kanban brazil 2017] Workshop de métricas
[Lean kanban brazil 2017] Workshop de métricas[Lean kanban brazil 2017] Workshop de métricas
[Lean kanban brazil 2017] Workshop de métricas
 
[TDC2016] Apache SparkMLlib: Machine Learning na Prática
[TDC2016] Apache SparkMLlib:  Machine Learning na Prática[TDC2016] Apache SparkMLlib:  Machine Learning na Prática
[TDC2016] Apache SparkMLlib: Machine Learning na Prática
 
Kanban
KanbanKanban
Kanban
 
Curso CEP Operadores
Curso CEP  OperadoresCurso CEP  Operadores
Curso CEP Operadores
 
Workshop de métricas Agile Brazil 2017
Workshop de métricas Agile Brazil 2017Workshop de métricas Agile Brazil 2017
Workshop de métricas Agile Brazil 2017
 

More from Rodrigo Oliveira, Msc, PMP (8)

KANBAN E OS SEGREDOS DA GESTÃO DE SERVIÇOS E MUDANÇAS
KANBAN E OS SEGREDOS DA GESTÃO DE SERVIÇOS E MUDANÇASKANBAN E OS SEGREDOS DA GESTÃO DE SERVIÇOS E MUDANÇAS
KANBAN E OS SEGREDOS DA GESTÃO DE SERVIÇOS E MUDANÇAS
 
Tdc kanban em escala
Tdc kanban em escalaTdc kanban em escala
Tdc kanban em escala
 
A importância dos testes unitários: do código legado ao pipeline de testes em...
A importância dos testes unitários: do código legado ao pipeline de testes em...A importância dos testes unitários: do código legado ao pipeline de testes em...
A importância dos testes unitários: do código legado ao pipeline de testes em...
 
Workshop ietec Devops Testing
Workshop ietec Devops TestingWorkshop ietec Devops Testing
Workshop ietec Devops Testing
 
Bh bpm-simulacao
Bh bpm-simulacaoBh bpm-simulacao
Bh bpm-simulacao
 
Agile testing
Agile testing Agile testing
Agile testing
 
Qualidade de software
Qualidade de softwareQualidade de software
Qualidade de software
 
Lean agile testing
Lean agile testingLean agile testing
Lean agile testing
 

Metricas forecasting

  • 1. Métricas & Forecasting Não perca (seu raro e precioso) tempo fazendo estimativas!
  • 2. Não estime • Ao invés de produzir algo de valor, você está desperdiçando seu tempo • Apesar de tudo, não existe razão ou fato lógico-matemático que nos leve a crer que, se a história A é mais complexa do que a história B então certamente a história A tomará mais tempo para terminar do que a história B. https://rodrigoalmeidadeoliveira.wordpress.com/2018/09/18/estimar-ou-nao-estimar/
  • 3.
  • 4.
  • 5. E não apenas um pouco errado. Muito errado
  • 7. Saiba quantos dados precisamos prever
  • 8. Amostragem Uma maneira de usar os dados que temos para fazer predições e previsões Ela ajuda a descobrir a faixa de valores possíveis de forma rápida e confiável
  • 9. Com que rapidez descobrimos um intervalo de valores por amostragem? Por quê? Qual a velocidade que obtemos a contagem de estórias, o tamanho da história, a velocidade, o rendimento, o tempo de ciclo, e que nos deixa confiantes de estarmos com as estimativas corretas?
  • 10. Menor amostra até agora Máximo atual Minimo atual Maior amostra até agora Q. Em média, qual é a chance da 4ª amostra estar entre a faixa vista após 3 amostras aleatórias? (sem duplicatas, distribuição uniforme)? A. ?1 2 3 4
  • 11. Menor amostra até agora Máximo atual Minimo atual Maior amostra até agora Q. Em média, qual é a chance da 4ª amostra estar entre a faixa vista após 3 amostras aleatórias? (sem duplicatas, distribuição uniforme) A. ?1 2 3 4 25% 25% 25% de chance de ser maior que a anterior mais alta 25% de chance de ser menor que a anterior mais baixa
  • 12. Menor amostra até agora Máximo atual Minimo atual Maior amostra até agora Q. Em média, qual é a chance da 4ª amostra estar entre a faixa vista após 3 amostras aleatórias? (sem duplicatas, distribuição uniforme) A. ?1 2 3 4 25% 25% 25% de chance de ser maior que a anterior mais alta 25% de chance de ser menor que a anterior mais baixa A. 50% % = (n – 1)/(n+1) % = (3-1)/(3+1) % = 2/4 = 1/2 % = 0.5
  • 13. 13 Máximo atual Minimo atual 8,5% de chance de ser maior que a anterior mais alta 8,5% de chance de ser menor que a anterior mais baixa Maior amostra até agora Menor amostra até agora Q. Em média, qual é a chance da 12ª amostra estar entre o intervalo visto após 11 amostras aleatórias? (sem duplicatas, distribuição uniforme) A. 83% % = (n-1)/(n+1) % = (11-1)/(11+1) % = 0.833 1 2 3 4 5 6 7 8 9 10 11 12
  • 14. Intervalos de Previsão • "N" = número de amostras anteriores • % chance da próxima amostra no intervalo anterior para contagem de amostra anterior n (n-1)/(n+1) n (n-1)/(n+1) 2 33% 16 88% 3 50% 17 89% 4 60% 18 89% 5 67% 19 90% 6 71% 20 90% 7 75% 21 91% 8 78% 22 91% 9 80% 23 92% 10 82% 24 92% 11 83% 25 92% 12 85% 26 93% 13 86% 27 93% 14 87% 28 93% 15 88% 29 93% 30 94% 0,0% 20,0% 40,0% 60,0% 80,0% 100,0% 120,0% 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 Limite de amostras (1 - (1 / n – 1)) (n-1)/(n+1)
  • 15. Quanto tempo você leva para chegar ao trabalho de manhã?
  • 19. Métricas nas Práticas Kanban 1.Visualize 2.Limit WIP 3.Gerencie o fluxo 4.Torne as políticas explicitas 5.Implementar loops de feedback 6. Melhorar Colaborativamente, Evoluir Experimentalmente (usando modelos / método científico)
  • 20. Métricas nas Práticas Kanban 1.Visualize 2.Limit WIP 3.Gerencie o fluxo 4.Torne as políticas explicitas 5.Implementar loops de feedback 6. Melhorar Colaborativamente, Evoluir Experimentalmente (usando modelos / método científico)
  • 21. As métricas podem ajudar você a entender melhor sua demanda e capacidade
  • 22.
  • 26. 95º percentil: 104 dias ou menos Powered by
  • 27. Percentis e intervalo de confiança • Faixa de valores possíveis para a magnitude (risco relativo) real do efeito. • Temos X% de chance do intervalo conter o verdadeiro valor da média populacional. • Em vez de estimar o parâmetro por um único valor, é dado um intervalo de estimativas prováveis.
  • 30. 85º dos itens gastam até 62 dias ou menos para serem finalizados Powered by
  • 32.
  • 33. CFD – Cumulative Flow Diagram Meça e Gerencie o Fluxo http://leanguru.pro/the-cumulative-flow-chart-cfd-in-a-nutshell/. Gráfico que exibe o progresso de um processo Nunca decresce Evidencia problemas Ajuda a buscar a estabilidade de fluxo Mostra gargalos Deixa claro onde estamos com sobrecarga de trabalho e onde temos restrições
  • 35. Simulação de Monte Carlo Um primeiro exemplo... Determinando o valor de 𝜋 a partir de simulações estatísticas. –Imagine um alvo (de raio 1) inscrito em um quadro (de lado 2). –A ideia é atirar, aleatoriamente, um grande número de dardos e contabilizar quantos caem dentro do alvo. –O valor de 𝜋 pode ser aproximado pela razão entre as áreas das figuras ou, de forma equivalente, pelo número de dardos que caem em uma ou outra região. –Quanto maior o número de pontos, melhor a aproximação.
  • 36. Simulação de Monte Carlo Integração numérica Determinando o valor de 𝜋 a partir de simulações estatísticas. Na verdade, o método pode ser aplicado para qualquer problema de integração numérica... – Seja 𝐴 a área do retângulo que envolve a região de integração de interesse:
  • 37.
  • 43. Quando este processo é realizado com uma grande massa de dados e por milhares de vezes, os valores obtidos guardam uma estreita semelhança com os valores reais no que se refere a variáveis randômicas. Método de Monte Carlo
  • 44. Teoria das Filas “O número médio de itens de trabalho em um sistema estável é igual à taxa de conclusão média, multiplicada pelo tempo médio no sistema.” John Little, 1961
  • 46. • Wait Time + Touch Time = Lead Time • WIP = Lead Time x Throughput • Lead Time = WIP / Throughput • Throughput = WIP / Lead Time Teoria das Filas
  • 47. Teoria das Restrições A Meta (Eliyahu Goldratt) O processo tem a velocidade do seus gargalos.
  • 48. Teoria das Restrições A Meta (Eliyahu Goldratt)
  • 49. Métricas e Forecasting Lei de Little Teoria das Restrições Método de Monte Carlo
  • 51. Fitness Criteria "Critérios de adequação são métricas que medem o valor do cliente ao selecionar um serviço várias vezes." - Tempo de entrega - Qualidade - Previsibilidade - Segurança (conformidade com requisitos regulamentares) David J. Anderson @lki_djaEu
  • 52. Fique atento: • Nunca use uma média para comunicar uma previsão. • Nunca utilize o resultado mais provável para comunicar uma previsão; o resultado mais provável não é muito provável. Seus dados de tempo de ciclo não são normalmente distribuídos por isso não assuma isso ao fazer previsões. • Estimativa e planejamento geralmente servem para tornar seu processo menos previsível e não mais previsível. • Não há quase nenhuma correlação entre uma estimativa de ponto de história e o tempo decorrido que leva para que um item seja concluído. • Não há necessidade de itens do mesmo tamanho para a previsão. Muito, se não a maioria da imprevisibilidade, em seu processo é devido às políticas frágeis que estão implementadas no seu sistema puxado. • Implementado incorretamente, as políticas de sistema puxado do seu processo serão tão bem-sucedidas quanto o Titanic.
  • 53. Estimativas x Lead Time. É possível ser previsível com o que este gráfico nos mostra?
  • 54. Diversas são as fontes de variabilidade que impactam diretamente nas estimativas criadas. Quantas, além destas, você pode identificar? • WIP alto ou sem limite • Tecnologia / domínio / produto • Composição de time • Usuário, cliente e representante do cliente • Multitarefa / falta de foco • Mercado e concorrentes • Dependências do sistema • Dependências de equipe • Especialização • Aguardando disponibilidade • Retrabalho • Etapas / handoffs (50% * 50% * 50% …) • Estágios no desenvolvimento da equipe (Tuckman) • Política de seleção • Complicação essencial (quão difícil é problema é por si só)
  • 55. O que você pode fazer sobre a variação? • WIP baixo e limitado • ConWIP / WIP Sistema (em todo o sistema, ao invés de ser somente por coluna) • Cinco etapas de foco para eliminar restrições (TOC) • Agrupamento de bloqueadores • Reduza os estágios do fluxo de trabalho • Políticas explícitas • Custo de programação, sequenciamento e seleção de atrasos • Design simples e desacoplado; fatias finas e verticais; emparelhamento • Identifique / faça dependências visíveis / meça • Colaborar / Compartilhar o trabalho (Dimitar Bakardzhiev) • Pico e estabilização (Dan North) • Reduza a complexidade acidental (Liz Keogh)
  • 56. #NoEstimates e o Negócio • Determinar quais ações seriam diferentes com base na estimativa • Critérios de adequação baseados no cliente • Orçamento: taxa de execução da equipe • Concentre a conversação no valor, não no custo • MVP e propriedade do produto • Criar previsão probabilística o mais rápido possível (assim que você tiver dados) – juntos! • Revisões de Serviço-entrega (Cadências do Kanban) • Equipes: Mantenha as equipes juntas, dedicadas (reduz a mudança de contexto, estágios de Tuckman) • Tenha um fluxo unificado. • Liberte-se do time box!!!!
  • 57. Manifesto #NoEstimates … Nós passamos a valorizar: Probabilístico sobre Determinístico Tempo de entrega sobre o tempo de desenvolvimento Escopo do MVP sobre o escopo total Dados sobre intuição sobre Reduzir as fontes de variação ao melhorar as estimativas Ou seja, enquanto houver valor nos itens à direita, valorizamos mais os itens à esquerda. https://www.slideshare.net/AgileEnSeine/the-noestimates-game-by-matthew-philip-thoughtworks
  • 58. Currículo: • Prof. Rodrigo Oliveira • Mais de 20 anos de trabalho em T.I. • Mais de 10 anos de experiência em gestão, em melhoria de processos de desenvolvimento e qualidade de software • Certified Kanban Coach • Approved Kanban Professional • Accredited Training Partner – Lean Kanban • Project Management Professional (PMP) • Mestre em Engenharia e Gestão de Sistemas e Processos, com ênfase em melhoria e otimização de processos de desenvolvimento e qualidade de software utilizando metodologias ágeis • Professor de Pós Graduação e Especialização do IETEC-MG, PUC-MG, UNA e Pitágoras
  • 59. • Contatos: • Email: rodrigoalmeidadeoliveira@gmail.com • Site:https://rodrigoalmeidadeoliveira.wordpress.com/ • LinkedIn: https://www.linkedin.com/in/raoliveira • Slideshare: https://www.slideshare.net/raoliveira
  • 60. Quer saber mais? Ou melhor. Praticar mais!
  • 61. Fundamentals (8hrs) Intermediate (16 hrs) Advanced (16 hrs) Formação Gestão Lean-Kanban (módulos 1 e 2) Kanban (módulo 1)
  • 62. Forecasting + Métricas (8hrs) Lean + Qualidade (8hrs) Formação Gestão Lean-Kanban (módulos 1 e 2) Lean - Métricas (módulo 2)
  • 63. Planilha com métricas e simulação de monte carlo https://goo.gl/dDpUKk 0 32 187 235 182 117 100 62 36 21 11 6 5 2 1 3 0,00% 20,00% 40,00% 60,00% 80,00% 100,00% 120,00% 0 50 100 150 200 250 0 a 1 1 a 2 2 a 3 3 a 4 4 a 5 5 a 6 6 a 7 7 a 8 8 a 9 9 a 10 10 a 11 11 a 12 12 a 13 13 a 14 14 a 15 15 a 16 Histograma de Entregas - Simulação de Monte Carlo Frequências % acumulado
  • 64. REFERÊNCIASGRAEML, Alexandre Reis; PEINADO Jurandir. Administração da produção: operações industriais e de serviços. Curitiba: UnicenP, 2007. DATALYSER. Série – As Sete Ferramentas do Controle da Qualidade – 7FCQ. Disponível em: <http://www.datalyzer.com.br/site/suporte/administrador/info/arquivos/info44/44.html;. Acesso em Novembro de 2018. FARIAS, Ana Maria Lima de; LAURENCEL, L. C. Fundamentos de Estatística Aplicada: Módulo I: Estatística Descritiva. Rio de Janeiro/RJ: Universidade Federal Fluminense, 2000. http://www.prd.usp.br/disciplinas/docs/pro2712-2005-Alberto_Gregorio/1Ferbasq.pdf Statistical Methods for Quality Improvement: AOTS, Japão, 1988. OHNO, T. (1997) - O sistema Toyota de produção além da produção em larga escala. Trad. Cristina Schumacher. Artes Médicas. Porto Alegre. ROTHER, M. & SHOOK, J. (1999) - Aprendendo a enxergar: mapeando o fluxo de valor para agregar valor e eliminar o desperdício. The Lean Institute Brasil. São Paulo. STANDARD, C. & DAVIS, D. (1999) - Running today’s factory: a proven strategy for lean manufacturing. Hanser Gardner Publications. Cincinnati. WARNECKE, H. & HÜSER, M. (1995) - Lean production. International Journal of Production Economics. Vol.41, p.37-43. WOMACK, J.P.; JONES, D.T. & ROOS, D. (1992) - A máquina que mudou o mundo. Campus. Rio de Janeiro. MAGENNIS, Troy. The Economic Impact of Software Development Process Choice--Cycle-Time Analysis and Monte Carlo Simulation Results. In: System Sciences (HICSS), 2015 48th Hawaii International Conference on. IEEE, 2015. p. 5055-5064. Imagem: http://broadleaf.com.au/resource-material/cost-and-schedule-risk-assessment-risk-factor-modelling "Moneyball for Software Projects: Agile Metrics for the Metrically Challenged";Troy Magennis goo.gl/VbAEEZ "High-Level Project Planning using Monte Carlo simulation"; Dimitar Bakardzhiev goo.gl/KkC74b “ #NoEstimates Project Planning using Monte Carlo simulation"; Dimitar Bakardzhiev goo.gl/SDHJYP "Little's law and predictability"; Daniel Vacanti goo.gl/ETDzg9 "Kanban Metrics in practice at Sky Network Services"; Mattia Battiston goo.gl/tQXqwN "By the power of metrics";Wolfgang Wiedenroth goo.gl/ebGU3h "Project planning using Little’s Law"; Dimitar Bakardzhiev goo.gl/rw1X5T Little, J. D. C., S. C. Graves. 2008. Little’s Law. D. Chhajed, T. J. Lowe,eds. Building Intuition: Insights from Basic Operations Management Models and Principles. Springer Science + Business Media LLC,New York. J. D. C. Little. Little's law as viewed on its 50th anniversary. Oper. Res. 59 (2011) 536{539. http://learningagileandlean.wordpress.com/2013/08/01/on-the-practically-useful-properties-of-theweibull- distribution/ DE FREITAS FILHO, Paulo José. Introdução à modelagem e simulação de sistemas: com aplicações em Arena. Visual Books 2ª edição, 2008. https://rodrigoalmeidadeoliveira.wordpress.com/2018/08/01/metricas-lean-e-gerenciamento-de-fluxo/
  • 67. Métricas & Forecasting Não perca (seu raro e precioso) tempo fazendo estimativas!