SlideShare a Scribd company logo
1 of 8
Как мы улучшили
экспертную оценку
в своих проектах
Алексей Корецкий
BellIntegrator
Проблема с интервальными
экспертными оценками
Мы оцениваем трудозатраты на проект с помощью 90%-го
доверительного интервала
Люди, как правило, оптимисты и склонны излишне сужать
границы интервала (примерно до 30%-го)
Дуглас Хаббард в «Как измерить все, что угодно»
предлагает «калибровать» экспертов, но на это обычно не
хватает времени
Надо было решить проблему сужения без калибровки и
излишних временных затрат
Анализ данных по проектам
Участвовал 21 проект (~1300 интервальных оценок
трудозатрат в часах)
Некоторые результаты:
87% всех оценок – четные
Из них 82% кратны четырем
Из них 69% кратны восьми
Вывод – людям удобно использовать длительность
рабочего дня или кратные ей величины
Нижняя граница интервала
Числа, которые наиболее часто встречаются в качестве нижней
границы интервала оценивания: 1 2 4 8 16 24 32 40 56 80
Верхняя граница интервала
Для каждой часто используемой нижней границы интервала чаще всего
встречается 3 наиболее часто используемых верхних границы
Наиболее часто используемые
интервальные оценки
Идея – ограничить выбор интервальных оценок только типичными значениями
Интервал оценивания Верхняя граница (уровень сложности/риска) (Man-hours)
Нижняя
Граница (Man-hours)
Низкий
№1
Средний
№2
Высокий
№3
1 2 3 4
2 4 6 8
4 8 12 16
8 12 16 24
16 24 32 40
24 32 40 48
32 40 48 64
40 48 64 80
56 72 96 120
80 120 140 160
Что мы получили в результате:
Уменьшили возможности для сужения границ интервала оценки
Числа эмпирически подобраны таким образом, что с ростом значения
нижней границы интервала растет и ширина интервала оценивания,
отражая соответствующее возрастание неопределенности. Люди не
всегда учитывают это в своих оценках
Ускорили и упростили процесс оценивания
Эксперты учатся мыслить в терминах неопределенности и риска,
понимая, каким образом уровень неопределенности может повлиять на
оценку
Ограничение нижней границы интервала сверху в 80 часов
позволяет избежать оценок со слишком высокой неопределенностью
Дальнейшее развитие метода
Известно, что для получения лучшей оценки важно
включить критическое мышление, выйти из зоны комфорта
(см. Даниэль Канеман «Думай медленно… Решай быстро»
Этому может способствовать использование «неудобных»
чисел. Например, последовательности Фибоначчи (1, 2, 3,
5, 8, 13, 21, 34, 55, 89, ..), как в Planning Poker
Новости об использовании и развитии метода см. в моем
блоге: http://www.luxoft-training.ru/blog/software_estimation/

More Related Content

Similar to корецкий как мы улучшили экспертную оценку проектов

Применение инструментов бережливого производства на практике
Применение инструментов бережливого производства на практикеПрименение инструментов бережливого производства на практике
Применение инструментов бережливого производства на практикеRoman Bunin
 
Честное перформанс-тестирование / Дмитрий Пивоваров (ZeroTurnaround)
Честное перформанс-тестирование / Дмитрий Пивоваров (ZeroTurnaround)Честное перформанс-тестирование / Дмитрий Пивоваров (ZeroTurnaround)
Честное перформанс-тестирование / Дмитрий Пивоваров (ZeroTurnaround)Ontico
 
Cl shg 2016 разбор решений-бизнес секция-v2
Cl shg 2016 разбор решений-бизнес секция-v2Cl shg 2016 разбор решений-бизнес секция-v2
Cl shg 2016 разбор решений-бизнес секция-v2Changellenge >> Capital
 
Project management. Intro
Project management. IntroProject management. Intro
Project management. IntroAlexey Chernyak
 
Нейробиология, тойота ката, управления очередями - как это использовать в упр...
Нейробиология, тойота ката, управления очередями - как это использовать в упр...Нейробиология, тойота ката, управления очередями - как это использовать в упр...
Нейробиология, тойота ката, управления очередями - как это использовать в упр...Alexander Abolmasov
 
Томас Дэвенпорт и Ким Джин Хо "О чем говорят цифры"
Томас Дэвенпорт и Ким Джин Хо "О чем говорят цифры"Томас Дэвенпорт и Ким Джин Хо "О чем говорят цифры"
Томас Дэвенпорт и Ким Джин Хо "О чем говорят цифры"Vladimir Leonenko
 
Олексій Брошков "Мистецтво Дослідницького Тестування"
Олексій Брошков "Мистецтво Дослідницького Тестування"Олексій Брошков "Мистецтво Дослідницького Тестування"
Олексій Брошков "Мистецтво Дослідницького Тестування"Dakiry
 
SQA Days 9. Налютин Никита, Антон Александров. Управление рисками тестирования
SQA Days 9. Налютин Никита, Антон Александров. Управление рисками тестированияSQA Days 9. Налютин Никита, Антон Александров. Управление рисками тестирования
SQA Days 9. Налютин Никита, Антон Александров. Управление рисками тестированияNikita Nalyutin
 
Никита Налютин, Антон Александров - Управление рисками тестирования
Никита Налютин, Антон Александров - Управление рисками тестированияНикита Налютин, Антон Александров - Управление рисками тестирования
Никита Налютин, Антон Александров - Управление рисками тестированияSQALab
 
Решение проблем с помощью RCA. Методики и инструменты.
Решение проблем с помощью RCA. Методики и инструменты.Решение проблем с помощью RCA. Методики и инструменты.
Решение проблем с помощью RCA. Методики и инструменты.Alexey Evmenkov
 
Управление рисками
Управление рискамиУправление рисками
Управление рискамиCKPPK
 
Hansa Методология внедрения
Hansa Методология внедренияHansa Методология внедрения
Hansa Методология внедренияVladimir Ivanov
 

Similar to корецкий как мы улучшили экспертную оценку проектов (20)

Применение инструментов бережливого производства на практике
Применение инструментов бережливого производства на практикеПрименение инструментов бережливого производства на практике
Применение инструментов бережливого производства на практике
 
Честное перформанс-тестирование / Дмитрий Пивоваров (ZeroTurnaround)
Честное перформанс-тестирование / Дмитрий Пивоваров (ZeroTurnaround)Честное перформанс-тестирование / Дмитрий Пивоваров (ZeroTurnaround)
Честное перформанс-тестирование / Дмитрий Пивоваров (ZeroTurnaround)
 
Cl shg 2016 разбор решений-бизнес секция-v2
Cl shg 2016 разбор решений-бизнес секция-v2Cl shg 2016 разбор решений-бизнес секция-v2
Cl shg 2016 разбор решений-бизнес секция-v2
 
Project management. Intro
Project management. IntroProject management. Intro
Project management. Intro
 
Why PROSTO?
Why PROSTO?Why PROSTO?
Why PROSTO?
 
Cl mt code-feedback-senior
Cl mt code-feedback-seniorCl mt code-feedback-senior
Cl mt code-feedback-senior
 
Lean in Offshore
Lean in OffshoreLean in Offshore
Lean in Offshore
 
CCPM Vebinar 21 01 2010
CCPM Vebinar 21 01 2010CCPM Vebinar 21 01 2010
CCPM Vebinar 21 01 2010
 
Cl mt guide_semifinal_v2
Cl mt guide_semifinal_v2Cl mt guide_semifinal_v2
Cl mt guide_semifinal_v2
 
Михаил Корнеев: азы CustDev и трекшн-карты
Михаил Корнеев: азы CustDev и трекшн-картыМихаил Корнеев: азы CustDev и трекшн-карты
Михаил Корнеев: азы CustDev и трекшн-карты
 
Нейробиология, тойота ката, управления очередями - как это использовать в упр...
Нейробиология, тойота ката, управления очередями - как это использовать в упр...Нейробиология, тойота ката, управления очередями - как это использовать в упр...
Нейробиология, тойота ката, управления очередями - как это использовать в упр...
 
Cl modern trade junior
Cl modern trade juniorCl modern trade junior
Cl modern trade junior
 
Томас Дэвенпорт и Ким Джин Хо "О чем говорят цифры"
Томас Дэвенпорт и Ким Джин Хо "О чем говорят цифры"Томас Дэвенпорт и Ким Джин Хо "О чем говорят цифры"
Томас Дэвенпорт и Ким Джин Хо "О чем говорят цифры"
 
Олексій Брошков "Мистецтво Дослідницького Тестування"
Олексій Брошков "Мистецтво Дослідницького Тестування"Олексій Брошков "Мистецтво Дослідницького Тестування"
Олексій Брошков "Мистецтво Дослідницького Тестування"
 
SQA Days 9. Налютин Никита, Антон Александров. Управление рисками тестирования
SQA Days 9. Налютин Никита, Антон Александров. Управление рисками тестированияSQA Days 9. Налютин Никита, Антон Александров. Управление рисками тестирования
SQA Days 9. Налютин Никита, Антон Александров. Управление рисками тестирования
 
Никита Налютин, Антон Александров - Управление рисками тестирования
Никита Налютин, Антон Александров - Управление рисками тестированияНикита Налютин, Антон Александров - Управление рисками тестирования
Никита Налютин, Антон Александров - Управление рисками тестирования
 
Решение проблем с помощью RCA. Методики и инструменты.
Решение проблем с помощью RCA. Методики и инструменты.Решение проблем с помощью RCA. Методики и инструменты.
Решение проблем с помощью RCA. Методики и инструменты.
 
Управление рисками
Управление рискамиУправление рисками
Управление рисками
 
Cl cup technical engineering-corrected
Cl cup technical engineering-correctedCl cup technical engineering-corrected
Cl cup technical engineering-corrected
 
Hansa Методология внедрения
Hansa Методология внедренияHansa Методология внедрения
Hansa Методология внедрения
 

More from Magneta AI

From outsource to productsource!
From outsource to productsource!From outsource to productsource!
From outsource to productsource!Magneta AI
 
BDD test structure
BDD test structureBDD test structure
BDD test structureMagneta AI
 
AgileCamp15. Процессный трек
AgileCamp15. Процессный трекAgileCamp15. Процессный трек
AgileCamp15. Процессный трекMagneta AI
 
Как создать концепцию продукта в виде Lean Canvas
Как создать концепцию продукта в виде Lean CanvasКак создать концепцию продукта в виде Lean Canvas
Как создать концепцию продукта в виде Lean CanvasMagneta AI
 
Эффективные ретроспективы
Эффективные ретроспективыЭффективные ретроспективы
Эффективные ретроспективыMagneta AI
 
зотин Scrum, kanban, что дальше. история nokia
зотин   Scrum, kanban, что дальше. история nokiaзотин   Scrum, kanban, что дальше. история nokia
зотин Scrum, kanban, что дальше. история nokiaMagneta AI
 
абраменко как сделать нужный людям продукт
абраменко   как сделать нужный людям продуктабраменко   как сделать нужный людям продукт
абраменко как сделать нужный людям продуктMagneta AI
 
павлов все, что вы хотели знать о юнит тестах, но боялись спросить
павлов   все, что вы хотели знать о юнит тестах, но боялись спроситьпавлов   все, что вы хотели знать о юнит тестах, но боялись спросить
павлов все, что вы хотели знать о юнит тестах, но боялись спроситьMagneta AI
 
тучин как внедрить Agile, чтобы никто не заметил
тучин   как внедрить Agile, чтобы никто не заметилтучин   как внедрить Agile, чтобы никто не заметил
тучин как внедрить Agile, чтобы никто не заметилMagneta AI
 
ткаченко качество без этапа тестирования
ткаченко   качество без этапа тестированияткаченко   качество без этапа тестирования
ткаченко качество без этапа тестированияMagneta AI
 
сенькова разное ретро для разных команд (как провести ретро для новичков, с...
сенькова   разное ретро для разных команд (как провести ретро для новичков, с...сенькова   разное ретро для разных команд (как провести ретро для новичков, с...
сенькова разное ретро для разных команд (как провести ретро для новичков, с...Magneta AI
 
мациевский путь самурая. уволить нельзя оставить
мациевский   путь самурая. уволить нельзя оставитьмациевский   путь самурая. уволить нельзя оставить
мациевский путь самурая. уволить нельзя оставитьMagneta AI
 
лустин статические анализаторы систем 1с ad2015
лустин   статические анализаторы систем 1с ad2015лустин   статические анализаторы систем 1с ad2015
лустин статические анализаторы систем 1с ad2015Magneta AI
 
лосев контрольные карты шухарта в анализе деятельности Scrum команд
лосев   контрольные карты шухарта в анализе деятельности Scrum командлосев   контрольные карты шухарта в анализе деятельности Scrum команд
лосев контрольные карты шухарта в анализе деятельности Scrum командMagneta AI
 
зиновьева повышение эффективности команды. ретроспектива как инструмент
зиновьева   повышение эффективности команды. ретроспектива как инструментзиновьева   повышение эффективности команды. ретроспектива как инструмент
зиновьева повышение эффективности команды. ретроспектива как инструментMagneta AI
 
виноградова внедрение изменений без длинных документов, долгих согласований...
виноградова   внедрение изменений без длинных документов, долгих согласований...виноградова   внедрение изменений без длинных документов, долгих согласований...
виноградова внедрение изменений без длинных документов, долгих согласований...Magneta AI
 
верещак. построение культуры Dev ops. v0.5 copy
верещак. построение  культуры Dev ops. v0.5 copyверещак. построение  культуры Dev ops. v0.5 copy
верещак. построение культуры Dev ops. v0.5 copyMagneta AI
 
бородин об эмпирической разработке
бородин   об эмпирической разработкебородин   об эмпирической разработке
бородин об эмпирической разработкеMagneta AI
 
богуславский Agile days непрерывное качество в непрерывной разработке
богуславский   Agile days непрерывное качество в непрерывной разработкебогуславский   Agile days непрерывное качество в непрерывной разработке
богуславский Agile days непрерывное качество в непрерывной разработкеMagneta AI
 
атлыгина чеклисты для всех-всех-всех
атлыгина   чеклисты для всех-всех-всехатлыгина   чеклисты для всех-всех-всех
атлыгина чеклисты для всех-всех-всехMagneta AI
 

More from Magneta AI (20)

From outsource to productsource!
From outsource to productsource!From outsource to productsource!
From outsource to productsource!
 
BDD test structure
BDD test structureBDD test structure
BDD test structure
 
AgileCamp15. Процессный трек
AgileCamp15. Процессный трекAgileCamp15. Процессный трек
AgileCamp15. Процессный трек
 
Как создать концепцию продукта в виде Lean Canvas
Как создать концепцию продукта в виде Lean CanvasКак создать концепцию продукта в виде Lean Canvas
Как создать концепцию продукта в виде Lean Canvas
 
Эффективные ретроспективы
Эффективные ретроспективыЭффективные ретроспективы
Эффективные ретроспективы
 
зотин Scrum, kanban, что дальше. история nokia
зотин   Scrum, kanban, что дальше. история nokiaзотин   Scrum, kanban, что дальше. история nokia
зотин Scrum, kanban, что дальше. история nokia
 
абраменко как сделать нужный людям продукт
абраменко   как сделать нужный людям продуктабраменко   как сделать нужный людям продукт
абраменко как сделать нужный людям продукт
 
павлов все, что вы хотели знать о юнит тестах, но боялись спросить
павлов   все, что вы хотели знать о юнит тестах, но боялись спроситьпавлов   все, что вы хотели знать о юнит тестах, но боялись спросить
павлов все, что вы хотели знать о юнит тестах, но боялись спросить
 
тучин как внедрить Agile, чтобы никто не заметил
тучин   как внедрить Agile, чтобы никто не заметилтучин   как внедрить Agile, чтобы никто не заметил
тучин как внедрить Agile, чтобы никто не заметил
 
ткаченко качество без этапа тестирования
ткаченко   качество без этапа тестированияткаченко   качество без этапа тестирования
ткаченко качество без этапа тестирования
 
сенькова разное ретро для разных команд (как провести ретро для новичков, с...
сенькова   разное ретро для разных команд (как провести ретро для новичков, с...сенькова   разное ретро для разных команд (как провести ретро для новичков, с...
сенькова разное ретро для разных команд (как провести ретро для новичков, с...
 
мациевский путь самурая. уволить нельзя оставить
мациевский   путь самурая. уволить нельзя оставитьмациевский   путь самурая. уволить нельзя оставить
мациевский путь самурая. уволить нельзя оставить
 
лустин статические анализаторы систем 1с ad2015
лустин   статические анализаторы систем 1с ad2015лустин   статические анализаторы систем 1с ad2015
лустин статические анализаторы систем 1с ad2015
 
лосев контрольные карты шухарта в анализе деятельности Scrum команд
лосев   контрольные карты шухарта в анализе деятельности Scrum командлосев   контрольные карты шухарта в анализе деятельности Scrum команд
лосев контрольные карты шухарта в анализе деятельности Scrum команд
 
зиновьева повышение эффективности команды. ретроспектива как инструмент
зиновьева   повышение эффективности команды. ретроспектива как инструментзиновьева   повышение эффективности команды. ретроспектива как инструмент
зиновьева повышение эффективности команды. ретроспектива как инструмент
 
виноградова внедрение изменений без длинных документов, долгих согласований...
виноградова   внедрение изменений без длинных документов, долгих согласований...виноградова   внедрение изменений без длинных документов, долгих согласований...
виноградова внедрение изменений без длинных документов, долгих согласований...
 
верещак. построение культуры Dev ops. v0.5 copy
верещак. построение  культуры Dev ops. v0.5 copyверещак. построение  культуры Dev ops. v0.5 copy
верещак. построение культуры Dev ops. v0.5 copy
 
бородин об эмпирической разработке
бородин   об эмпирической разработкебородин   об эмпирической разработке
бородин об эмпирической разработке
 
богуславский Agile days непрерывное качество в непрерывной разработке
богуславский   Agile days непрерывное качество в непрерывной разработкебогуславский   Agile days непрерывное качество в непрерывной разработке
богуславский Agile days непрерывное качество в непрерывной разработке
 
атлыгина чеклисты для всех-всех-всех
атлыгина   чеклисты для всех-всех-всехатлыгина   чеклисты для всех-всех-всех
атлыгина чеклисты для всех-всех-всех
 

корецкий как мы улучшили экспертную оценку проектов

  • 1. Как мы улучшили экспертную оценку в своих проектах Алексей Корецкий BellIntegrator
  • 2. Проблема с интервальными экспертными оценками Мы оцениваем трудозатраты на проект с помощью 90%-го доверительного интервала Люди, как правило, оптимисты и склонны излишне сужать границы интервала (примерно до 30%-го) Дуглас Хаббард в «Как измерить все, что угодно» предлагает «калибровать» экспертов, но на это обычно не хватает времени Надо было решить проблему сужения без калибровки и излишних временных затрат
  • 3. Анализ данных по проектам Участвовал 21 проект (~1300 интервальных оценок трудозатрат в часах) Некоторые результаты: 87% всех оценок – четные Из них 82% кратны четырем Из них 69% кратны восьми Вывод – людям удобно использовать длительность рабочего дня или кратные ей величины
  • 4. Нижняя граница интервала Числа, которые наиболее часто встречаются в качестве нижней границы интервала оценивания: 1 2 4 8 16 24 32 40 56 80
  • 5. Верхняя граница интервала Для каждой часто используемой нижней границы интервала чаще всего встречается 3 наиболее часто используемых верхних границы
  • 6. Наиболее часто используемые интервальные оценки Идея – ограничить выбор интервальных оценок только типичными значениями Интервал оценивания Верхняя граница (уровень сложности/риска) (Man-hours) Нижняя Граница (Man-hours) Низкий №1 Средний №2 Высокий №3 1 2 3 4 2 4 6 8 4 8 12 16 8 12 16 24 16 24 32 40 24 32 40 48 32 40 48 64 40 48 64 80 56 72 96 120 80 120 140 160
  • 7. Что мы получили в результате: Уменьшили возможности для сужения границ интервала оценки Числа эмпирически подобраны таким образом, что с ростом значения нижней границы интервала растет и ширина интервала оценивания, отражая соответствующее возрастание неопределенности. Люди не всегда учитывают это в своих оценках Ускорили и упростили процесс оценивания Эксперты учатся мыслить в терминах неопределенности и риска, понимая, каким образом уровень неопределенности может повлиять на оценку Ограничение нижней границы интервала сверху в 80 часов позволяет избежать оценок со слишком высокой неопределенностью
  • 8. Дальнейшее развитие метода Известно, что для получения лучшей оценки важно включить критическое мышление, выйти из зоны комфорта (см. Даниэль Канеман «Думай медленно… Решай быстро» Этому может способствовать использование «неудобных» чисел. Например, последовательности Фибоначчи (1, 2, 3, 5, 8, 13, 21, 34, 55, 89, ..), как в Planning Poker Новости об использовании и развитии метода см. в моем блоге: http://www.luxoft-training.ru/blog/software_estimation/