Презентация подготовлена по материалам выступления Евгения Барановского на витебском Dev Day MiniQ (https://vk.com/devdayminiq), который был проведен 15 сентября 2016.

1. ТЕСТИРУЕМ
ТЕСТЫ
С PIT
15 сентября 2016

2. Кто я?
Евгений Барановский
Я здесь, потому что люблю Java,
качественный код и спокойствие.
Связаться со мной меня можно
через judzin.baranovsky@gmail.com.

3. План выступления
▷Текущие ограничения тестов
▷Мутационное тестирование
▷Мутационное тестирование с PIT
▷Проблемы мутационного
тестирования
▷Будет много кода 

4. РАССМОТРИМ ПРИМЕР
Нет ничего лучше примера

5. public class TimeLine {
private int fetchCount;
public TimeLine(int fetchCount) {
setFetchCount(fetchCount);
}
public void setFetchCount(int fetchCount) {
if (fetchCount <= 0) {
throw new IllegalArgumentException("Count must be > 0");
}
this.fetchCount = fetchCount;
}
public int getFetchCount() {
return fetchCount;
}
// Some service logic, omitted for simplicity......
}

6. public class TimeLineTest {
private TimeLine timeLine;
@BeforeMethod
protected void setUp() {
timeLine = new TimeLine(10);
}
@Test
public void shouldUpdateFetchCount() {
int expected = 5;
timeLine.setFetchCount(expected);
assertEquals(timeLine.getFetchCount(), expected);
}
@Test(expectedExceptions = IllegalArgumentException.class)
public void shouldNotAllowNegativeFetchCount() {
timeLine.setFetchCount(-10);
}
}

8. Что же не так с
традиционным
тестированием?

9. Уберем вызов

10. ▷Успешно прошедшие тесты не
всегда правы.
▷Существует много критериев
покрытия кода.
▷И даже эти критерии могут быть
неточными.
Текущие ограничения

11. Это искусственный баг. Если набор тестов не
в состоянии обнаружить мутацию, то он
рассматривается как недостаточный.
Мутация

12. Мутант – это система с мутациями.
Мутант

13. в 1970х
Причины низкой популярности:
– недостаток технологий и
– недостаток вычислительных мощностей.
Мутационное тестирование
было разработано еще

14. Итак, как работает
мутационное тестирование?
1. Написать тест
2. Выбрать мутации
3. Получить мутантов
4. Прогнать тесты на мутантах
5. Пересмотреть тесты
6. Прогнать тесты снова

15. Итак, как работает
мутационное тестирование?
2. Выбрать мутации
3. Получить мутантов
4. Прогнать тесты на мутантах
5. Пересмотреть тесты
6. Прогнать тесты снова
1. Написать тест

16. 1. Для знакомого класса ...
public class TimeLine {
private int fetchCount;
public TimeLine(int fetchCount) {
setFetchCount(fetchCount);
}
public void setFetchCount(int fetchCount) {
if (fetchCount <= 0) {
throw new IllegalArgumentException("Count must be > 0");
}
this.fetchCount = fetchCount;
}
public int getFetchCount() {
return fetchCount;
}
// Some service logic
}

17. ... напишем такой тест
@BeforeMethod
protected void setUp() {
timeLine = new TimeLine(10);
}
@Test
public void shouldUpdateFetchCount() {
int expected = 5;
timeLine.setFetchCount(expected);
assertEquals(timeLine.getFetchCount(), expected);
}
@Test(expectedExceptions = IllegalArgumentException.class)
public void shouldNotAllowNegativeFetchCount() {
timeLine.setFetchCount(-10);
}

18. Итак, как работает
мутационное тестирование?
1. Написать тест
3. Получить мутантов
4. Прогнать тесты на мутантах
5. Пересмотреть тесты
6. Прогнать тесты снова
2. Выбрать мутации

19. 2. Выбрать мутации для кода
public class TimeLine {
private int fetchCount;
public TimeLine(int fetchCount) {
setFetchCount(fetchCount);
}
public void setFetchCount(int fetchCount) {
if (fetchCount <= 0) {
throw new IllegalArgumentException("Count must be > 0");
}
this.fetchCount = fetchCount;
}
public int getFetchCount() {
return fetchCount;
}
// Some service logic
}
Можно удалить вызов
Можно инвертировать
условие
Можно изменить границу
условия

20. Итак, как работает
мутационное тестирование?
1. Написать тест
2. Выбрать мутации
4. Прогнать тесты на мутантах
5. Пересмотреть тесты
6. Прогнать тесты снова
3. Получить мутантов

21. 3. Получить мутантов системы
public class TimeLine {
private int fetchCount;
public TimeLine(int fetchCount) {
setFetchCount(fetchCount);
}
public void setFetchCount(int fetchCount) {
if (fetchCount <= 0) {
throw new IllegalArgumentException("Count must be > 0");
}
this.fetchCount = fetchCount;
}
public int getFetchCount() {
return fetchCount;
}
// Some service logic
}
public TimeLine(int fetchCount) {
}

22. 3. Получить мутантов системы
public class TimeLine {
private int fetchCount;
public TimeLine(int fetchCount) {
setFetchCount(fetchCount);
}
public void setFetchCount(int fetchCount) {
if (fetchCount <= 0) {
throw new IllegalArgumentException("Count must be > 0");
}
this.fetchCount = fetchCount;
}
public int getFetchCount() {
return fetchCount;
}
// Some service logic
}
if (fetchCount < 0) {
if (fetchCount > 0) {

23. Итак, как работает
мутационное тестирование?
1. Написать тест
2. Выбрать мутации
3. Получить мутантов
5. Пересмотреть тесты
6. Прогнать тесты снова
4. Прогнать тесты на мутантах

24. 4. Прогнать тесты на мутантах
Не покрыто... Как так-то?

25. Итак, как работает
мутационное тестирование?
1. Написать тест
2. Выбрать мутации
3. Получить мутантов
4. Прогнать тесты на мутантах
6. Прогнать тесты снова
5. Пересмотреть тесты

26. 5. Пересмотреть тесты
@BeforeMethod
protected void setUp() {
timeLine = new TimeLine(10);
}
@Test
public void shouldSetTheConstructorFetchValue() {
assertEquals(timeLine.getFetchCount(), 10);
}
@Test
public void shouldUpdateFetchCount() {
int expected = 5;
timeLine.setFetchCount(expected);
assertEquals(timeLine.getFetchCount(), expected);
}
@Test(expectedExceptions = IllegalArgumentException.class)
public void shouldNotAllowNegativeFetchCount() {
timeLine.setFetchCount(-10);
}

27. Итак, как работает
мутационное тестирование?
1. Написать тест
2. Выбрать мутации
3. Получить мутантов
4. Прогнать тесты на мутантах
5. Пересмотреть тесты
6. Прогнать тесты снова

28. 6. Прогнать тесты снова

29. Мутационное тестирование
1. Написать тест
Просто пишем обычные тесты
безо всяких предположений о
том, что будет дальше.
2. Выбрать мутации
Код автоматически
анализируется и к нему
подбираются мутации.
3. Получить мутантов
Звучит зловеще, но это тоже
происходит автоматически.
4. Прогнать тесты на
мутантах
Никаких дополнительных
действий от программиста тут
не требуется – не зря же мы
писали тесты на самом первом
шаге.
5. Пересмотреть тесты
Если мы получили ошибки,
либо имеющиеся тесты, либо
настройки мутаций надо
пересмотреть.
6. Прогнать тесты снова
Запустить мутационное
тестирование снова, но уже с
исправленными
тестами/конфигурацией.

30. ИНСТРУМЕНТЫ
Почему PIT?

31. Jester
Nester
Pester
PIT

32. БАЙТ-КОД
– Работает напрямую с байт-кодом.
ДОКУМЕНТАЦИЯ
– Хорошая документация + открытый код.
– http://www.pitest.org + GitHub
ПРОСТОТА
– Подсчитывает обычное покрытие строк.
– Поддерживает различные оптимизации.
PIT

35. PIT – Пример отчета

36. PIT – Пример отчета

37. PIT – Пример отчета

38. PIT – Пример отчета

39. PIT – Пример отчета

40. ▷Стабильные:
– простые,
– но эффективные.
▷Нестабильные:
– мощные,
– но чреваты ошибками.
PIT – Виды мутаций

41. ▷Изменение граничных условий
PIT – Стабильные мутации
if (a < b) {// if (a <= b)
// do something
}

42. ▷Изменение граничных условий
▷Инверсия условий
PIT – Стабильные мутации
if (a == b) {// if (a != b)
// do something
}

43. ▷Изменение граничных условий
▷Инверсия условий
▷Инверсия операторов
PIT – Стабильные мутации
if (a >>> b) {// if (a << b)
// do something
}

44. ▷Удаление условий
PIT – Нестабильные мутации
if (a == b) {// if (true)
// do something
}

45. ▷Удаление условий
▷Удаление вызова конструктора
PIT – Нестабильные мутации
public int foo() {
// Object o = null;
Object o = new Object();
return o;
}

46. ▷Maven
▷Gradle
▷SonarQube
PIT – Интеграция со сборкой

47. ▷Правильно настраивать плагины
сборки.
▷Избегать сгенерированных
классов (например, JAXB).
▷Избегать конфликтов со
смежными инструментами
(например, Clover, Cobertura).
С PIT нужно:

48. ▷Может занимать много времени
▷Сложней реализовать
▷Трудно применить к тестам
уровнем выше интеграционных
Проблемы мутационного
тестирования

49. Спасибо за внимание!
Вопросы?