Оценка качества автотестов

Алексей Баранцев Software-Testing.Ru Selenium2.Ru facebook.com/groups/selenium.ru/ barancev@gmail.com skype:barancev
Характеристики
качества
автотестов
© 2015 Алексей Баранцев
Software-Testing.Ru

Кто здесь?
Алексей Баранцев
Software-Testing.Ru
barancev@gmail.com
http://software-testing.ru/
http://selenium2.ru/

Как оценить качество?

Серия стандаров 250NN

Серия стандартов 25000
• ГОСТ Р ИСО/МЭК 25010
– модель качества продукта
– модель качества
при использовании
• ГОСТ Р ИСО/МЭК 25012
– модель качества данных

Цели моделей качества

ГОСТ Р ИСО/МЭК 25010

Функциональная пригодность
• Функциональная
полнота
корректность
целесообразность

Целесообразность

Пример №1
@Rule
public TemporaryFolder tempDir = new TemporaryFolder();
@Test
public void canCreateFileWithValidName() throws IOException {
String validName = "test.txt";
File f = new File(tempDir.getRoot(), validName);
f.createNewFile();
}

Пример №2
@Rule
@Test
Assert.assertTrue(f.createNewFile());
}

Пример №3
@Rule
@Test
assertTrue(f.createNewFile());
assertTrue(f.exists());
}

Пример №4
@Rule
@Test
assertTrue(f.exists());
assertEquals(1, tempDir.getRoot().listFiles().length);
}

Уровень производительности
• Временные характеристики
• Использование ресурсов
• Потенциальные возможности

Параллельность

Шаблон проектирования «Сон»
http://www.slideshare.net/orgeirIngvarsson/ui-automation-patterns-sleep

Та самая пирамида

Совместимость
• Сосуществование
• Интероперабельность

Изоляция тестов
@ClassRule
public static TemporaryFolder tempDir = new TemporaryFolder();
@Test
public void canCreateFileWithValidName1() throws IOException {
}
@Test
public void canCreateFileWithValidName2() throws IOException {
}

Oops… 

Failed to start up socket within 45000 ms
OpenQA.Selenium.WebDriverException: Failed to start up socket within 45000 ms
Result StackTrace:
at OpenQA.Selenium.Firefox.Internal.ExtensionConnection.ConnectToBrowser(TimeSpan timeToWait)
at OpenQA.Selenium.Firefox.Internal.ExtensionConnection.Start()
at OpenQA.Selenium.Firefox.FirefoxDriver.StartClient()
at OpenQA.Selenium.Remote.RemoteWebDriver..ctor(ICommandExecutor commandExecutor,
ICapabilities desiredCapabilities)
at OpenQA.Selenium.Firefox.FirefoxDriver..ctor(FirefoxBinary binary, FirefoxProfile profile)
at OpenQA.Selenium.Firefox.FirefoxDriver..ctor()

Взаимодействие с баг-трекером
@Test
@Bug(12345)
public void testSomething() {
Assert.assertTrue(someOperationWithBug());
}

TestNG и MantisBT
public class AssumeBugIsFixed implements IAnnotationTransformer {
public void transform(ITestAnnotation annotation, Class testClass,
Constructor testConstructor, Method testMethod) {
Bug bugAnnotation = testMethod.getAnnotation(Bug.class);
if (bugAnnotation != null) {
try {
MantisConnectLocator mcl = new MantisConnectLocator();
MantisConnectPortType mcp = mcl.getMantisConnectPort(
new URL("http://localhost/mantisbt-1.2.17/api/soap/mantisconnect.php"));
IssueData issue = mcp.mc_issue_get("administrator", "root",
BigInteger.valueOf(bugAnnotation.value()));
String status = issue.getStatus().getName();
if (! ("closed".equals(status) || "resolved".equals(status))) {
annotation.setEnabled(false);
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
}

Удобство использования
• Определимость пригодности
• Изучаемость
• Управляемость
• Защищенность от ошибки пользователя
• Эстетика пользовательского интерфейса
• Доступность

Пользовательский интерфейс

Доступность

Тоже доступность

Надёжность
• Завершённость
• Готовность
• Отказоустойчивость
• Восстанавливаемость

Позаботься о себе сам
def test_delete_some_group(app, db):
if len(db.get_group_list()) == 0:
app.group.create(Group(name="test"))
group = random.choice(db.get_group_list())
app.group.delete_group_by_id(group.id)

Эффект домино

Защищённость
• Конфиденциальность
• Целостность
• Неподдельность
• Отслеживаемость
• Подлинность

Переносимость
• Адаптируемость
• Устанавливаемость
• Взаимозаменяемость

Пример №6
@Rule
public TemporaryFolder tempDir
= new TemporaryFolder(new File("C:/temp"));
@Test
}

Пример №7
@Test
public void deleteGroup() {
driver.get(baseUrl + "/addressbook/group.php");
driver.findElement(
By.xpath("//input[@value='42']")).click();
driver.findElement(By.name("delete")).click();
}

Сопровождаемость
• Модульность
• Возможность
многократного использования
• Анализируемость
• Модифицируемость
• Тестируемость

Читайте хорошие книжки

Удачной автоматизации!
Алексей Баранцев
Software-Testing.Ru
barancev@gmail.com
http://software-testing.ru/
http://selenium2.ru/

Оценка качества автотестов

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Оценка качества автотестов

Similar to Оценка качества автотестов (20)

More from SQALab

More from SQALab (20)

Оценка качества автотестов