Доклад Сергея Никонюка, SQA Days-13, 26-27 апреля 2013, www.sqadays.com

1. www.avast.comwww.avast.com
Использование Open Source
инструментов для
автоматизации тестирования
Сергей Никонюк
3 февраля 2013 г.

2. О докладчике
Сергей Никонюк
QA Engineer в
компании AVAST Software
Прага, Чехия
nikonuk@avast.com
2

3. Содержание доклада
1. Постановка задачи
2. Jenkins - сервер автоматизации процесса тестирования
3. Sikuli – автоматизация с помощью изображений
4. Robot Framework – инструмент для автоматизации
тестирования ПО
5. Staf – мультиплатформенное решения для соединения
с удаленными машинами
6. Демонстрaция примера
7. Вопросы
3

4. Постановка задачи
AVAST антивирус
Сборка инсталлятора
(setup.exe)
Сценарии тестов
и вспомогательные файлы
Результаты
Автоматизация
• передача файлов
• выполнения тестов
• оценка результатов
4

5. РАЗРАБОТЧИКИ
ТЕСТИРОВЩИКИ
build (setup.exe)
сборка
файлы
сценарии тестов
былд
отчет
5
• трансфер файлов
• выполнение тестов
• оценка результатов
Приемочное тестирование
Составляющие фреймворка

6. Jenkins – сервер автоматизации
Особенности
• open source
• простая инсталляция и конфигурация
• мультиплатформенность (Java)
• планирование периодичности выполнения задач
используя механизм подобный cron
• поддерживает работу с системами контроля версий
(CVS, Subversion, Mercurial, Git, Clearcase)
• визуализация результатов теста
• исполняет shell-скрипты и команды Windows
6

7. 7
Jenkins – результаты теста

8. Особенности
• open source
• мультиплатформенность (Windows, Mac OS X
и Linux)
• собственная IDE
• написание скриптов в Jython (Python)
• широкие возможности API (запуск аппликаций
и контроль над ними, действия
мыши, клавиш, исключения)
• окружение – Java 6 + Jython 2.5
8
SIKULI (www.sikuli.org)

9. SIKULI
• + Независимость на платформе (Java)
• + Независимость от тестируемой технологии
• + Высокая надежность
• + Простота создания сценариев
• – Зависимость от разрешения экрана
• – Высокая чувствительность к измненениям GUI
• – Низкая способность распознавания текста
9

10. Robot Framework
(code.google.com/p/robotframework/)
Особенности
Поддерживаемые библиотеки
• внутренняя (OperatingSystem, Screenshot, Telnet,
Collections, String, Dialogs, Remote, XML)
• вннешние (SeleniumLibrary, watir-robot, Watir,
WatinLibrary, SwingLibrary, EclipseLibrary, AutoItLibrary,
DatabaseLibrary, SSHLibrary, HTTP test library)
• open source
• мультиплатформенность
• поддержка библиотек в Python (Jython,
IronPython) и Java
• standalone JAR дистрибуция с Jython
• поддержка языка C (Python C API)
10

11. STAF (staf.sourceforge.net)
Особенности
• open source
• мультиплатформенность
• peer-to-peer среда
• поддержка политики безопасности
• внутренне сервисы-команды
(пересылка файлов, управлние
процессами ...)
• поддержка внешних сервисов (Java
jar, C ++ dll)
• возможность управления как
локальной машиной так и удаленной
• конфигурационный файл STAF.cfg
11
STAF клиент STAF клиент
peer-to-peer

12. STAF – сервисы
12
• Внутренние сервисы
Вызываемые из процесса STAFProc
• Внешние сервисы
Подлючаемые из Java jar или C++ dll файлов
• Пользовательские сервисы

13. STAF – внутренние сервисы
13
• DIAG Provides diagnostics services Internal ("DIAG")
• DELAY Provides a means to sleep a specified amount of time Internal ("DELAY")
• ECHO Echos back a supplied message Internal ("ECHO")
• FILE SYSTEM Allows you to get and copy files across the network Internal ("FS")
• HANDLE Provides information about existing STAF handles Internal ("HANDLE")
• HELP Provides Help on STAF error codes Internal ("HELP")
• MISC Handles miscellaneous commands such as displaying the version of STAF
• that is currently running Internal ("MISC")
• PING Provides a simple is-alive message Internal ("PING")
• PROCESS Allows you to start, stop, and query processes Internal ("PROCESS")
• QUEUE Provides a network-enabled IPC mechanism for STAF Programs Internal
("QUEUE")
• SEMAPHORE Provides network-enabled named event and mutex semaphores Internal
("SEM")
• SERVICE Allows you to list services available on a machine and to examine the
• Requests that have been submitted on a machineInternal ("SERVICE")
• SHUTDOWN Provides a means to shutdown STAF and register for shutdown
• Notifications Internal ("SHUTDOWN")
• TRACE Provides tracing information for STAF services Internal ("TRACE")
• TRUST Interfaces with STAF's security Internal ("TRUST")
• VARIABLE Provides a method for maintaining configuration and runtime data
• (variables) Internal ("VAR")

14. STAF – внешние сервисы
14
• CRON Calls into STAF services at a specified time interval External (Java)
• EMAIL Allows you to send email messages External (Java)
• EVENT Provides a publish/subscribe notification system External (Java)
• EVENTMANAGER Allows you to call STAF services when a specified Event
occurs External (Java)
• HTTP Allows you to make HTTP requests which can be grouped together in a
session External (Java)
• LOG Provides a full-featured logging facility External (C++)
• MONITOR Allows a testcase to publish its current running execution status for
others to read External (C++)
• RESOURCE POOL Allows you to manage exclusive access to pools of
elements, e.g. VM UserIDs or Software Licenses External (C++)
• STAX Provides an XML-based execution engine External (Java)
• ZIP Provides a means to zip/unzip/list/delete PKZip/WinZip compatible
archives External (C++)

15. STAF – политика безопасности
15
• Политика безопасности в STAF определена уровнем
доверия машин machine level и/или пользователей
user level
• Уровень trust level равный 0 – нет доступа
• Уровень trust level равный 1 – только PING и HELP
• Уровень trust level равный 2 – только query/view
• Уровень trust level равный 3 – доступ к протоколам ...
• Уровень trust level равный 4 – копирование файлов ... удаление логов
• Уровень trust level равный 5 – доступ без ограничений
• По умолчанию машинам присваивается default trust
level
• Каждый STAF сервис определен минимальным
необходимым уровнем доверия

16. STAF – STAF.cfg
16
# Turn on tracing of internal errors and deprecated options
trace enable tracepoints "error deprecated"
# Enable TCP/IP connections
interface ssl library STAFTCP option Secure=Yes option Port=6550
interface tcp library STAFTCP option Secure=No option Port=6500
# Set default local trust
trust machine local://local level 5
trust machine tcp://10.0.2.2 level 5
trust default level 1
# Add default service loader
serviceloader library STAFDSLS

17. robotframework-2.7.jarsikuli-script.jar
run_free_instup_win_xp.bat
@echo off
set sikuli_jar=C:Program FilesSikuli Xsikuli-script.jar
java -cp "robotframework-2.7.jar;%sikuli_jar%" ^
-Dpython.path="%sikuli_jar%/Lib" ^
org.robotframework.RobotFramework ^
--pythonpath=SetupLib ^
--outputdir=results ^
--xunitfile=unit_out.xml ^
--loglevel=TRACE ^
robot_suitefree_instup_win_xp.txt
%*
17
Пример 1

18. 18
Пример 2 TEST CASE

19. *** Settings ***
Library av7set.Av7setup
*** Variables ***
${SETUP_FREE_PATH} C:tmpavast_setup
${SETUP_FREE_EXE} avast_free_antivirus_setup.exe
*** Test Cases ***
Free Express Install Windows XP
Minimize All Win
Run App ${SETUP_FREE_PATH}${SETUP_FREE_EXE}
Wait Image screen set_1 0 0 60
Action Object Click screen ins_button 0 0
Action Object Click screen cross 0 0
Action Object Click screen yes_button 0 0
Action Object Click screen finish_button 0 0
free_instup_win_xp.txt19
Пример 3

20. from sikuli.Sikuli import *
import platform
import datetime
import subprocess
import time
import shutil
#add custom image library
addImagePath("images")
…
av7set.py
20
Пример 4

21. …
class Av7setup(object):
def runApp(self, appExe):
apprun = str(appExe)
responseCode = subprocess.Popen(apprun)
return responseCode
def minimizeAllWin(self):
type("d", KeyModifier.WIN)
def waitImage(self, reg, imgName, off_x, off_y, tm):
sim = 0.95
patt = Pattern(imgName + ".png").similar(sim).targetOffset(int(off_x),int(off_y))
t = int(tm)
while t > 0:
mm = exists(patt)
if mm != None:
return mm
else:
sleep(5)
t = t – 5
return Pattern(None)
def actionObjectClick(self, reg, objName, off_x, off_y):
m = self.waitImage(reg, objName, off_x, off_y, 20)
click(m)
av7set.py
21
Пример 5

22. 22
Пример 6

23. «Local»
IP: 127.0.0.1
PORT: 14816
IP: 127.0.0.1
PORT: 6500
C:test
23
DEV_NIK_WIN_XP
staf 127.0.0.1@6500 PROCESS start command "VBoxManage startvm
DEV_NIK_WIN_XP“
staf 127.0.0.1@14816 PING ping
staf local FS copy directory test todirectory tmp tomachine 127.0.0.1@14816
staf 127.0.0.1@14816 PROCESS start command tmprun_free_instup_win_xp.bat
RETURNSTDOUT STDERRTOSTDOUT WAIT
staf 127.0.0.1@14816 FS copy directory tmpresults todirectory test
staf 127.0.0.1@6500 PROCESS start command "VBoxManage controlvm
DEV_NIK_WIN_XP acpipowerbutton”
ping ping
pong
«Virtual»
Пример 7
C:tmp

24. 24
Демонстрация

25. Основные тезисы доклада
1. Постановка задачи
2. Jenkins – взгляд тестировщика
3. Sikuli – автоматизация с помощью изображений
4. Robot Framework – инструмент для автоматизации
тестирования ПО
5. Staf – мультиплатформенное решения для соединения
с удаленными машинами
6. Демонстрация примера
25

26. Вопросы и ответы
Спасибо за внимание
26
nikonuk@avast.com