1. Universidade Federal de Campina Grande UFCG
Departamento de Sistemas e Computação DSC
Programa de Pós-Graduação em Ciência da Computação COPIN
Protocolo de Revisão
Sistemática
Elizabete Munzlinger, Fabricio da Silva Soares
Orientadores:
Prof. Dr. Herman Martins Gomes
Prof. Dr. José Eustáquio Rangel de Queiroz
Profa. Dra. JoseanaMacêdoFechine Régis de Araújo
2. Protocolo de Revisão Sistemática
É um documento utilizado para formalizar o estudo
primário e definir, acompanhar e documentar todos os
passos a serem executados no estudo secundário de
Revisão Sistemática
A seguir, é apresentada toda a estrutura de tópicos que
compõem o documento Protocolo de Revisão Sistemática
baseada no protocolo utilizado por Souza (2008).
3. Protocolo de Revisão Sistemática
Título da Pesquisa
1. Introdução
{Descrever a introdução ao tema de interesse com uma revisão
bibliográfica inicial que forneça embasamento para o estudo.
Provém dos estudos primários}
2. Protocolo de Estudo Baseado em Revisão Sistemática
2.1. Contexto
{Descrever um breve relato sobre o problema que motivou a
realização do estudo; delimitar o problema; identificar o que é
importante e o que está fora do escopo; justificar a
necessidade de conduzir o estudo para tratar o problema
apresentado (Por que este tipo de estudo é indicado?).}
2.2. Objetivo e Questões de Pesquisa
4. Protocolo de Revisão Sistemática
2.2.1. Objetivo
{Pode-se descrever o objetivo do estudo através do seguinte
padrão: Analisar [Fontes de evidências/indícios: relatos de
experiência/publicações científicas/estudos primários/softwares
etc.]; Com o propósito de [caracterizar/identificar] o [objeto de
estudo: abordagens/processo/tecnologia/técnica/método etc.];
Com relação à [características de interesse do objeto de
estudo]; Do ponto de vista [organizações de software/grupo de
processo/alta gerência/Instituições Implementadoras de
Processos/pesquisador/desenvolvedor etc.]; No contexto
[industrial/acadêmico/ambos] [com foco em
estudos/projetos/programas/iniciativas] [com tais
características].}
2.2.2. Questões de Pesquisa
{Identificar que questões serão respondidas a partir da
identificação e caracterização do objeto de estudo. Ou seja,
uma vez identificados/caracterizados os objetos de estudo, que
5. Protocolo de Revisão Sistemática
2.3. Escopo da Pesquisa
{Delimitar os tipos de mecanismos que serão utilizados para
realizar as buscas, por exemplo, bibliotecas digitais através
dos seus respectivos engenhos de
busca, bibliotecas, consultas a especialistas, catálogo
especializado de produtos etc.}
2.3.1. Critérios Adotados para Seleção de Fontes
{Identificar os critérios que devem ser adotados para a seleção
das fontes de pesquisa.}
2.3.2. Restrições
{Identificar todas as restrições associadas ao estudo. Identificar
o intervalo de tempo válido para as buscas. O acesso aos
dados, em geral, não deve incorrer em ônus para a pesquisa.}
6. Protocolo de Revisão Sistemática
2.4. Idiomas
{Deve-se identificar os idiomas das publicações que serão
aceitas para a pesquisa. Se possível, deve-se justificar essa
escolha.}
2.5. Métodos de Busca de Publicações
{Deve-se descrever a forma de busca (manual e/ou eletrônica)
além da expressão de busca: expressão lógica contendo uma
combinação de palavras chaves extraída do objetivo do estudo
relacionada ao objeto de estudo, características de interesse e
respectivos sinônimos.}
2.5.1. Expressão Geral de Busca
{Deve-se compor a String geral de busca usando os
operadores lógicos (AND, OR, etc.}
2.5.2. Busca Manual
{Deve-se definir como será efetuada a busca manual com
base}
7. Protocolo de Revisão Sistemática
2.6. Procedimentos de Seleção e Critérios
{Deve-se descrever os procedimentos para seleção das
publicações, incluindo procedimentos avaliação da inclusão de
publicações no escopo da pesquisa e critérios de inclusão e
exclusão.}
2.6.1. Procedimentos de Seleção
{Deve-se descrever os procedimentos para seleção das
publicações, incluindo procedimentos avaliação da inclusão de
publicações no escopo da pesquisa e critérios de inclusão e
exclusão.}
i) Seleção e catalogação preliminar das publicações
{Descrever como e onde serão catalogadas}
8. Protocolo de Revisão Sistemática
ii) 1º Filtro – Seleção das publicações relevantes
Critérios de Inclusão
{Identificar critérios adicionais para inclusão de publicações no
escopo do estudo.}
Critérios de Exclusão
{Identificar critérios adicionais para exclusão de publicações no
escopo do estudo.}
iii)2º Filtro – Seleção das publicações a partir de critérios de
qualidade
{Identificar critérios adicionais para exclusão de publicações no
escopo do estudo.}
iv) 3º Filtro – Seleção dos dados relevantes
{Identificar os dados a serem avaliados na publicações.}
9. Protocolo de Revisão Sistemática
2.7. Procedimento para Extração de Dados
{Identificar os procedimentos para extração de dados a partir
das publicações.}
2.7.1. Seleção e Catalogação Preliminar dos Dados
Coletados
{Definir onde será efetuada a catalogação dos dados
(repositório)}
2.7.2. Na Seleção dos Dados Relevantes
{Definir como serão identificadas as seleções baseadas nos
filtros}
2.7.3. Extração dos Dados
{Descrever todos os campos de dados que serão extraídos das
publicações}
2.7.4. Sumarização dos Resultados
{Descrever como os resultados serão sumarizados}
10. Protocolo de Revisão Sistemática
2.8. Procedimentos para Análise
{Identificar os procedimentos para análise dos dados
coletados. Incluir totalização das mais diversas e relevantes
para o objetivo do estudo e questões de pesquisa.}
2.8.1. Análise Quantitativa
{Listar as informações quantitativas a serem extraídas do
montante de publicações}
2.8.2. Análise Qualitativa
{Listar as informações qualitativas a serem extraídas do
montante de publicações}
11. Protocolo de Revisão Sistemática
3. Planejamento e Execução da Revisão Sistemática
{Consiste das seguintes atividades: Realizar Prospecção sobre
o Tema de Interesse, Definir Protocolo, Testar Protocolo e
Avaliar o Protocolo; Executar a Pesquisa e Analisar Resultados
da Pesquisa; Empacotar Resultados e Publicar Resultados.}
3.1. Definição do Escopo e Estudos Preliminares
{Descrever como se deu a escolha do escopo e estudos
primários}
3.2. Definição das Palavras-Chave e Calibração da
Expressão de Busca
{A partir do estudos primários/preliminares deverá ser definida
uma expressão de busca inicial que será calibrada através das
rodadas de teste. Selecionar um engenho de busca para a
calibração}
12. Protocolo de Revisão Sistemática
3.2.1. Primeira Rodada
{Registrar data, e o máximo possível de informações sobre
cada palavra-chave adicionada à string, assim como o nº de
publicações retornadas, e se alguma publicação foi adicionada
ao “grupo de controle”. Este grupo é criado com publicações de
altíssima pertinência retornadas na calibração da busca. Deve-
se fazer uma leitura dinâmica destas publicações em busca de
palavras-chaves, termos, sinônimos pertinentes à busca para
serem adicionados à string.}
3.2.2. Segunda Rodada
{A segunda rodada serve para novos ajustes na string de
busca. Ocorre pela leitura dinâmica das publicações
selecionadas na rodada anterior em busca de
sinônimos, termos e novas palavras-chave que possam
representar resultados na busca. Registrar novamente todos
os dados possíveis.}
13. Protocolo de Revisão Sistemática
3.2.3. Terceira Rodada
{A terceira rodada serve para ajustes finos na string de busca
seguindo os mesmos procedimentos dos passos anteriores.}
14. Protocolo de Revisão Sistemática
3.3. Definição das Máquinas de Busca
{Definir quais serão os engenhos de busca (ex:
IEEE, Scopus, ACM, ScienceDirect, Compendex, etc.)}
Expressão de Busca na Biblioteca Digital da
EngineeringVillage
{Apresentar a expressão de busca para este engenho}
Expressão de Busca na Biblioteca Digital ScienceDirect
{Apresentar a expressão de busca para este engenho}
Expressão de Busca na Biblioteca Digital da IEEE
{Apresentar a expressão de busca para este engenho}
Expressão de Busca na Biblioteca Digital da Scopus
{Apresentar a expressão de busca para este engenho}
15. Protocolo de Revisão Sistemática
3.3.5. Instrumento para Consulta Manual
{Descrever como será a consulta manual com base nas strings
de busca}
3.4. Identificação do Período de Busca
{Identificar o período de busca. Par estado da arte
normalmente são os últimos 5 anos}
3.5. Execução do Protocolo
{Descrição da execução do protocolo com o número geral de
retornos por tema, base de dados, etc. Se possível apresentar
gráficos de sumarização}
3.6. Considerações sobre o Resultado do Estudo
{Após a finalização de todo o processo, descrever os
resultados, se satisfatórios ou não.}
4. Apoio Ferramental para a Condução do Estudo
{Listar aplicativos, ferramentas, equipamentos, material, etc.}
16. Protocolo de Revisão Sistemática
5. Dados Coletados
{Esta seção apresenta os dados coletados no processo de
extração de dados das publicações selecionadas na etapa do
processo de seleção}
5.1. Dados das Publicações Dentro do Escopo do
Estudo
{Apresentar os dados extraídos da leitura das publicações.
Sugere-se que se crie um documento de registro cobrindo os
dados a serem coletados definidos no item 2.8.2}
5.2. Dados das Publicações Selecionadas a Partir da
Expressão de Busca
{Apresentar os dados extraídos da seleção das publicações.
Sugere-se que se crie uma tabela de registro que abranja os
critérios de inclusão/exclusão. Manter a lista com todas as
publicações desta etapa e apontamentos de classificação
passo a passo. Usar gráficos.}
17. Protocolo de Revisão Sistemática
5.3. Dados das Publicações Selecionadas no 1º Filtro
{Apresentar os dados extraídos da seleção das publicações.
Sugere-se que se crie uma tabela de registro que abranja os
critérios de inclusão/exclusão. Manter a lista com todas as
publicações desta etapa, e apontamentos de classificação ou
não. Usar tabelas.}
5.4. Dados das Publicações Selecionadas no 2º Filtro
{Idem}
Referências Bibliográficas
{Produção de relatório}
{Produção de artigos}
18. Referências
Protocolos completos para leitura nos anexos de:
Barcellos, Monalessa Perini. “Uma Estratégia Para
Medição De Software E Avaliação De Bases De Medidas
Para Controle Estatístico De Processos De Software Em
Organizações De Alta Maturidade”. Tese de Doutorado.
Programa de Pós-graduação em Engenharia de Sistemas
e Computação, COPPE, da Universidade Federal do Rio
de Janeiro, 2009.
Souza. Gleison dos Santos. “Ambientes De Engenharia
De Software Orientados A Corporação”. Tese de
Doutorado. Programa de Pós-graduação em Engenharia
de Sistemas e Computação, COPPE, da Universidade
Federal do Rio de Janeiro, 2008.
19. Referências
Ferramenta de execução da RS:
Start [http://lapes.dc.ufscar.br/ferramentas/start-tool]
Ferramentas de catalogação de artigos:
Mendeley [http://www.mendeley.com/]
EndNote [http://www.endnote.com/]
Ondepublicar (Qualis A1):
ACM Computing Surveys (CSUR) [http://csur.acm.org/]
Information Sciences
[http://www.journals.elsevier.com/information-sciences/]
ACM Transactions on Information Systems (TOIS)
[http://tois.acm.org/]
20. Referências
Links com guias e cursos online:
Curso de Revisão Sistemática On-line da
Univesp/Cochrane:
[http://www.virtual.epm.br/cursos/metanalise/]
Alvaro
NagibAtallah, AldemarAraujoCastroRevisãoSistemáticada
LiteraturaeMetanálise:
[http://www.centrocochranedobrasil.org.br/apl/artigos/artig
o_530.pdf]
Estudos De Revisão Sistemática: Um Guia Para Síntese
Criteriosa Da Evidência Científica
[http://www.scielo.br/pdf/rbfis/v11n1/12.pdf]
21. Referências
Bibliografia:
Kitchenham,B.A.; Dyba,T.; Jorgensen,M. (2004).
Evidence-based Software Engineering, Proceedings of the
26th International Conference on Software Engineering
(ICSE’04), Scotland.
Biolchini,J., Mian, P. G., Natali, A. C. C., and
Travassos, G. H. (2005). Systematic review in software
engineering. Technical report, RT–ES 679/05 System
Engineering and Computer Science Dept., COOPE/UFRJ.
Mafra, S. N., Travassos, G. H. (2006).
riosapoiando a
buscaporevidênciaemEngenharia de Software.
cnico, RT-ES 687/06, Travassos, G. H.
22. Referências
Guias da metodologia:
(i) Cochrane Collaboration. Cochrane Reviewers’ Handbook. Version
4.2.1. December 2003
(ii) Australian National Health and Medical Research Council. How to
review the evidence: systematic identification and review of the
scientific literature, 2000. IBSN 186-4960329.
(iii) Pai, Madhukar., McCulloch, Michael., and Colford, Jack.
Systematic Review: A Road Map Version 2.2. Systematic Reviews
Group, UC Berkeley, 2002.
[www.medepi.org/meta/guidelines/Berkeley_Systematic_Reviews_
Road_Map_ V2.2.pdf viewed 20 June 2004].
(iv)
Khan, Khalid, S., terRiet, Gerben., Glanville, Julia., Sowden, Amand
a, J. and Kleijnen, Jo. (eds) Undertaking Systematic Review of
Research on Effectiveness. CRD’s Guidance for those Carrying Out
or Commissioning Reviews. CRD Report Number 4 (2nd
Edition), NHS Centre for Reviews and Dissemination, University of
23. Universidade Federal de Campina Grande UFCG
Departamento de Sistemas e Computação DSC
Programa de Pós-Graduação em Ciência da Computação COPIN
Elizabete Munzlinger, Fabricio da Silva Soares
{elizabete, narcizo} @copin.ufcg.edu.br