Revisão sistemática

1. Seminários SecondLab – Métodos de Pesquisa Revisão Sistemática da Literatura Wallace Ugulino Seminários SecondLab – Método de Pesquisa 2012.1

2. O que é revisão sistemática?“É uma revisão planejada para responder uma perguntaespecífica e que utiliza métodos explícitos e sistemáticospara identificar, selecionar e avaliar criticamente osestudos, e para coletar e analisar os dados destes estudosincluídos na revisão”ROTHER, Edna Terezinha. Revisão sistemática X revisão narrativa. Acta paul. enferm.[online]. 2007, vol.20, n.2, pp. v-vi. ISSN 0103-2100. http://dx.doi.org/10.1590/S0103-21002007000200001 Versão pt-BRROTHER, Edna Terezinha. Systematic literature review X narrative review. Acta paul.enferm. [online]. 2007, vol.20, n.2, pp. v-vi. ISSN 0103-2100. Versão en-US Seminários SecondLab 2 / 20 2012.1

3. O que NÃO é revisão sistemática?“Análise da literatura publicada em livros, artigos de revistaimpressas e/ou eletrônicas na interpretação e análisecrítica pessoal do autor.” (Rother, E.T.)Chamado de “revisão narrativa da literatura” Seminários SecondLab 3 / 20 2012.1

4. Revisão Narrativa serve para...Antes de atirar uma pedra, saiba que R.N. serve para...“(...) descrever ou discutir o desenvolvimento ou o"estado da arte" de um determinado assunto, sobponto de vista teórico ou conceitual (...) (Rother, E.T.) Seminários SecondLab 4 / 20 2012.1

5. Características de Revisão Narrativa Não informa as fontes de informações usadas Não informa o método usado para busca de referências (string de busca) Não informa critérios de seleção (inclusão / exclusão) Não informa critérios na avaliação dos trabalhos São fruto análise crítica pessoal do autor sobre um conjunto de buscas de trabalhos feito de forma não sistemática Seminários SecondLab 5 / 20 2012.1

6. Características de Revisão Sistemática Informam-se as fontes de informações usadas Informa-se o método usado para busca de referências (string de busca) Informam-se os critérios de seleção Informam-se os critérios usados na avaliação dos trabalhos Planejada para responder uma pergunta específica Seminários SecondLab 6 / 20 2012.1

7. Revisão Sistemática vs Narrativa• Revisão Narrativa: o que os revisores questionam?• Revisão Sistemática: o que os revisores questionam? Parece difícil de fazer em Computaçao... Seminários SecondLab 7 / 20 2012.1

8. Base apenas o sublinhado! Ler Cochrane Mas a página é boa para sabermos que existem grupos dedicados a manter uma base de dados de Revisões Sistemáticas (na medicina) Seminários SecondLab 8 / 20 2012.1

9. Método Descrito por Rother, E.T.• 1-) Formulação da pergunta• 2-) Localização dos estudos  obrigatório incluir principais bases eletrônicas de Ciência da Computação  Incluir artigos de conferência, revistas não disponíveis nas bases de dados, etc. (opc)• 3-) Avaliação crítica dos estudos  Aplicar critérios para determinar a validade dos estudos selecionados. Os estudos que não preencherem os critérios devem ser citados e o motivo da exclusão explicado• 4-) Coleta de dados  As variáveis estudadas devem ser observadas nos estudos e resumidas em um formulário próprio do pesquisador. Objetivo: comparar os estudos (nem sempre é possível)• 5-) Análise e apresentação dos dados  Agrupar os estudos baseados na semelhança (ou criar um critério de agrupamento, que deve ser explicitado na hora de relatar os resultados)  Usar estatística descritiva Seminários SecondLab 9 / 20 2012.1

10. Exemplo: artigo CRIWG 2011 • Context-Awareness on Software Artifacts in Distributed Software Development: A Systematic Review • Método usado por esse autor:  1 – Research questions  2 – Search strategy  3 – Criteria and selection procedures  4 – Quality Assessment http://goo.gl/dP6tJ  5 – Data extraction and synthesis link do autor para apresentação feita no CRIWG’11 • RQ2: What types of software artifacts are addressed by research concerning context-awareness?Vivian, R.L.; Huzita, M.H.E.; Leal, G.C.L.; Steinmacher, A.P.C. Context-Awarenes on Software Artifacts in Distributed SoftwareDevelopment: A Systematic Review. In: Proceedings of the 17th International Conference on Collaboration and Technology (CRIWG11).Editor Vivacqua et al. Springer-Verlag, 2011. ISSN 0302-9743. ISBN 978-3-642-23800-0. Seminários SecondLab 10 / 20 2012.1

11. Exemplo: artigo CRIWG 2011• Search Strategy:  1-) buscou artigos num conjunto pré-definido por “especialistas” (orientador?) de journals e conferências. • O autor lista todas as conferências e journals consultados nessa primeira fase de busca  2-) Realizou busca eletrônica com uma string pequena (resultado amplo) nas bases: IEEE, ACM, EI Compendex, ScienceDirect, Scirus. • Não há uma justificativa para essa seleção, mas parece que se deu em função da possibilidade de acesso web e dos mecanismos de busca Vivian, et al., 2011 (CRIWG’11) Seminários SecondLab 11 / 20 2012.1

12. Exemplo: artigo CRIWG 2011 Vivian, et al., 2011 (CRIWG’11) Seminários SecondLab 12 / 20 2012.1

15. Exemplo: artigo CRIWG 2011• Criteria and Selection procedures (INCLUSION) Vivian, et al., 2011 (CRIWG’11) Seminários SecondLab 15 / 20 2012.1

16. Exemplo: artigo CRIWG 2011 • Criteria and Selection procedures (INCLUSION)Vivian, R.L.; Huzita, M.H.E.; Leal, G.C.L.; Steinmacher, A.P.C. Context-Awarenes on Software Artifacts in Distributed SoftwareDevelopment: A Systematic Review. In: Proceedings of the 17th International Conference on Collaboration and Technology (CRIWG11).Editor Vivacqua et al. Springer-Verlag, 2011. ISSN 0302-9743. ISBN 978-3-642-23800-0. Seminários SecondLab 16 / 20 2012.1

17. Exemplo: artigo CRIWG 2011• 4-) Quality Assessment  Is the article based on research or is it merely a “lessons learned” report based on expert opinion?  Is there a clear statement of the aims of the research?  Is there an adequate description of the context in which the research was carried out?  Total de 11 critérios definidos para avaliar a qualidade do artigo. O julgamento da qualidade foi usado para guiar a interpretação, análise e síntese dos resultados Seminários SecondLab 17 / 20 2012.1

18. Exemplo: artigo CRIWG 2011• Visão geral do processo de seleção Vivian, et al., 2011 (CRIWG’11) Seminários SecondLab 18 / 20 2012.1

19. Exemplo: artigo CRIWG 2011• 5-) Data Extraction and Synthesis  Usou um formulário pré-definido (pelo autor) para extração dos dados. • Possibilitou padronização / tabulação dos dados • Apoiou o processo de síntese. • Formulário não foi publicado – Dados: autor, título, origem, ano, volume, páginas, abstract, keywords e funcionalidades discutidas no paper  Classificou cada paper em 1 de 5 categorias: • (1) Case Study, (2) Experimento, (3) Revisão da literatura, (4) Lessons Learned, e (5) Simulação • A classificação nas categorias acima seguiu a forma descrita em Zelkowitz e Wallace 1 1 Zelkowitz, M.V.; Wallace, D.R.; Experimental models for validating technology. Computer 31(5), 23-31 (1998) Seminários SecondLab 19 / 20 2012.1

20. Exemplo: artigo CRIWG 2011• Como apresentar os resultados: Frequencia de Publicação Sources of Information (RQ1) Visual Resources (RQ1) Types os Sw Artifacts (RQ2) Seminários SecondLab 20 / 20 2012.1

21. Links úteis Exemplo: http://goo.gl/dP6tJ Exemplo: http://goo.gl/3KsIG http://goo.gl/AJ2lx http://www.cochrane.org/ http://goo.gl/OhcnLArtigo referência: http://goo.gl/o834B Seminários SecondLab – Método de Pesquisa 2012.1

22. Seminários SecondLab – Métodos de Pesquisa Revisão Sistemática da Literatura Wallace Ugulino Seminários SecondLab – Método de Pesquisa 2012.1