O documento discute os meios tradicionais e alternativos de avaliar o impacto de publicações científicas, como contagem de citações e métricas alternativas. Apresenta indicadores como fator de impacto e métricas emergentes como altmetrics que ampliam o escopo para além das citações. Também discute os desafios na avaliação do impacto real das publicações.
2. programa
MEIOS “TRADICIONAIS” DE AFERIÇÃO
DO IMPACTO PUBLICAÇÕES CIENTÍFICAS
c o n t a g e m d e c i t a ç õ e s
r e v i s t a s c i e n t í f i c a s e
i n d i c a d o r e s
AMPLIAÇÃO DO CICLO DE DIFUSÃO DO
CONHECIMENTO CIENTÍFICO
m é t r i c a s a l t e r n a t i v a s
f e r r a m e n t a s
4. publicação tradicional
investigadores e as instituições necessitam cada vez mais de filtros e
métricas que permitam aferir o impacto do seu trabalho
a realidade vigente na dita “publicação tradicional” passa pela
submissão de artigos em revistas indexadas em bases de dados
científicas com peer-review
as métricas baseadas na contagem de citações têm sido o meio
mais usado pela comunidade científica
6. contagem de citações
número de vezes que um artigo é citado por outros artigos científicos
métrica fundamental para a avaliação da publicação científica e para a aferição do prestígio dos
investigadores, sendo a base de cálculo para a maioria dos indicadores bibliométricos
considera-se que se um artigo foi citado muitas vezes será um artigo de qualidade científica e de
referência
7. Web of Science
core collection
h t t p : / / i s i k n o w l e d g e . c o m / W O S
8. S C I - E X P A N D E D
Science Citation Index Expanded - 1900-present
S S C I
Social Sciences Citation Index - 1956-present
A & H C I
Arts & Humanities Citation Index -1975-present
C P C I - S
Conference Proceedings Citation Index-Science - 1991-present
C P C I - S S H
Conference Proceedings Citation Index- Social Science & Humanities -1991-
presente
ESCI
Emerging Sources Citation Index -2015-presente
coleções
9. 1 9 . 7 0 0 r e v i s t a s c o m p e e r - r e v i e w
(inclui revistas em Open Access)
8 0 . 0 0 0 l i v r o s
1 9 0 . 0 0 0 p r o c e e d i n g s
c o b e r t u r a d e 1 9 0 0 a t é a o p r e s e n t e
publicações
10. T i m e s c i t e d
C i t a t i o n n e t w o r k
A u t h o r s e a r c h
A u t h o r s e a r c h – R e c o r d s e t s
C i t e d R e f e r e n c e S e a r c h
funcionalidades
11. times cited
após uma pesquisa, na lista de resultados é possível ordenar por nº de citações: opção
Sort by – times cited e visualizar os dados de citações por artigo
12. author search – record setsos registos são agrupados em sets lógicos, que podem ser incluídos ou excluídos da lista, de
forma a obter resultados exatos.
cited reference searchlocalizar os artigos que citam uma publicação em particular
13. Scopus
h t t p : / / w w w . s c o p u s . c o m
14. 2 2 . 8 0 0 r e v i s t a s c o m p e e r - r e v i e w
(inclui 3,600 em Open Access) - journal title list
5 6 0 s é r i e s m o n o g r á f i c a s
8 m i l h õ e s d e p a p e r s d e c o n f e r ê n c i a s
“ A r t i c l e s - i n - P r e s s ” d e c e r c a d e 8 , 0 0 0 r e v i s t a s
3 9 m i l h õ e s d e p a t e n t e s
publicações
f o n t e : h t t p s : / / w w w . e l s e v i e r . c o m / s o l u t i o n s / s c o p u s / c o n t e n t
15. author search
ajuda na identificação correta da autoria de forma a obter dados de contagem de
citações ajustados.
permite a pesquisa por autor de uma forma inequívoca já que determina quais as
formas de nome que devem ser agrupadas sob uma identificação de autor única. Esta
funcionalidade baseia-se num algoritmo que liga formas de nomes baseados em
dados como a afiliação, endereço, área de investigação, datas de publicação.
17. Google Scholar
h t t p s : / / s c h o l a r . g o o g l e . c o m / i n t l / e n / s c h o l a r / c i t a t i o n s . h t m l
18. Google Scholar
A c e d e r à p á g i n a
h t t p : / / s c h o l a r . g o o g l e . c o m / i n t l / e n / s c h o l a r / c i t a t i o n s . h t m l
C l i c a r e m “ g e t t i n g s t a r t e d w i t h G o o g l e s c h o l a r c i t a t i o n s ”
E n t r a r c o m o s r e s p e t i v o l o g i n e p a s s w o r d
P r e e n c h e r o s d a d o s d o p e r f i l e s e g u i r o s p a s s o s s e g u i n t e s
T o r n a r o p e r f i l p ú b l i c o .
19. Google Scholar Citations
permite aos autores a criação de um perfil público, com a recolha dos artigos de que é
autor e dados de citação correspondentes.
o próprio autor pode por exemplo excluir da lista referências que não correspondam,
identificando assim corretamente as suas publicações.
20. cited by
consulta das citações que determinado documento recebeu.
a metodologia de contagem de citações do Google Scholar inclui documentos
publicados na Web de uma diversidade de fontes, podendo estar incluídas bases de
dados ou plataformas com publicações não científicas.
22. fator de impacto
criado por Eugene Garfield, fundador do ISI – Institute of Scientific Information, num artigo de
1955 publicado na revista Science.
inicialmente usado apenas para determinar que publicações incluir no Science Citation
Index (Web of Science). Tornou-se o indicador bibliométrico mais usado internacionalmente.
23. fator de impacto
medida de frequência com que o “artigo médio” de uma revista foi citado.
divisão do número de citações correntes
a artigos publicados nos últimos dois anos pelo número total de artigos publicados nesse
mesmo período.
24. fator de impacto
Consulta no Journal of Citation Reports (Clarivate Analytics)
http://jcr.incites.thomsonreuters.com/
edição 2016
atualizado todos os anos, em meados do ano civil
baseia-se nos dados de citação da Web of Science Core Collection (Clarivate Analytics)
http://isiknowledge.com/WOS
25. eigenfactor
Consulta no Journal of Citation Reports (Clarivate Analytics)
http://jcr.incites.thomsonreuters.com/
Baseia-se número de vezes que os artigos publicados numa revista nos cinco anos anteriores foram citados
no ano mais recente, levando também em consideração o prestígio da revista.
Não contabiliza as autocitações (mesma revista)
“References from one article in a journal to another article from the same journal are removed, so that
Eigenfactor Scores are not influenced by journal self-citation.” - http://www.eigenfactor.org/
26. SCImago Journal Rank
Indicator
Consulta no SCImago Journal Rank http://www.scimagojr.com/ e SCOPUS –
http://www.scopus.com
consiste numa medida de visibilidade das revistas científicas (dados a partir de
1996) - "journal prestige“
mede a “influência científica” média dos artigos de uma revista
27. SCImago Journal Rank
Indicator
baseia-se na ideia de que ‘all citations are not created equal’ - a área temática, qualidade
e reputação científica de uma revista têm um efeito direto nas citações que são feitas
expressa o número médio de citações “positivas” recebidas no ano selecionado pelos
artigos de uma dada revista. Limita o efeito das auto-citações a 33%:
“The Scimago Journal Rank (SJR) is based on the transfer of prestige from a journal to another
one; such prestige is tranfered through the references that a journal do to the rest of the
journals and to itself.”
30. as métricas baseadas em contagem de
citações são insuficientes para avaliar o
impacto de uma publicação no meio
académico
31. …a 1ª c itaç ão a um artigo pode levar anos
…artigos de relevânc ia para o avanç o do
c onhec imento podem nunc a vir a s er c itados
…a c ontagem de c itaç ões não tem em c onta o
impac to for a do c ir c uito c ientífic o e ac adémic o
33. RESULTADOS CIENTÍFICOS
D a t a s e t s
S o f t w a r e c i e n t í f i c o
L i v r o s e c a p í t u l o s d e l i v r o
P o s t e r s e a p r e s e n t a ç õ e s e m c o n f e r ê n c i a s
T e s e s d e m e s t r a d o e d o u t o r a m e n t o
P e r f o r m a n c e s ( t e a t r o , m ú s i c a e c i n e m a )
B l o g p o s t s
A u l a s e o u t r a s a t i v i d a d e s d o c e n t e s
34. n o v o s m e i o s d e a f e r i r o i m p a c t o d e a r t i g o s
a m p l i a ç ã o d o c i c l o d e d i f u s ã o d o c o n h e c i m e n t o c i e n t í f i c o
a c e s s o a b e r t o e r e p o s i t ó r i o s i n s t i t u c i o n a i s
necessidade de mudança
38. TEMPO REAL – PEMITEM A PERCEÇÃO DO IMPACTO EM DIAS
ABRANGE A DIVERSIDADE DE RESULTADOS CIENTÍFICOS
TEM EM CONTA OUTRAS AUDIÊNCIAS
(profissionais de várias áreas e público em geral)
métricas alternativasvantagens
40. is the creation and study of new metrics based on
the Social Web for analyzing, and informing
scholarship.
J . P r i e m , D . T a r a b o r e l l i , P . G r o t h , C . N e y l o n ( 2 0 1 0 ) , A l t m e t r i c s : A m a n i f e s t o ,
( v . 1 . 0 ) , 2 6 O c t o b e r 2 0 1 0 . h t t p : / / a l t m e t r i c s . o r g / m a n i f e s t o
41. Work should correlate between altmetrics and existing measures, predict
citations from altmetrics, and compare altmetrics with expert evaluation.
Application designers should continue to build systems to display
altmetrics, develop methods to detect and repair gaming, and create
metrics for use and reuse of data. Ultimately, our tools should use the rich
semantic data from altmetrics to ask “how and why?” as well as “how
many?”
h t t p : / / a l t m e t r i c s . o r g / m a n i f e s t o
43. conceito
these metrics are no longer alternative, but have become mainstream
these metrics are viewed as complementary rather than as an alternative
the more focused term “social media metrics” would seem more appropriate
and/or altmetrics are not clearly defined, and may mean different things to
different people
N I S O ’ s A l t m e t r i c s P r o j e c t - N I S O R P - 2 5 - 2 0 1 6
h t t p s : / / w w w . n i s o . o r g / p u b l i c a t i o n s / n i s o - r p - 2 5 - 2 0 1 6 - o u t p u t s - n i s o - a l t e r n a t i v e - a s s e s s m e n t - m e t r i c s - p r o j e c t
44. NISOh t t p s : / / w w w . n i s o . o r g / p u b l i c a t i o n s / n i s o - r p - 2 5 - 2 0 1 6 - o u t p u t s - n i s o - a l t e r n a t i v e - a s s e s s m e n t - m e t r i c s -
p r o j e c t
NISO Alternative Assessment Metrics Project
45. DORA
https ://s fdora.org /
p r o m o t e r e a l c h a n g e i n r e s e a r c h a s s e s s m e n t
t h e d e v e l o p m e n t o f r o b u s t a n d t i m e - e f f i c i e n t w a y s o f e v a l u a t i n g
r e s e a r c h a n d r e s e a r c h e r s t h a t d o n o t r e l y o n j o u r n a l i m p a c t f a c t o r
P r o m o t e g o o d p r a c t i c e i n r e s e a r c h a s s e s s m e n t t h a t e m p h a s i z e
r e s e a r c h i t s e l f a n d n o t w h e r e i t i s p u b l i s h e d .
San Francisco Declaration on Research Assessment
46. Snowball Metrics
h t t p s : / / w w w . s n o w b a l l m e t r i c s . c o m /
v i s a a p a d r o n i z a ç ã o d e m é t r i c a s n a s i n s t i t u i ç õ e s p r o d u t o r a s o u a v a l i a d o r a s d e
C i ê n c i a
c o n j u n t o d e m e t o d o l o g i a s , t e s t a d a s e c o n s e n s u a l i z a d a s e n t r e o s p a r c e i r o s ,
a p r e s e n t a d a s s o b a f o r m a d e “ r e c e i t a s ”
o p r i m e i r o l i v r o d e r e c e i t a s S n o w b a l l M e t r i c s f i c o u d i s p o n í v e l e m n o v e m b r o d e
2 0 1 2 e i n c l u i 1 0 r e c e i t a s . A v e r s ã o a t u a l d o l i v r o d e r e c e i t a s S n o w b a l l M e t r i c s
( s e g u n d a e d i ç ã o ) , é d e 2 0 1 4 e i n c l u i 2 4 r e c e i t a s .
48. C a n a d i a n A s s o c i a t i o n o f R e s e a r c h L i b r a r i e s , A l t m e t r i c s i n C o n t e x t
h t t p : / / w w w . c a r l - a b r c . c a / d o c / C A R L 2 0 1 3 - a l t m e t r i c s - E N - F A . p d f
52. altmetric.com
s o l u ç ã o c o m e r c i a l
a v a l i a ç ã o q u a n t i t a t i v a d o i m p a c t o d e u m a r t i g o n a W e b b a s e a d o n a
a t e n ç ã o q u e u m a r t i g o r e c e b e u
r a s t r e i a s i t e s , b l o g s , r e d e s s o c i a i s , j o r n a i s e r e v i s t a s
a p o n t u a ç ã o c o n s i s t e n u m a m e d i d a q u a n t i t a t i v a q u e d e r i v a d e 3
f a t o r e s : v o l u m e d e m e n ç õ e s , c a t e g o r i a d a f o n t e d e s s a s m e n ç õ e s e
a u t o r e s
53. altmetric.com
exemplo de integração do serviço
altmetric numa página web de uma
revista
https://www.nature.com/articles/s41467-018-03808-6/metrics
54. plum analyticsh t t p : / / w w w . p l u m a n a l y t i c s . c o m
55. plum analytics
d i s p o n i b i l i z a d a p e l a E B S C O I n f o r m a t i o n S e r v i c e s
m é t r i c a s p a r a m a i s d e d u a s d e z e n a s d e f o n t e s d e i n f o r m a ç ã o , i n c l u i n d o
a r t i g o s , c a p í t u l o s d e l i v r o s , c o n j u n t o s d e d a d o s , a p r e s e n t a ç õ e s e c ó d i g o
f o r n e c e r e l a t ó r i o s p e r s o n a l i z a d o s d e s t i n a d o s a q u a n t i f i c a r a
p r o d u t i v i d a d e d e p a r t a m e n t a l , a p o i a r c a n d i d a t u r a s a f i n a n c i a d o r e s …
é c o m e r c i a l i z a d o p a r a a s u n i v e r s i d a d e s e o u t r a s i n s t i t u i ç õ e s d e
i n v e s t i g a ç ã o
Pl u m X Me t rics – a p l i c a ç ã o i n t e g r a d a e m b a s e s d e d a d o s e p o r t a i s
d e e d i t o r e s , q u e f o r n e c e i n f o r m a ç ã o d o i m p a c t o e v i s i b i l i d a d e d e u m
a r t i g o
56. PlumX Metrics
exemplo de integração do serviço plum num registo
de uma base de dados
https://www.scopus.com/record/pubmetrics.uri?eid=2-s2.0-84907965045&origin=recordpage
57. impactStory profiles
h t t p : / / i m p a c t s t o r y . o r g
h t t p s : / / p r o f i l e s . i m p a c t s t o r y . o r g /
58. impactStory
a p l i c a ç ã o w e b q u e v i s a f a c i l i t a r a m o n i t o r i z a ç ã o d o i m p a c t o d e
u m a a m p l a g a m a d e r e c u r s o s d e i n f o r m a ç ã o , t a i s c o m o , a r t i g o s ,
d a t a s e t s , s l i d e s , c ó d i g o s d e s o f t w a r e
e s t e s i s t e m a a g r e g a d a d o s d e v á r i a s f o n t e s d e i m p a c t o –
M e n d e l e y , G i t H u b , T w i t t e r , S l i d e s h a r e , G o o g l e s c h o l a r , F i g s h a r e …
e x i b i n d o n u m ú n i c o r e l a t ó r i o p o r a u t o r
61. PLoS: article-level metrics
D I S P O N Í V E L N A S R E V I S T A S D A P L o S D E S D E 2 0 0 9
m e d i ç ã o d o i m p a c t o a o n í v e l d o a r t i g o , a g r e g a i n f o r m a ç ã o d e
d i f e r e n t e s f o n t e s , q u e i n c o r p o r a m n o v a s f o n t e s p a r a m e d i r o i m p a c t o d e
r e s u l t a d o s c i e n t í f i c o s .
62.
63. não existe uma solução perfeita, os vários
indicadores podem e devem ser usados de
forma complementar
d e v e - s e combinar e s t a s n o v a s f e r r a m e n t a s c o m a s m a i s
t r a d i c i o n a i s , a f i m d e o b t e r informações analíticas significativas e
válidas
64. é importante uma atualização constante
sobre este assunto por parte dos
investigadores, instituições de I&D e
entidades financiadoras da investigação