O documento discute recursos de apoio à investigação fornecidos por bibliotecas universitárias, incluindo apoio na obtenção de informação online, publicação e gestão de conteúdos de investigação. Também explora tipos de produção científica, indicadores para medir qualidade e desempenho, e limitações de métricas como o fator de impacto.
2. Produtos resultantes de investigação (tipologia DeGois)
Produção científica: artigos, livros, capítulos e conferências, texto em
jornal ou revista, tradução, partitura musical, prefácio, posfácio, etc.
Produção técnica: software, produto, processo, trabalho técnico, carta
ou mapa, curso de curta duração, desenvolvimento de material
didático ou pedagógico, edição técnica, manutenção de obra artística,
maqueta, organização de evento, programa de rádio ou TV, relatório de
investigação, produção técnica registada, produção intelectual, etc.
Produção cultural e artística: apresentação de obra artística, arranjo
musical, composição musical, curso de curta duração, apresentação em
rádio ou TV, obra de artes visuais, sonoplastia, etc.
3. Serviços de apoio à investigação
Apoio na obtenção de informação online: complexidade e diversidade de
plataformas de pesquisa e dos processos de autenticação. Formação sobre
recursos, listagem de recursos, etc.
Apoio à publicação: Bibliometria e ferramentas para a organização de bibliografias
(Mendeley, Endnote e Zotero), mediação com plataformas de edição de revistas
Gestão de conteúdos resultantes da investigação, preferencialmente, em acesso
aberto (publicações científicas e futuramente, espera-se, dados): gestão do
repositório institucional no espírito do RCAAP e das políticas de acesso aberto da
FCT (disponibilização de dados e publicações científicas, 5 de maio de 2014) e do
H2020 (Guidelines on Data Management in Horizon 2020, Open Access to
publications)
4. Qualidade da produção científica
utilidade dos resultados da pesquisa para a
comunidade científica de uma determinada área.
aplicabilidade à resolução das situações do
quotidiano
utilidade societal da investigação
5. Desempenho científico:
Contagem bibliográfica - implica a utilização de
indicadores que permitem quantificar os produtos finais das
atividades de investigação: número de artigos, livros e outros
documentos publicados, bem como patentes registadas;
Análise de Citações – indicador de visibilidade e
importância. As citações constituem um instrumento que
permite descrever o impacto das atividades de investigação,
todavia não infere sobre a qualidade científica global.
6. Indicadores de quantidade
Medem a produtividade de um investigador ou grupo
Na forma mais simples consiste em contar o número de artigos publicado por um
autor ou grupo de pesquisa durante um certo período de tempo
Não tem informação sobre a qualidade das publicações
É variável conforme o número de pessoas que compõem o grupo
A sua validade pode ser posta em causa na comparação entre grupos e áreas
científicas
Número de publicações em revistas melhor classificadas nos rankings, seguindo por
exemplo o fator de impacto dessas revistas. Não resolve o problema da dimensão do
grupo
Mantem as limitações quando compara grupos na base do número de publicações
7. Indicadores de qualidade
A medida é dada pelos pares, através da revisão da literatura científica
A qualidade das revistas em que se publica, expressa no fator de
impacto das publicações ou noutros indicadores bibliométricos que
explicitam a relação entre o número das publicações que se produziu e
o número de citações que as mesmas obtiveram.
Evidências do reconhecimento exterior, tais como prémios, posições
académicas, etc..
8. Indicadores de qualidade ou de desempenho
Frequência de citação de um artigo, de um autor ou de uma revista, ao longo de um período de tempo,
produzindo a média de citações por ano: quanto mais elevado é esta média de citações, maior é a sua qualidade
científica.
Para investigadores o número de citações pode ser dividido pelo número de artigos para produzir a média de
citações por item.
Para revistas calcula-se o Fator de Impacto (FI) recolhido no Journal Citation Report (JCR) com base no número
de artigos e de citações de um título nos últimos dois anos. Ex. FI de uma revista em 2014
citações 2012 + citações 2013
artigos 2012 + artigos 2013
SCImago Journal Rank (SJR) dá a medida da influência científica das publicações, contabilizando o número de
citações e a importância ou prestígio das revistas que fazem as citações. É uma variante da medida central
Eigenfactor, estabelecendo a importância de um nó numa rede, através das suas ligações. Pode ser usado para
comparações entre revistas, no processo de avaliação da ciência.
9. Índices de citações
Science Citation Index (Institute for Science Information - ISI) desde 1963. Esta base de
dados multidisciplinar está disponível na Internet na ISI Web of Knowledge
(http://apps.isiwebofknowledge.com ) e pertence atualmente à Thomson Reuters. Apesar
de em 2014 ter passado a incluir a base Scielo, que contem artigos de publicações do
mundo científico latino e latino-americano, as suas limitações estão abundantemente
descritas (Durieux & Gevenois, 2010; Faou & Robert, 2007) incluindo o facto de privilegiar
a produção científica anglo-saxónica, em língua inglesa.
Tem maior cobertura na área das Ciências do que das Humanidades (cerca de 80% dos
conteúdos são das Ciências) (Lopes, Costa, Fernández-Llimós, Amante, & Lopes, 2012).
A Scopus, criada pela Elsevier em 2004 como concorrente direta da WoS, tem mais
conteúdos europeus que a WoS e inclui mais idiomas para além do inglês mas mantem a
aposta nas revistas de Ciência e tecnologia em detrimento das Humanidades. Produz o
SCImago Journal Rank (SJR) (http://www.scimagojr.com/ )
10. Outros índices
O Google Scholar Metrics (GMS) criado em 2012, é uma métrica obtida a
partir da contagem de citações, de acesso gratuito, contrariamente às duas
outras ferramentas. Adota o h-index como indicador. As principais críticas
incluem o facto de não haver informação quanto ao número de registos
indexados nem controlo de qualidade, uma vez que também são
considerados, por exemplo, repositórios de preprints (Vieira, 2013). Para além
de ser possível a um investigador manipular os resultados através da criação
de falsas citações (Lopez-Cozar, Robinson-Garcia, & Torres-Salinas, 2012).
Outros índices considerados no Despacho Reitoral RT 59/2012 – Avaliação
de desempenho de docentes : European Research Index for Humanities
(https://dbh.nsd.uib.no/publiseringskanaler/erihplus/ ), Latindex
(www.latindex.unam.mx ) ou Scielo (Scientific Electronic Library
Online)(http://www.scielo.org ).
11. ORCID - HUB
FCT para a
produção
científica
nacional
WoS; SCOPUS
(bases de dados de
indexação com
indicadores
bibliométricos
Google
DeGois –
sistema CV
investigadores
Sapientia
integrado
no RCAAP
(compatibilidade entre o
DeGois e o ORCID ainda
não existe)
(compatibilidade entre
o DeGois e o Sapientia)
COMPATIBILIDADE ENTRE SISTEMAS DE INFORMAÇÃO E BASES DE DADOS
12.
Web of Science
European Research Index for Humanities
latindex
Scopus
Scielo
Bases de dados de I&A multidisciplinar
13. Problemas do Google Scholar
Fraca identificação:
Dos autores
Dos artigos (que estão disponíveis na Internet em várias versões, através de
diversos coautores)
Das revistas
Vantagens:
Muito melhor cobertura da literatura fora da língua inglesa e da ciência anglo-
saxónica
Faou, E., & Robert, P. (2007). Analysis document – INRIA Evaluation Committee What
do bibliometric indicators measure?, (September), 1–33.
14. Considerações sobre indicadores bibliométricos
Não são pacificamente aceites como a forma mais exata de caraterizar a produção
em ciência;
Os indicadores quantitativos são facilmente manipuláveis por indivíduos, instituições
ou pelas próprias revistas;
Têm subjacente um grau de injustiça inerente à comparação de áreas científicas com
diferentes padrões de citação, representatividade editorial deficiente de algumas
áreas geográficas ou de algumas línguas;
Certos indicadores bibliométricos têm um peso desproporcional como é o caso, por
exemplo, do FI;
Problemas com termos homógrafos: consistência dos nomes dos autores e
identificação unívoca de autores e de revistas
15. Publish or Perish http://www.harzing.com/pop.htm
Programa que encontra e analisa citações através do Google Scholar
mas com análises mais detalhadas obtendo as seguintes métricas:
N.º total de artigos e de citações
Média de citações por artigo, citações por autor, artigos por autor, e
citações por ano
Hirsch's h-índice
Egghe's g-índice
H-índice contemporâneo
Variações nos h-indices
Taxas de citação de acordo com as datas de publicação
N.º de autores por artigo
20. Bibliografia
DURIEUX, Valérie; GEVENOIS, Pierre Alain - Bibliometric Indicators : Quality Measurements of
Scientific Publication, atual. 2010.
FAOU, E.; ROBERT, P. - Analysis document – INRIA Evaluation Committee What do bibliometric
indicators measure? September (2007) 1–33.
LOPES, Carlos Alberto - Qualidade de serviço em bibliotecas universitárias: desenvolvimento e
validação de um instrumento de avaliação,. 2006).
LOPES, Sílvia et al. - A Bibliometria e a Avaliação da Produção Científica: indicadores e ferramentas.
Em Actas do Congresso Nacional de Bibliotecários, Arquivistas e Documentalistas [Em linha]. [S.l.] :
BAD, 2012 [Consult. 27 nov. 2014]. Disponível em
WWW:<URL:http://www.bad.pt/publicacoes/index.php/congressosbad/article/view/429/pdf>.
VIEIRA, Elizabeth De Sousa - Indicadores bibliométricos de desempenho científico : estudo da
aplicação de indicadores na avaliação individual do desempenho científico Elizabeth de Sousa Vieira.
[S.l.] : Universidade do Porto, 2013
Editor's Notes
Problemas do FI
Problema das áreas diferentes
Problema das áreas em que os artigos se tornam mais rapidamente obsoletos que têm FI mais elevados ou dos grupos de investigação com maior número de investigadores, em que as citações têm necessariamente de ser superiores em quantidade.
Centrado na realidade americana