ANVUR, VQR, ROARS, valutazione della ricerca, scienze umane, bibliometria,

1. Valutare le scienze umane e sociali con
indicatori bibliometrici. Si può fare?
Alberto Baccini (Unisi)
La valutazione della ricerca
Sassari, 24 novembre 2011

2. Alberto Baccini, Bibliometria per le SSH?
Lo «scontro» sulla valutazione
 Impact Factor, H-index e derivati sono spesso usati come una clava per
scardinare le baronie nazionali.
 Altri negano che gli indicatori bibliometrici abbiano qualsiasi significato
ed utilità. Specialmente per le scienze umane.
 Le misure bibliometriche sintetizzano informazioni sulla qualità e
l’impatto della ricerca basate sulla peer review, secondo le pratiche
condivise da secoli nella comunità accademica internazionale.
 Non esistono discipline cui per la loro natura speciale non possano essere applicati
indicatori bibliometrici; per alcune discipline al momento gli indicatori
bibliometrici sono scarsamente affidabili.
 Il loro uso “accorto e consapevole” è utile per le decisioni sul
finanziamento della ricerca.

3. Alberto Baccini, Bibliometria per le SSH?
Qualità, importanza, impatto
 Per qualità di un contributo scientifico si intende il riconoscimento che la
ricerca è stata ben condotta in riferimento agli standard prevalenti (originalità,
rilevanza, rigore metodologico…) in un certo momento del tempo.
 Un articolo pubblicato su una rivista che usa la peer review è di qualità
 Indicatori bibliometrici di produzione di qualità
 Per impatto si intende il riconoscimento tributato ad contributo scientifico
dalla comunità dei pari attraverso le citazioni in un dato intervallo temporale.
 Un articolo molto citato è un articolo con un elevato impatto nella comuità scientifica
 Indicatori bibliometrici citazionali
 Per importanza di un contributo scientifico si intende la capacità di un
contributo scientifico di influenzare nel lungo periodo le ricerche condotte da
altri, di produrre conoscenza utilizzata da altri nel proprio lavoro, di aprire la
strada a nuove vie per lo sviluppo della scienza
 Ricerca dimenticata e belle addormentate

4. Alberto Baccini, Bibliometria per le SSH?
Ma gli archivi bibliografici e citazionali
contengono tutte le informazioni rilevanti?
 Database commerciali
 WoS, Thomson Reuters
 Scopus, Elsevier
 Google Scholar
 Archivi disciplinari
 PubMed; EconLit; Philosopher’s index; Sociological abstracts;
Historical abstracts etc.

5. Alberto Baccini, Bibliometria per le SSH?
Le quattro letterature delle SSH (Hicks 2004)
 Riviste accademiche internazionali
 In inglese, peer reviewed, indicizzate
 Riviste nazionali
 In lingua nazionale, peer reviewed?, non indicizzate
 Libri
 In inglese, in lingua nazionale
 Pubblicazioni non accademiche
 Trasferimento di «conoscenza nuova» per i lettori

6. Alberto Baccini, Bibliometria per le SSH?
European SSH journal coverage
Diana Hicks and Jian Wang. 2010. "Coverage and overlap of the new social science and humanities
journal lists" forthcoming in JASIST.

7. Alberto Baccini, Bibliometria per le SSH?
Adeguatezza del grado di copertura

8. Alberto Baccini, Bibliometria per le SSH?
Misure della produzione scientifica
Scopus Scholar
Umberto Eco 6 >1000
A.L. Barabasi 169 793
H. Moed 78 >1000
(26 settembre 2011)

9. Alberto Baccini, Bibliometria per le SSH?
Quanto producono umanisti e scienziati sociali?
Etxebarria,GoioandGomez-Uranga,Mikel(2010),'UseofScopusand
GoogleScholartomeasuresocialsciencesproductioninfourmajor
Spanishuniversities',Scientometrics,82(2),333-49.

10. Alberto Baccini, Bibliometria per le SSH?
Un caso italiano
Area CUN n. docenti
%
docenti
Docenti
non
presenti su
Scopus
% docenti
presenti su
Scopus
Pubblicazioni
08-10 su
Scopus % pubbl.
01 - Scienze matematiche e informatiche 39 4,1% 8 79,5% 176 2,9%
02 - Scienze fisiche 14 1,5% 0 100,0% 621 10,2%
03 - Scienze chimiche 57 6,0% 0 100,0% 791 13,0%
04 - Scienze della terra 28 3,0% 0 100,0% 124 2,0%
05 - Scienze biologiche 107 11,3% 1 99,1% 855 14,0%
06 - Scienze mediche 240 25,3% 2 99,2% 2674 43,8%
07 - Scienze agrarie e veterinarie 2 0,2% 1 50,0% 1 0,0%
08 - Ingegneria civile e Architettura 3 0,3% 3 0,0% 0 0,0%
09 - Ingegneria industriale e dell'informazione 43 4,5% 2 95,3% 599 9,8%
10 - Scienze dell'antichità, filologico-letterarie e storico-artistiche 111 11,7% 93 16,2% 34 0,6%
11 - Scienze storiche, filosofiche, pedagogiche e psicologiche 98 10,3% 72 26,5% 56 0,9%
12 - Scienze giuridiche 93 9,8% 85 8,6% 10 0,2%
13 - Scienze economiche e statistiche 91 9,6% 28 69,2% 155 2,5%
14 - Scienze politiche e sociali 21 2,2% 15 28,6% 12 0,2%
(vuoto) 1 0,1% 1 0,0% 0 0,0%
Totale complessivo 948 311 67,2% 6108
AREE 10-14 414 43,7% 293 29,2% 267 4,4%
Fonte: Nucleo di valutazione UNISI; elaborazioni su dati Scopus

11. Alberto Baccini, Bibliometria per le SSH?
Le citazioni visibili

12. Alberto Baccini, Bibliometria per le SSH?
Le citazioni visibili nelle varie discipline

13. Alberto Baccini, Bibliometria per le SSH?
Per valutare le SSH servono strumenti speciali?
 Ranking delle riviste/editori (Pontille-Torny 2010)
 ERIH (European Reference Index for the Humanities)
 AERES list (Agence d’Evaluation de la Recherche e de l’Enseignement
Superieur)
 Australian ranking (5:15:30:50) (Vanclay 2011)
 Norway ranking (20:80)
 Ranking SISCO (20:30:50), Area 12 CUN (44:26:30)
 Libcitations (White et. Al. Jasist 2009)
 Diffusione nelle biblioteche di volumi (Torres-Salinas-Moed 2009)
 Diffusione di un libro ha la stessa funzione della citazione (?)

14. Alberto Baccini, Bibliometria per le SSH?
La peer review come strumento speciale per le SSH
 Il controllo accademico nelle discipline al riparo
dalla scienza internazionale determina problemi nei
processi di peer review
 PRIN 2009
 CIVR 2001-2003.
 Diritto costituzionale
«Se si parte dall’assunto che l’internazionalizzazione si misuri dal numero dei prodotti pubblicati in lingua
straniera, allora la conclusione è che, essendo nel settore IUS/08 questi appena 5, il risultato è assai
debole. Ma forse può proporsi un parametro diverso, o almeno concorrente, cioè quello delle
tematiche affrontate, del loro respiro non angustamente rinserrato nella chiusa esperienza nazionale.
Se si ritiene non irragionevole questo punto di vista, la presenza nel triennio 2001-2003 di numerosi
prodotti che trattano temi di Diritto costituzionale generale, o attenti all’esperienza di altri
ordinamenti, può comportare una valutazione più rassicurante»

15. Alberto Baccini, Bibliometria per le SSH?
Riflessioni conclusive
 Costruzione di database bibliografici trasparenti e controllabili
-possibilità di accesso ai dati elementari- (ANPREPS)
 Indicatori di produzione/produttività
 Database citazionali (la definizione di liste di riviste nazionali può
spingere i duopolisti a includerle?)
 Evitare l’uso di strumenti semiautomatici (classifiche di
riviste/editori)
 Negli esercizi di valutazione la peer review al momento sembra la
via obbligata:
 Rendere trasparenti le procedure di revisione: pubblicazione ex post degli
elenchi dei revisori; controlli statistici sulla robustezza dei risultati

16. Alberto Baccini, Bibliometria per le SSH?
Riferimenti essenziali
Hicks, D. (2004). The four literatures of social
science in Handbook of Quantitative Science and
Technology Research, H. Moed (ed.) Kluwer
Academic: 473-496.
Hicks, D. (2009). Towards a bibliometric
database for the social sciences and humanities.
2009.
Vanclay, J. K. (2011). "An evaluation of the
Australian Research Council's journal ranking."
Journal of Informetrics 5(2): 265-274.
www.roars.it