Il mio intervento al seminario all'Università statale di Milano del 30 settembre 2011. Il primo incontro della futura redazione di www.roars.it

1. La valutazione della ricerca. Quali strumenti?
Alberto Baccini (Unisi)
Valutare la ricerca?
Milano, 30 settembre 2011

2. Alberto Baccini, Valutare la ricerca scientifica

3. Alberto Baccini, Valutare la ricerca scientifica
Valutare la ricerca?
 La ricerca come bene pubblico
 Modelli di finanziamento della ricerca
 Il modello tradizionale
 Academic earmarks
 Finanziare la ricerca «migliore»
 Trasparenza: separare decisione politica da valutazione
 Il finanziamento ed i suoi meccanismi sono incentivi
per i ricercatori
 La scelta degli strumenti dipende dall’obiettivo della
valutazione

4. Alberto Baccini, Valutare la ricerca scientifica
Lo «scontro» sulla valutazione
 Impact Factor, H-index e derivati sono spesso usati come una
clava per scardinare le baronie nazionali.
 Altri negano che gli indicatori bibliometrici abbiano qualsiasi
significato ed utilità. Specialmente per le scienze umane.
 Le misure bibliometriche sintetizzano informazioni sulla qualità e
l’impatto della ricerca basate sulla peer review, secondo le pratiche
condivise da secoli nella comunità accademica internazionale.
 Il loro uso “accorto e consapevole” è utile per le decisioni sul
finanziamento della ricerca.

5. Alberto Baccini, Valutare la ricerca scientifica
Qualità, importanza, impatto
 Per qualità di un contributo scientifico si intende il riconoscimento che la
ricerca è stata ben condotta in riferimento agli standard prevalenti (originalità,
rilevanza, rigore metodologico…) in un certo momento del tempo.
 Un articolo pubblicato su una rivista che usa la peer review è di qualità
 Indicatori bibliometrici di produzione di qualità
 Per impatto si intende il riconoscimento tributato ad contributo scientifico
dalla comunità dei pari attraverso le citazioni in un dato intervallo temporale.
 Un articolo molto citato è un articolo con un elevato impatto nella comuità scientifica
 Indicatori bibliometrici citazionali
 Per importanza di un contributo scientifico si intende la capacità di un
contributo scientifico di influenzare nel lungo periodo le ricerche condotte da
altri, di produrre conoscenza utilizzata da altri nel proprio lavoro, di aprire la
strada a nuove vie per lo sviluppo della scienza
 Ricerca dimenticata e belle addormentate

6. Alberto Baccini, Valutare la ricerca scientifica
Ma gli archivi bibliografici e citazionali
contengono tutte le informazioni rilevanti?
 ISI, Scopus, Google Scholar
 Archivi disciplinari (EconLit, PubMed , …)
 Non esistono discipline cui per la loro natura speciale non
possano essere applicati indicatori bibliometrici
 Per alcune discipline al momento gli indicatori
bibliometrici sono scarsamente affidabili

7. Alberto Baccini, Valutare la ricerca scientifica
Adeguatezza del grado di copertura

8. Alberto Baccini, Valutare la ricerca scientifica
Misure della produzione scientifica
Scopus Scholar
Umberto Eco 6 >1000
A.L. Barabasi 169 793
H. Moed 78 >1000
(26 settembre 2011)

9. Alberto Baccini, Valutare la ricerca scientifica
Le citazioni visibili

10. Alberto Baccini, Valutare la ricerca scientifica
Le citazioni visibili nelle varie discipline

11. Alberto Baccini, Valutare la ricerca scientifica
E’ opportuno adottare strumenti speciali (per
alcune scienze sociali ed umane)?
 Ranking delle riviste/editori (Pontille-Torny 2010)
 ERIH (European Reference Index for the Humanities)
 AERES list (Agence d’Evaluation de la Recherche e de l’Enseignement
Superieur)
 Australian ranking (Vanclay 2011)
 Statistiche di produzione basate su cataloghi delle
biblioteche (Torres-Salinas-Moed 2009)
 Diffusione di un libro ha la stessa funzione della citazione (?)
 Revisione dei pari
 Il controllo accademico nelle discipline al riparo dalla scienza
internazionale (Civr; Prin 2009)

12. Alberto Baccini, Valutare la ricerca scientifica
Revisione dei pari o bibliometria?
 In linea di principio nel caso di valutazioni che
riguardano grandi aggregati, la revisione diretta dei pari
è da preferirsi solo se si ritiene che potersi avvalere di
informazioni ex post migliori la qualità della valutazione
 Il VQR e le discipline umanistiche
 Il VTR e le discipline al riparo dalla “scienza internazionale”
 La produzione mediana (per le commissioni di
concorso)
 La trasparenza dei dati (database controllabili)

13. Alberto Baccini, Valutare la ricerca scientifica
Conclusioni
 La valutazione è necessaria
 I suoi strumenti sono da usare con estrema cautela
 L’autonomia della comunità scientifica deve essere strenuamente
difesa
 L’introduzione di meccanismi di valutazione rischia di distorcere
i comportamenti dei ricercatori in modi inopportuni
 Il controllo esercitato per evitare errori di tipo I nelle procedure
di valutazione, comporta un rischio elevato di incorrere in errori
di tipo II (i diamanti rosa di Gillies 2008)
 I processi di valutazione devono essere improntati alla massima
trasparenza