La valutazione della ricerca di ateneo, i ranking internazionali e le graduatorie nazionali

La valutazione della ricerca di ateneo, i ranking
internazionali e le graduatorie nazionali
Alberto Baccini
Bologna, 21 novembre 2014

Alberto Baccini, Ranking e valutazione
http://www.bostonmagazine.com/news/article/2014/08
/26/how-northeastern-gamed-the-college-rankings/
“…schools ranked highly received
increased visibility and prestige,
stronger applicants, more alumni
giving, and, most important,
greater revenue potential. A low
rank left a university scrambling
for money.”

La classifica avulsa THE
http://www.roars.it/online/un-the-molto-dolce-per-la-normale-di-pisa/

Benchmarking

Tutta colpa del bosone di Higgs

Tutta colpa del bosone di Higgs
http://www.sciencedirect.com/science/article/pii/S037026931200857X

THE abbandona TR

http://liorpachter.wordpress.com/tag/king-abdulaziz-
university/

http://www.universityaffairs.ca/university-rankings-
a-game-of-snakes-and-ladders.aspx

ANVUR non fa classifiche…
Fonte: rapporto finale p. 7

…ANVUR fa graduatorie.

I quadrati magici bibliometrici della VQR

20%
20%
10%
50%

Ma come sono fatti i bersagli VQR veri?
Ce lo dice l’ANVUR: infatti, la Tabella A1.1 ci fornisce proprio le
dimensioni degli anelli del bersaglio per ciascuna area CUN

I bersagli veri cambiano da area ad area e sono
molto diversi dal bersaglio teorico

40%
25%
14%
21%
«Vincere facile»
22%
21%
13%
44%
Ingegneria
Industriale e
dell’Informazione
Scienze
Mediche

Non c’è concordanza tra peer review e
bibliometrica per cui

Confronto tra prodotti eccellenti nella VTR e
nella VQR

Alternative locali di policy
 Gaming the rules of ANVUR
 Eliminare i ricercatori «non produttivi»
 Ghost authorship
 Costruire cartelli citazionali
 Controllare riviste con IF

Alternative locali di policy
 Sganciare la valutazione ed il finanziamento locale
da quello nazionale
 La valutazione locale ha legittimazione maggiore di
quella nazionale
 Scelta dalle comunità scientifiche locali
 Obiettivi del finanziamento locale
 Favorire la biodiversità della ricerca
 Promuovere la qualità della ricerca
 Raccomandazioni per la valutazione locale

Un buon punto di partenza per scrivere buone
regole

Le raccomandazioni di DORA
 «Non usare metriche riferite alle riviste, come i fattori di impatto della
rivista, come misura surrogata della qualità dei singoli articoli di ricerca, per
valutare i contributi del singolo scienziato, o per decisioni relative ad
assunzioni, promozioni e finanziamenti»
 Tre i temi:
1. la necessità di valutare la ricerca per i suoi propri meriti e non sulla base
della rivista su cui è pubblicata;
2. la necessità di sfruttare al meglio le opportunità fornite dalla pubblicazione
on-line (riducendo per esempio i limiti non necessari imposti del numero
di pagine, figure e riferimenti bibliografici negli articoli, e esplorando
nuovi indicatori di importanza e impatto)”

Il contenuto è più importante del luogo di
pubblicazione (DORA)
1. rendere espliciti i criteri usati per valutare la produttività scientifica e per le
decisioni di assunzione, tenure e promozione, e sottolineare chiaramente,
specialmente per i giovani ricercatori, che il contenuto scientifico di un
articolo è molto più importante delle metriche della pubblicazione e
dell’identità della rivista nel quale è pubblicato.
2. considerare, ai fini della valutazione della ricerca, il valore e l’impatto di tutti
i prodotti della ricerca (inclusi i datasets e il software) in aggiunta alle
pubblicazioni, e considerare un ampio insieme di misure di impatto che
includono indicatori qualitativi dell’impatto della ricerca, come l’influenza
sulle politiche e sulle pratiche.

Evitare le classifiche delle riviste

Raccomandazione DORA per i ricercatori
 “18. Mettere in dubbio le pratiche di valutazione della
ricerca che fanno affidamento impropriamente su fattori di
impatto delle riviste, e promuovere e insegnare le migliori
pratiche centrate sul valore e l’influenza dei singoli prodotti
della ricerca”

Ridurre i danni della valutazione: anche a livello
locale
 http://www.roars.it/online/come-ridurre-i-danni-della-valutazione-un-commento-a-margine-di-donald-
gillies/

La valutazione della ricerca di ateneo, i ranking internazionali e le graduatorie nazionali

Recommended

Recommended

More Related Content

Similar to La valutazione della ricerca di ateneo, i ranking internazionali e le graduatorie nazionali

Similar to La valutazione della ricerca di ateneo, i ranking internazionali e le graduatorie nazionali (18)

More from Alberto Baccini

More from Alberto Baccini (14)

La valutazione della ricerca di ateneo, i ranking internazionali e le graduatorie nazionali