Intervento a L'altraeconomia organizzato da Rethinking economics, Bologna, 6 maggio 2016. Cosa hanno a che fare pluralismo in economia e valutazione della ricerca?

2. La valutazione della ricerca ed i suoi
oppositori
Alberto Baccini
(Dipartimento di economia politica e statistica, Università di Siena;
Redazione Roars)
Bologna, 6 maggio 2016

5. Le origini della valutazione della ricerca
 La politica universitaria di Margareth Thatcher
 UK: RAE 1986
 «it was Leninism» (S. Jenkins, Thatcher and Sons)

7. Il cattivo disegno dell’ANVUR
 Struttura napoleonica:
 controllo ministeriale centralizzato
 Agenzia plenipotenziaria di valutazione (ANVUR):
 tutte le attività di valutazione della ricerca
 «assicurazione della qualità» della didattica
 performance della macchina amministrativa delle università
 Sistema sbilanciato governato da una élite (di nomina politica)
 Il sistema attuale attribuisce indirettamente alla politica e ad una ristretta
élite «organica» ad ANVUR, un potere senza contrappesi su università e
ricerca

8. Errori nel disegno
 Consiglio direttivo direttamente operativo
Rischio (realizzato) di inadeguatezza tecnica
 Modalità di nomina del consiglio direttivo
 Dipendente dal ministro
 Filtraggio inadeguato
 Attività governate con scelte top-down
 Es. Gruppo di esperti di valutazione di economia per VQR

9. Stenografico della Commissione cultura
della Camera del 24 settembre 2015
Francesco D’UVA (M5S) annuncia che i deputati del suo gruppo non parteciperanno alle
votazioni sulle proposte di nomina. Rileva, in particolare, relativamente alla nomina del
professor Miccoli, che il voto contrario è dovuto al fatto che, come documentato su
www. roars.it, le linee programmatiche di Miccoli contengono estratti letterali – non
virgolettati – provenienti da quattro testi di altri autori da lui non citati:
1.Evarita D’Archivio, “La riforma Brunetta e la realtà dell’università” su Altalex, 2010,
2.Eliana Minelli, Gianfranco Rebora, Matteo Turri, “Valutare o misurare i risultati? Il caso
dell’università” su LIUC papers 2005,
3.S. Cesaratto, S. Avveduto, M. C. Brandi, Antonella Stirati “Il Brutto Anatroccolo. Il
Dottorato di ricerca in Italia fra università, ricerca e mercato del lavoro”. Franco Angeli
1994.
4.Andrea Bonaccorsi, Presentazione al XII Convegno Codau, 2014. Ritiene dunque non
accettabile che chi, nella scrittura delle sue linee programmatiche, abbia fatto uso letterale,
non citando il materiale altrui, possa essere nominato a far parte del Consiglio di gestione
dell’ANVUR.

12. Bisin Alberto New York University GEV 13
Terlizzese Daniele BDI GEV 13
Schivardi Fabiano Università di Cagliari GEV 13 2015
Peracchi Franco (candidato Lazio) Università di Roma Tor Vergata GEV 13
Dagnino Giovanni Università di Catania GEV 13
Federico Giovanni European University Institute GDL
Bottazzi Laura Università di Bologna GEV13
Dardanoni Valentino Università di Palermo GEV13
Francesca Cornelli (garante!) London Business School GEV13
Giorgio Brunello (sostenitore) Università di Padova GEV13
Sandro Brusco New York University GEV 13 2015
Gianni De Fraia Univ. of Nottingham GEV 13 2015
Francesco Lippi Univ. Sassari GEV 13 2015

13. Troppe competenze per una sola agenzia

15. Costi del direttivo

16. In prima pagina sul Corriere

17. Le riviste pazze alla ribalta internazionale

21. S. Fantoni: «il Paese possiede una fotografia
dettagliatissima e, soprattutto, certificata
della qualità della ricerca italiana»
(ANSA, 17.7.2013)

27. Dati VQR non comparabili tra aree diverse
Fonte:rapportofinalep.7

28. 40%
25%
14%
21%
22%
21%
13%
44%
«Vincere facile»
1
0,8
0,5
0
1
0,8
0,5
0

29. 40%
25%
14%
21%
22%
21%
13%
44%
«Vincere facile»
Ingegneria
Industriale e
dell’Informazione
Scienze
Mediche

31. I bersagli veri cambiano da area ad area e sono
molto diversi dal bersaglio teorico

32. La bibliometria pedagogica dell’ANVUR
pedagogica

33. Schultz,D.M.(2010)."RejectionRatesforJournalsPublishinginthe
AtmosphericSciences."BulletinoftheAmericanMeteorologicalSociety91(2):
231-243.
Kurmis,A.P.andT.P.Kurmis(2006)."Exploringtherelationshipbetween
impactfactorandmanuscriptrejectionratesinradiologicjournals."Academic
radiology13(1):77-83.

34. Top journal!

41. Gaming

42. Qualcosa sta cambiando …

44. Adozione di standard metodologici adeguati
http://am.ascb.org/dora/
12.735 sottoscrittori individuali; 590 organizzazioni

45. Le raccomandazioni di DORA
 «Non usare metriche riferite alle riviste, come i fattori di impatto della
rivista, come misura surrogata della qualità dei singoli articoli di ricerca, per
valutare i contributi del singolo scienziato, o per decisioni relative ad
assunzioni, promozioni e finanziamenti»
 Tre i temi:
1. la necessità di valutare la ricerca per i suoi propri meriti e non sulla base
della rivista su cui è pubblicata;
2. la necessità di sfruttare al meglio le opportunità fornite dalla pubblicazione
on-line (riducendo per esempio i limiti non necessari imposti del numero
di pagine, figure e riferimenti bibliografici negli articoli, e esplorando
nuovi indicatori di importanza e impatto)”

46. Il contenuto è più importante del luogo di
pubblicazione (DORA)
1. rendere espliciti i criteri usati per valutare la produttività scientifica e per le
decisioni di assunzione, tenure e promozione, e sottolineare chiaramente,
specialmente per i giovani ricercatori, che il contenuto scientifico di un
articolo è molto più importante delle metriche della pubblicazione e
dell’identità della rivista nel quale è pubblicato.
2. considerare, ai fini della valutazione della ricerca, il valore e l’impatto di tutti
i prodotti della ricerca (inclusi i datasets e il software) in aggiunta alle
pubblicazioni, e considerare un ampio insieme di misure di impatto che
includono indicatori qualitativi dell’impatto della ricerca, come l’influenza
sulle politiche e sulle pratiche.

48. Grazie per l’attenzione…