Ma una valutazione massiva della ricerca tipo REF o VQR serve davvero? E perché gli accademici accettano la retorica dell'eccellenza? La ricerca deve essere solida, non "eccellente". Intervento al XIII convegno STOREP, Catania, 24 giugno 2016

1. Collaborazionisti o resistenti. L’accademia
ai tempi della valutazione della ricerca
Alberto Baccini
(Dipartimento di economia politica e statistica, Università di Siena;
Redazione Roars)
Catania, XIII Convegno STOREP, 24 giugno 2016

2. Ma una valutazione massiva ex post della
ricerca serve davvero?
 Argomento 1. Sì perché così fan tutti

3. Ma una valutazione massiva ex post della
ricerca serve davvero?
 Argomento 1. Sì perché così fan tutti
 La politica universitaria di Margareth Thatcher
 UK: RAE 1986
 «it was Leninism» (S. Jenkins, Thatcher and Sons)

4. Ma una valutazione massiva ex post della
ricerca serve davvero?
 Argomento 1. Sì perché così fan tutti
«The UK and Italy are the only countries that have implemented a Peer
Review Bases Research Assessment system that (potentially) evaluate all
academic staff in order to allocate research funding» (Aldo Geuna and
Matteo Piolatto, 2016)
(L’Italia è l’unico paese a concentrare in una unica agenzia ANVUR tutte le
funzioni di valutazione (didattica, ricerca, amministrazione, trasparenza).
ANVUR ha il consiglio direttivo più costoso del mondo) (Baccini 2013,
2015)

5. Ma una valutazione massiva ex post della
ricerca serve davvero?
 Argomento 2: ci sono indubitabili benefici
(superiori ai costi)
Avete mai letto una analisi basati su dati degli effetti
benefici della valutazione massiva ex-post?
«Geuna and Martin (2003) having reviewed approches in 12
countries, warn that PBRF may have initial benefits outweighing
costs, but over time produces diminishing returns» (Ian McNay,
2010)

6. Ma una valutazione massiva ex post della
ricerca serve davvero?
 Argomento 2: ci sono indubitabili benefici
(superiori ai costi)
Ci sono però lunghi e pensosi elenchi di advantages
and drawbacks
E stime dei costi limitate a UK £246m (technopolis)
e Italia (€300m Sirilli; €182m Geuna-Piolatto 2014;
€71m Geuna-Piolatto 2015)

7. Ma una valutazione massiva ex post della
ricerca serve davvero?
 Argomento 3: dobbiamo rendere conto al contribuente
del nostro lavoro
Ma davvero una valutazione massiva raggiunge lo scopo?
Ma a che servono le università?
E perché l’università deve essere valutata solo per questa
parte del lavoro?
E se è solo per rendere conto, perché si legano
finanziamenti automatici ai risultati della valutazione?

8. Ma una valutazione massiva ex post della
ricerca serve davvero?
 Argomento 4: dobbiamo individuare (e possibilmente
eliminare) le «code basse», specialmente in Italia

9. Ma una valutazione massiva ex post della
ricerca serve davvero?
 Argomento 4: dobbiamo individuare (e possibilmente
eliminare) le «code basse», specialmente in Italia
(MichaelKeating,2011)

10. Ma una valutazione massiva ex post della
ricerca serve davvero?
 Argomento 4: dobbiamo individuare (e possibilmente
eliminare) le «code basse», specialmente in Italia

11. Ma una valutazione massiva ex post della
ricerca serve davvero?
 Argomento 4: dobbiamo individuare (e possibilmente
eliminare) le «code basse», specialmente in Italia
Fonte:mieelaborazionisudatiANVUR
certosinamenteraccoltidaFrancesco
Prota

12. Ma una valutazione massiva ex post della
ricerca serve davvero?
 Argomento 4: dobbiamo individuare (e possibilmente
eliminare) le «code basse», specialmente in Italia
Per scovare ogni fannullone si sono spesi tra:
82.465€ - 135.931€

13. Ma una valutazione massiva ex post della
ricerca serve davvero?
 Argomento 5: la valutazione fornisce incentivi
individuali e collettivi per l’adozione di comportamenti
che spingono al miglioramento dei risultati della ricerca
Apologetica della valutazione: «Come ho mostrato più sopra [chissà dove],
non esiste, a mio modo di vedere , una evidenza empirica robusta sul fatto
che la valutazione o anche i sistemi di publish or perish, inducano nel lungo
periodo effetti distorsivi permanenti [chissà che vuol dire] sulla ricerca.»
(Bonaccorsi, 2015: 170)

16. Ma una valutazione massiva ex post della
ricerca serve davvero?
 Argomento 5: la valutazione fornisce incentivi
individuali e collettivi per l’adozione di comportamenti
che spingono al miglioramento dei risultati della ricerca
In summary, the evidence indicates that performance-informed (with or
without a formal link between perfomance and funding) does indeed increase the
pressure on researchers and institutions to meet the performence criteria,
irrespective of wheteher the latter are based on peer review or on citations.
This is clearly an intended effect. […] The research community respond
strategically, and this may in turn create unintended effects, either through the
mechanismo of goall dispacement or through more structural changes in
research prioriteies, publication activities, or research capacities and
organization» (P. Wouters, 2014)

18. Gaming

22. Argomenti a favore di esercizi nazionali di
valutazione della ricerca
 Argomento 1. Così fan tutti
 Argomento 2. Ci sono indubitabili benefici
(superiori ai costi)
 Argomento 3. Dobbiamo rendere conto al
contribuente
 Argomento 4. Code basse
 Argomento 5. Spinge a comportamenti desiderabili

23. A che serve allora la valutazione massiva ex post
della ricerca?
1. Come strumento di controllo dei comportamenti
accademici da parte dei governi
 Governmentality (Foucault)
2. Per placare «semi-outsiders: funders, governements,
university administrators a suspicious general public»
 E ricevere risorse
3. Come screening device del capitale all’epoca della
«società della conoscenza»
 Cognitive capitalism

24. Perché i ricercatori accettano di giocare al
gioco della valutazione?
 A partire da «Frammento sulle macchine» Grundrisse
di Marx
 «Assessment seduces» (Coin 2014)
 «excellence that tries to seduce labor is the semblance of freedom»
 Assessment «presents itself as measure and a system, it present
itself as progress»
 «Assessment is a soul-sourcing device»

25. A plea for pluralism?
 Discutiamo delle regole
 Discutiamo delle technicalities
 Discutiamo delle metriche
 Aggiustiamo le liste di riviste
 Partecipiamo alla peer review per raddrizzare i giudizi
distorti altrui
 Pretendiamo di esprimere commissari (di
minoranza) nei panel
 Ma non possiamo non partecipare al gioco dell’eccellenza

26. Collaborazionisti o resistenti?
“It was said in occupied France during the
Second World War that one way to tell
collaborateurs from résistants was that the former
used the bureaucratic terminology of the
occupying power without grimacing. […] One
way in which it might start to regain it would
be to return to using categories and concepts
which suggest an adequate understanding of
the activities which an academic community
exists to promote in the first place. Until the
[evaluation agency] shows some sign of
recognizing this truth, the charge of
Pétainisme will remain to be answered.”

27. Cambiare retorica
 Dall’excellence alla soundness
 «the quality or fact of being in harmony with solid or
well-established principles or facts»
 Solidità
 Salute
 Fondatezza
 «Sound research is good research»

28. La ricerca solida
 È descritta con standard appropriati
 È basata sull’evidenza
 È frutto di comportamenti corretti
 Garantisce la riproducibilità dei risultati
Doing things properly
 Charte de la desexcellence
 http://lac.ulb.ac.be/LAC/charte_files/Charte_Desexcellence_1-1.pdf

29. Gli ineccellenti si impegnano a:
http://www.roars.it/online/un-antidoto-al-
feticismo-delleccellenza-la-carta-per-
lineccellenza/

30. Grazie per l’attenzione…