Obiettivi e metodi di valutazione della ricerca. Alcune note

Obiettivi e metodi di valutazione della
ricerca. Alcune note
Alberto Baccini (Università di Siena, ROARS)
Seminario ACRI: «Linee guida ACRI per la valutazione dei
risultati dei progetti di ricerca»
Modena, 5 luglio 2013

Alberto Baccini, Valutare la ricerca scientifica
«Non vi sono evidenze adeguate che stabiliscano se sia
meglio dare più risorse a pochi scienziati oppure
distribuire finanziamenti più piccoli a un maggior numero
di ricercatori. […] noi dovremo trovare il modo di
stabilire quale approccio funzioni meglio. E’ uno scandalo
che miliardi di dollari siano spesi per ricerca senza sapere
quale sia il migliore modo per distribuire i finanziamenti»
John P.A. Ioannidis, Nature (2011)

La «repubblica autonoma» della scienza e la valutazione
della ricerca
 I meccanismi autonomi di riconoscimento della qualità della ricerca:
 priorità, eponimia, citazioni, premi etc.
 Il lungo periodo della scienza vs. il breve periodo della “società della
conoscenza”
 Separazione tra obiettivi (politici) della valutazione e sua realizzazione
 Come si valuta la ricerca?
 Ex ante; in itinere; ex post
 Peer review vs. bibliometria?
 Quanto costa valutare la ricerca?
 Accuratezza vs. costi della valutazione: boiling frog syndrome
 Are we creating a Frankenstein monster? (Ben R. Martin 2012)

La valutazione dei pari (peer review)
 La valutazione condotta dai pari è il peggiore dei modi per
giudicare la qualità della ricerca; il fatto è che non ce ne sono di
migliori
 http://www.scribd.com/doc/63421310/European-Peer-Review-Guide
 http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/85602.htm
 La contrapposizione tra “revisione diretta dei pari” e “uso degli
indicatori bibliometrici” è fuorviante
 Entrambe le forme di valutazione sono basate sul giudizio di
qualità espresso dai pari (in forma diretta o indiretta)
 La valutazione massiva basata su indicatori bibliometrici è meno
costosa, ma richiede conoscenze tecniche specifiche

La bibliometria misura l’impatto della ricerca, non
qualità e importanza
 Per qualità di un contributo scientifico si intende il riconoscimento che la ricerca è
stata ben condotta in riferimento agli standard prevalenti (originalità, rilevanza, rigore
metodologico…) in un certo momento del tempo.
 Un articolo pubblicato su una rivista che usa la peer review è di qualità
 Indicatori bibliometrici di produzione di qualità
 Per impatto accademico si intende il riconoscimento tributato ad contributo
scientifico dalla comunità dei pari attraverso le citazioni in un dato intervallo temporale.
 Un articolo molto citato è un articolo con un elevato impatto nella comunità scientifica
 Indicatori bibliometrici citazionali
 Per importanza di un contributo scientifico si intende la capacità di un contributo
scientifico di influenzare nel lungo periodo le ricerche condotte da altri, di produrre
conoscenza utilizzata da altri nel proprio lavoro, di aprire la strada a nuove vie per lo
sviluppo della scienza
 Ricerca dimenticata e belle addormentate
 Per impatto economico e sociale si intendono gli effetti economici e sociali della
ricerca (third mission)

Dimensioni della valutazione

In difesa della Rivista di Suinicultura

http://am.ascb.org/dora/
8356 sottoscrittori individuali; 329 organizzazioni

Le raccomandazioni DORA
 Sono rivolte ai diversi attori del mondo della ricerca:
 agenzie di finanziamento, istituzioni editori, organizzazioni che producono dati
bibliometrici, singoli ricercatori
 Tre i temi:
1. “la necessità di eliminare l’uso delle metriche riferite alle riviste –come l’impact
factor- per il finanziamento, il reclutamento e le promozioni;
2. la necessità di valutare la ricerca per i suoi propri meriti e non sulla base
della rivista su cui è pubblicata;
3. la necessità di sfruttare al meglio le opportunità fornite dalla pubblicazione
on-line (riducendo per esempio i limiti non necessari imposti del numero
di pagine, figure e riferimenti bibliografici negli articoli, e esplorando
nuovi indicatori di importanza e impatto)”

Raccomandazione generale
 «Non usare metriche riferite alle riviste, come i fattori di
impatto della rivista, come misura surrogata della qualità dei
singoli articoli di ricerca, per valutare i contributi del singolo
scienziato, o per decisioni relative ad assunzioni, promozioni
e finanziamenti»

Non c’è correlazione tra IF della rivista e citazioni
agli articoli che vi sono contenuti

Quanti articoli apparsi su Nature non non sono mai
stati citati?
h:-index: 734 Fonte: Scimago: 3 luglio 2013

Ma le riviste con più elevato IF adottano criteri più
stringenti di selezione…

Schultz,D.M.(2010)."RejectionRatesforJournalsPublishinginthe
AtmosphericSciences."BulletinoftheAmericanMeteorologicalSociety91(2):
231-243.
Kurmis,A.P.andT.P.Kurmis(2006)."Exploringtherelationshipbetween
impactfactorandmanuscriptrejectionratesinradiologicjournals."Academic
radiology13(1):77-83.

Le raccomandazioni DORA per le agenzie di
finanziamento
1. rendere espliciti i criteri usati per valutare la produttività scientifica e per le
decisioni di assunzione, tenure e promozione, e sottolineare chiaramente,
specialmente per i giovani ricercatori, che il contenuto scientifico di un
articolo è molto più importante delle metriche della pubblicazione e
dell’identità della rivista nel quale è pubblicato.
2. considerare, ai fini della valutazione della ricerca, il valore e l’impatto di tutti
i prodotti della ricerca (inclusi i datasets e il software) in aggiunta alle
pubblicazioni, e considerare un ampio insieme di misure di impatto che
includono indicatori qualitativi dell’impatto della ricerca, come l’influenza
sulle politiche e sulle pratiche.

Gli indicatori bibliometrici cambiano con il
livello di aggregazione della valutazione
La valutazione richiede strumenti tarati sul livello di
aggregazione:
1. La produzione scientifica di un ricercatore;
2. Gli articoli pubblicati in una rivista o i libri pubblicati da un editore;
3. La produzione scientifica di un gruppo di ricerca (dipartimento, facoltà etc.);
4. La produzione scientifica di un intera area disciplinare, campo di ricerca o
disciplina (VQR);
5. La produzione scientifica di una regione o di una nazione.

Ma gli archivi bibliografici e citazionali
contengono tutte le informazioni rilevanti?
 ISI, Scopus, Google Scholar
 Archivi disciplinari (EconLit, PubMed …)
 Non esistono discipline cui per la loro natura speciale non
possano essere applicati indicatori bibliometrici
 Per alcune discipline al momento attuale gli
indicatori bibliometrici sono scarsamente affidabili

Copertura dei database bibliografici

Digressione sulla qualità dei dati: Google Scholar
http://www.roars.it/online/?p=7402

Digressione sulla qualità dei dati: Google Scholar

Le citazioni visibili

Le citazioni visibili nelle varie discipline

h-index: un indicatore bibliometrico di fine
Ottocento


h-graph su Scopus

H-index

Scienziati selettivi

Approccio inferenziale

I Nobel in fisica e medicina:
h-index e h-confidence set

I Nobel in chimica e economia:
h-index e h-confidence set

Medaglie Fields: h-index e h-confidence set

Ma due h-index diversi sono davvero diversi?

Alcune regole
1. Per approssimare la multidimensionalità del giudizio del revisore, è
consigliabile l’uso di “pacchetti di indicatori” (es. n ; c)
2. Le misure bibliometriche vanno sempre lette e interpretate in riferimento a
misure strutturali di controllo (es. IF)
 Evita l’abuso di presentare misure bibliometriche in valore assoluto e senza valori
comparativi
3. Scegliere accuratamente gli indicatori in relazione all’oggetto della
valutazione (citazioni vs. IF) ed agli obiettivi
 Evita l’abuso dell’IF/h-index come unica misura per qualsiasi tipo di valutazione
4. Quando la risoluzione è molto elevata (singolo ricercatore, singolo prodotto
di ricerca) è utile affiancare all’uso degli indicatori
la revisione diretta dei pari
 Evita il frequente abuso di sommare gli IF per valutare un
ricercatore

Problemi noti
 Difficile applicazione alle SSH
 Tendenza a favorire ricerca mainstream
 Tendenza a modificare comportamento citazionale
 In assenza di regole deontologiche condivise
 Adatti ad evitare errori di tipo II: ridurre falsi positivi
(dare bollino di qualità a prodotti che non lo sono)
 Soggetti ad errori di tipo I (negare bollino di qualità a
prodotti che sono di qualità)
MISURE PER IL PLURALISMO NELLA RICERCA

Raccomandazione DORA per i ricercatori
 “18. Mettere in dubbio le pratiche di valutazione della
ricerca che fanno affidamento inappropriatamente su fattori
di impatto delle riviste e promuovere e insegnare le migliori
pratiche centrate sul valore e l’influenza dei singoli prodotti
della ricerca”

Obiettivi e metodi di valutazione della ricerca. Alcune note

Recommended

Recommended

More Related Content

Similar to Obiettivi e metodi di valutazione della ricerca. Alcune note

Similar to Obiettivi e metodi di valutazione della ricerca. Alcune note (20)

More from Alberto Baccini

More from Alberto Baccini (16)

Obiettivi e metodi di valutazione della ricerca. Alcune note