Notiziario UMI

Pubblichiamo una lettera che il prof. Beniamino Cappelletti Montano ha inviato alla redazione.

Il paradosso della peer-review senza revisori: riflessioni sulla VQR 2020-2024

Caro Presidente,

ti scrivo per condividere alcune riflessioni sulla quarta edizione, appena conclusa, della Valutazione della Qualità della Ricerca, e sul ruolo della comunità matematica e delle società scientifiche sulle tematiche della valutazione.

Ho avuto l’occasione di guardare alla VQR da una prospettiva privilegiata, essendo stato “Referente VQR” per il mio Dipartimento sia nella VQR 2015-2019 che nella VQR 2020-2024. Ho cioè materialmente coadiuvato il Direttore del Dipartimento nella scelta delle pubblicazioni da conferire prima e nella presentazione dei risultati poi.

In questa veste ho avuto modo di confrontarmi con molti miei colleghi sugli esiti della valutazione, riscontrando un notevole stupore – quando non vero e proprio sconcerto – nei confronti degli esiti dell’ultima edizione della VQR, reazioni che vanno ben al di là della comprensibile delusione rispetto a risultati non soddisfacenti, e che non si erano verificate al termine delle tornate precedenti.

Ho così visto finire nelle retrovie articoli che erano stati pubblicamente elogiati in sede di giudizio ASN; articoli su riviste internazionalmente riconosciute come prestigiose dalla comunità matematica, quali Adv. Math. o IMNR, essere valutati misteriosamente in classe C e, viceversa, finire in classe A articoli giudicati dai loro stessi autori come non eccellenti; gruppi di ricerca con le stesse persone, le stesse riviste, gli stessi collaboratori, gli stessi temi passare dall’essere primi in Italia nella VQR 2015-2019 a all’ultimo posto nella VQR 2020-2024; attribuzione di punteggi completamente diversi sull’“impatto” per pubblicazioni nello stesso SSD, stesso anno, stesso percentile citazionale; giudizi generici, con frasi apodittiche – quali “Il contributo presenta una originalità limitata / buona / ottima…”; “l’elaborato ha un impatto limitato / buono / ottimo”; “gli obiettivi sono definiti chiaramente” (???); “la metodologia è adeguata agli obiettivi” (???) -, che evitano sistematicamente di entrare nel merito analitico della pubblicazione in esame.

La preoccupazione maggiore risiede negli effetti collaterali di queste valutazioni. Ho visto colleghi chiedere – sulla base dei valori delle Tabelle con gli indicatori “R” di ciascun SSD – di cambiare programmazioni concorsuali, o rivendicare premi sul presupposto di aver ottenuto il valore di R più alto. Tutte azioni accumunate dalla mancata lettura di un’avvertenza cruciale, quasi nascosta tra le pagine del Rapporto Finale del GEV1 e che riporto di seguito: «La libertà che le istituzioni hanno avuto nella selezione dei prodotti […] fa sì che i risultati non possano nemmeno essere utilizzati per fare confronti tra SSD, né per confrontare la performance di uno stesso SSD nei diversi dipartimenti». Ci si chiede, allora, perché mai ANVUR pubblichi tabelle parziali e fuorvianti se lo stesso GEV ne dichiara l’inidoneità comparativa.

La VQR 2020-2024 si differenziava dalle edizioni precedenti per l’ambizioso obiettivo di affidarsi alla pratica della peer-review qualitativa, rimuovendo gli algoritmi di calibrazione bibliometrica delle prime edizioni. Questa scelta, in astratto condivisibile, si è però scontrata con un cortocircuito numerico evidenziato dalla stessa ANVUR nella Presentazione dei Risultati: a fronte dell’aumento dei prodotti complessivi da valutare a livello nazionale (passati da 118.036 nella VQR 2011-2014 a 199.816 nella VQR 2020-2024), il numero di revisori esterni di cui ANVUR si è avvalsa si è più che dimezzato, scendendo da oltre 16.000 a circa 6.700. Dati ancor più clamorosi se si considera che la VQR 2011-2014 aveva utilizzato la bibliometria come principale metodo di valutazione nelle aree scientifiche. Per l’Area 01 il dato è eloquente: su circa 19 mila revisioni effettuate, la percentuale di revisioni esterne è stata appena del 12,2%, con minimi storici del 2,6% in Algebra, del 5% in Probabilità e del 6,5% in Geometria.

Questo impianto, pur con il massimo rispetto per il lavoro “eroico” dei componenti dei GEV, ha inevitabilmente compresso i tempi fisici di lettura, comprensione e analisi di una mole gigantesca di pubblicazioni (in media oltre 400 per ciascun membro del GEV), non sempre vicine alle competenze specifiche dei singoli commissari. Nei settori più piccoli, ciò ha comportato carichi di lavoro e responsabilità enormi: il destino di un intero SSD è gravato sulle spalle di una o due persone.

È dunque naturale chiedersi se una peer-review totalmente priva di risorse umane sia comunque preferibile ad una valutazione bibliometrica che, nelle precedenti edizioni, a livello aggregato non aveva generato le distorsioni e le disparità cui assistiamo oggi. D’altronde a porsi questa domanda all’interno dell’Area 01 sono stati anche i colleghi informatici, con alcuni dei quali ho avuto modo di confrontarmi all’interno del mio Dipartimento. Il loro gruppo nazionale ha elaborato, in concomitanza con la VQR, una classificazione delle riviste ampiamente condivisa, che ha guidato i ricercatori nel conferimento e, presumibilmente, ha offerto una bussola solida alla componente informatica del GEV1. Non credo sia una coincidenza se, al contrario di quanto avvenuto per quella matematica, gli esiti della VQR per la parte informatica del mio Dipartimento siano stati perfettamente conformi alle aspettative della vigilia.

Auspico che le società scientifiche, in primis l’Unione Matematica Italiana, possano farsi promotrici di una seria riflessione politica e scientifica su questi dati. È forse giunto il momento di valutare se anche la comunità matematica debba dotarsi di strumenti di riferimento chiari e condivisi, per evitare che la valutazione della nostra ricerca resti ostaggio di un sovraccarico insostenibile o di inevitabili filtri soggettivi.

Beniamino Cappelletti Montano (Università di Cagliari)