cropped-foame21.jpgdi Vittorio Formentin

Sigle impiegate nell’articolo:

ANVUR = Agenzia nazionale di valutazione del sistema universitario e della ricerca.
FFO = Fondo di funzionamento ordinario delle Università.
GEV = Gruppo di esperti della valutazione designati dall’ANVUR.
MIUR = Ministero dell’Istruzione, dell’Università e della Ricerca.
PRIN = Progetto di ricerca di rilevante interesse nazionale.
VQR 2004-2010 = Valutazione della qualità della ricerca, esercizio 2004-2010.

Lo scorso 20 settembre sono stati resi noti ai ricercatori italiani i giudizi attribuiti ai loro «prodotti» (articoli, libri ecc.) presentati, attraverso le rispettive «strutture» di appartenenza (atenei, dipartimenti, enti di ricerca), ai fini della Valutazione della Qualità della Ricerca 2004-2010 (in sigla VQR 2004-2010), avviata e gestita dall’ANVUR, l’Agenzia nazionale di valutazione del sistema universitario e della ricerca. Sottolineo che l’iniziativa, secondo il dettato del decreto ministeriale istitutivo della procedura, ha avuto lo scopo di valutare il livello della ricerca scientifica prodotta dalle suddette strutture, non dalle persone: i risultati, si è detto, devono servire a ciascun ateneo e dipartimento per «classificarsi» all’interno del sistema universitario italiano e, in prospettiva, migliorare la propria posizione. All’inizio dell’estate, di conseguenza, sono stati pubblicati dall’ANVUR soltanto i risultati cosiddetti aggregati, relativi cioè ad atenei e dipartimenti, mentre i giudizi sui singoli prodotti, che quella valutazione generale hanno determinato, sono stati comunicati ai ricercatori in via riservata solo venerdì 20 settembre, sul sito personale del MIUR.

Ma il punto davvero rilevante è che con la VQR 2004-2010 per la prima volta in Italia si è presa in seria considerazione l’idea di trasferire agli atenei una parte considerevole dei fondi sulla base dei risultati raggiunti nella ricerca scientifica. Nel DM n. 700 dell’8 agosto 2013 con cui si fissano i criteri di ripartizione del fondo di finanziamento ordinario (FFO) delle Università per il 2013 – registrato alla Corte dei Conti il 24 settembre, ma ad oggi [19 dicembre 2013] non ancora firmato dal Ministro Carrozza – la quota premiale da distribuire alle Università sulla base dei risultati della ricerca appare quasi quadruplicata rispetto alle analoghe assegnazioni del 2012, e tale cospicuo incremento è giustificato proprio in rapporto alla certificazione fornita dall’ANVUR. Vi si afferma infatti che «il 90% della somma attribuita in relazione alla qualità della ricerca scientifica [540 mln di euro nel DM dell’8 agosto] sarà ripartita [sic] sulla base dei risultati della VQR 2004-2010», per un totale quindi di 486 mln di euro. È possibile che nella versione definitiva del documento, per effetto delle resistenze opposte dalle Università che a torto o a ragione si sentono penalizzate dall’applicazione del criterio meritocratico, tale somma sarà in qualche misura ridotta: comunque sia, si badi che a tutt’altro capitolo si riferiscono i 41 mln di euro non a caso detti aggiuntivi di cui si è parlato qualche tempo fa sulle pagine dei giornali (per es. nel Corriere della Sera del 5 novembre scorso).

Molti atenei, peraltro, hanno anticipato di fatto il Ministero e in questi giorni hanno deciso di utilizzare i dati della VQR su scala individuale, subordinando la concessione alla singola persona di una quota premiale dei fondi di ricerca dipartimentale alla comunicazione – in via riservata, s’intende – dei propri risultati al direttore del dipartimento. A parere di chi scrive si tratta di un abuso: beninteso, se si accetta il meccanismo della valutazione, è poi difficile non essere d’accordo sul principio di dare più soldi per la ricerca ai soggetti meglio valutati, ma non si può dire prima una cosa (sono valutate le strutture) e poi farne un’altra (sono valutati gli individui). Ai molti ricercatori che finora hanno chiesto conto dei giudizi assegnati ai propri lavori l’ANVUR ha risposto con un messaggio del seguente tenore: «Gentile Professore/Dottore, le ricordiamo che la VQR 2004-2010 è preordinata alla valutazione di strutture (atenei o enti di ricerca) e sotto-strutture (dipartimenti o analoghe sotto-strutture) e non, quindi, alla valutazione dei singoli docenti universitari e ricercatori (soggetti valutati)». E a chi ha presentato una formale istanza di accesso agli atti relativi alla procedura di valutazione dei propri «prodotti» l’ANVUR ha opposto un rifiuto, motivandolo con la carenza di un interesse differenziato, cioè diretto e concreto, da parte del singolo ricercatore in una procedura predisposta a valutare non lui, ma la sua «struttura» di appartenenza. Orbene, il fatto che non è propriamente l’ANVUR o il Ministero a procedere a una distribuzione delle risorse per capita, bensì l’ateneo o il dipartimento sulla base dei dati dell’ANVUR forniti ‘spontaneamente’ dal singolo – che, se vuole qualche soldo in più, non può fare altrimenti –, sembra, a dirla schietta, un ingannevole gioco delle parti. Per avviare la seconda fase del processo valutativo, cioè la valutazione individuale, sarebbe stato preferibile aspettare il prossimo esercizio della VQR, così come l’automobilista accorto attende, prima di acquistare un certo modello di vettura, la produzione della seconda serie, in cui ci si aspetta che siano eliminati i difetti della prima, evidenziabili solo col rodaggio «su strada» e non durante il collaudo in fabbrica. Infatti, se si vuole rendere a tal punto incisivi i giudizi della VQR, bisogna essere sicuri che la macchina funzioni bene, e a questo proposito è legittimo nutrire ancora qualche dubbio.

La complessa procedura della VQR è stata articolata sulle 14 aree di ricerca indicate dal Comitato Universitario Nazionale (dalle Scienze matematiche alle Scienze politiche e sociali) e in concreto gestita dai 14 GEV (= Gruppi di Esperti della Valutazione), costituiti dall’ANVUR per ogni area e composti «da studiosi, anche stranieri, di riconosciuta esperienza e qualità scientifiche»; ogni GEV si è successivamente suddiviso in un certo numero di «sub-GEV», coincidenti all’incirca con le principali discipline d’ogni (macro)area: per es., il GEV dell’area 02 «Scienze fisiche» si è articolato nei «sub-GEV» I (Fisica sperimentale e Fisica nucleare e subnucleare), II (Fisica teorica, Fisica della materia) e così via. Occorre a questo proposito specificare che, per i lavori dell’area umanistica, considerata l’improponibilità di criteri pseudooggettivi di carattere bibliometrico (calcolo del «fattore d’impatto», prestigio della sede di pubblicazione e simili), si è adottato il metodo della «revisione tra pari» (ingl. peer-review), per cui ogni lavoro è stato affidato, di norma, alla valutazione di due revisori: i componenti dei vari (sub-)GEV, dunque, dovrebbero aver abbinato manualmente ogni «prodotto» a una coppia di valutatori, prescelti, s’immagina, sulla base della competenza relativa all’argomento e dell’assenza di incompatibilità personali o di scuola. Una macchina assai complessa, come si vede: tanto complessa che viene la curiosità di sapere quanto è costata (intanto il decreto di agosto destinerebbe all’ANVUR € 3.500.000 «per lo svolgimento delle attività istituzionali di valutazione»).

A proposito di peer review, sarebbe poi opportuno che l’ANVUR precisasse che cosa intende con tale formula. Nel bando di partecipazione della VQR 2004-2010 leggiamo: «peer-review affidata ad esperti esterni fra loro indipendenti scelti nel GEV (di norma due per prodotto), cui è affidato il compito di esprimersi, in modo anonimo, sulla qualità delle pubblicazioni selezionate». Allora «pari» si deve intendere come semplice sinonimo di «esperto»? Oppure, poiché stiamo parlando di un sistema fortemente gerarchizzato come l’Università, occorre intendere «esperto di pari (o superiore) grado accademico»? Certamente l’ANVUR – anche perché non poteva fare altrimenti, come vedremo – l’ha inteso nel primo senso, con l’inevitabile risultato che un ricercatore sarà stato spesso chiamato a giudicare un associato o un ordinario: cioè («odi malizia!») chi lo giudicherà in futuro o chi l’ha giudicato in passato. Nessuno mette in dubbio che tra i ricercatori dell’Università italiana ci siano molti studiosi di vaglia destinati a una luminosa carriera, che speriamo possa essere rapida grazie a concorsi banditi con cadenza regolare e assidua: ma in linea di massima si deve presumere che ci sia qualche differenza qualitativa tra un ordinario e un ricercatore; nessuno dubiterà che, se così non fosse, l’Università potrebbe chiudere bottega anche subito.

Scendiamo ora nel dettaglio e vediamo quali sono stati i giudici nella presente tornata della VQR. All’inizio della procedura i GEV avevano a disposizione il registro dei revisori del MIUR, un insieme di nomi costituitosi nel tempo attraverso semplici autocandidature, non sottoposto ad alcun ulteriore vaglio di qualità: per farne parte bastava accedere al proprio sito universitario (https://loginmiur.cineca.it/) e dichiararsi disponibile a revisionare i progetti e le pubblicazioni dei colleghi. Ora, il livello medio di quella lista era notoriamente assai insoddisfacente, al punto che l’ANVUR stessa, prima di avviare la macchina della VQR, ha tentato di rinnovarne radicalmente la composizione, chiedendo a numerosi studiosi di riconosciuto valore la disponibilità a far parte di un albo di revisori che s’intendeva riqualificare. Ma quanti degli interpellati hanno accettato? A quanto si dice molto pochi, e quei pochissimi avrebbero chiesto di valutare un numero limitato di prodotti, sicché la qualità complessiva del parco-revisori a disposizione dell’ANVUR non dev’essere migliorata molto rispetto a quella di partenza e i GEV devono aver fatto i salti mortali per trovare revisori sufficienti ad esaminare il gran numero di «prodotti» sottoposti a valutazione. Insomma – considerato anche il fatto che ad ogni pubblicazione doveva essere assegnata una coppia di revisori – la probabilità di veder assegnato il proprio lavoro a un valutatore autocandidatosi di serie B o C era oggettivamente abbastanza elevata.

Ai valutatori è stato garantito l’anonimato, allo scopo di assicurar loro la serenità d’animo necessaria per formulare un giudizio equo, mettendoli al riparo da eventuali reazioni degli autori. A fronte di tale garanzia, i revisori si sono impegnati per iscritto a rispettare i principî deontologici e di riservatezza nella valutazione dei prodotti assegnati, dichiarando in particolare l’inesistenza di elementi d’incompatibilità o di conflitto d’interessi nei confronti dei giudicati. Ecco il testo della dichiarazione che ciascun revisore ha dovuto sottoscrivere: «Il sottoscritto XY, designato quale esperto per la peer review (valutazione dei pari) dei prodotti della ricerca sottomessi per la VQR 2004-2010, dichiara sotto la propria responsabilità di attenersi ai principi deontologici e di riservatezza nella valutazione dei prodotti assegnati e accettati. In particolare, il sottoscritto dichiara che per la valutazione dei pari dei prodotti della ricerca accettati per la valutazione non sussiste alcun elemento di incompatibilità e/o conflitto di interessi».

Il quadro generale è a questo punto sufficientemente chiaro: il procedimento di valutazione della ricerca universitaria ha avuto lo scopo di contribuire all’interesse comune mediante l’incentivazione dei comportamenti virtuosi (fare buona ricerca) e la penalizzazione dei comportamenti poco virtuosi o addirittura viziosi; i giudici sono stati messi nelle condizioni migliori per poter esercitare la loro delicata funzione nel modo più efficace; d’altra parte l’assegnazione dei prodotti compiuta dai membri dei GEV avrebbe dovuto contribuire a ridurre (non si dice a eliminare) il rischio di giudizî falsati da un favore o un’avversione pregiudiziale del valutatore nei confronti del valutato. Ma qualsiasi procedura, per quanto sia ben regolata, non può funzionare senza il contributo decisivo della coscienza di chi è chiamato ad applicarla. L’aneddoto che segue, vero fin nei minimi particolari (soltanto i nomi delle persone sono sostituiti da lettere dell’alfabeto), vuole appunto mostrare quanto si sia ancora lontani in Italia da quella che alcuni chiamano la «cultura della valutazione» e che più semplicemente si potrebbe dire la consapevolezza dell’interesse comune, una consapevolezza che, ahimè, non può essere imposta ad alcuno per legge o per regolamento.

Il prof. A nel 2007 pubblica in una collana diretta da un autorevolissimo studioso un libro che viene recensito positivamente in varie riviste scientifiche nazionali e internazionali da parte di studiosi «di riconosciuta esperienza» e di prestigio indiscusso; lo stesso volume viene adottato in varie Università italiane come libro di testo, sicché giunge rapidamente alla terza ristampa. Il prof. B, in un articolo pubblicato nel 2009, ritiene di dover criticare con vivace spirito polemico alcuni aspetti del libro di A; A, nella parte finale di un suo saggio dedicato per il resto a tutt’altro, ribatte alle critiche di B controargomentando puntigliosamente e usando qua e là un tono pungente. B, letto il saggio di A, perde le staffe e (aprile 2011) scrive al prof. A una lettera in cui, dopo aver usato parole piene di risentimento e di stizza, minaccia d’intraprendere contro di lui azioni giudiziali, di carattere anche risarcitorio. Un anno dopo (marzo 2012) il prof. A, in qualità di coordinatore nazionale, presenta al proprio ateneo un progetto di ricerca nell’àmbito della procedura di “preselezione” locale prevista dal bando PRIN 2010-2011; il progetto non viene ammesso alla fase di selezione nazionale perché uno dei tre valutatori anonimi lo affossa assegnandogli un punteggio bassissimo (maggio 2012). Di lì a poco il prof. A pubblica un saggio in cui dimostra che il revisore responsabile della bocciatura del proprio progetto è B; lo scritto, a cui B non controbatte verbo, ha una vasta eco nel mondo accademico nazionale, anche perché tocca un punto sensibile nell’Università italiana come il sistema di finanziamento pubblico della ricerca e le sue distorsioni.

Intanto comincia l’esercizio della VQR 2004-2010 e il prof. A indica come primo dei tre prodotti sottomessi alla valutazione il suo libro del 2007, confidando di veder confermato in tale contesto il giudizio positivo ricevuto dal volume nella stampa scientifica nazionale e internazionale. Inoltre, poiché il prof. A è uno di quei pochi che, su richiesta dell’ANVUR, ha accettato di entrare nel rinnovato albo dei revisori per la VQR, si vede assegnati per la valutazione ben venti prodotti e cerca di svolgere questo compito con impegno e serietà, sottraendo tempo alla propria ricerca personale. A dire il vero i prodotti sottopostigli non sono venti ma ventuno, il ventunesimo essendo (e se ne meraviglia sinceramente) un saggio di B, che A si rifiuta di valutare, selezionando, tra le varie opzioni previste dal sistema, quella che recita «il prodotto è rifiutato perché sono in conflitto d’interessi». Conclusa la procedura della VQR, il 20 settembre scorso il prof. A, con la coscienza tranquilla e un po’ di curiosità, va a vedere nel sito personale MIUR la valutazione dei propri lavori e constata con viva sorpresa che il suo volume, per il quale si aspettava un giudizio in linea con gli apprezzamenti ricevuti nelle riviste scientifiche nazionali e internazionali, è stato invece collocato nella fascia più bassa (punteggio 0, assegnato ai prodotti il cui valore è considerato «limitato»). A questo punto A non può sottrarsi al sospetto che il suo libro, per qualche motivo o disguido imperscrutabile, sia stato assegnato per la valutazione a B. Con una lettera circostanziata manifesta allora il suo dubbio al presidente del GEV, il quale, sulla base dei documenti allegati che dimostrano l’incompatibilità esistente tra A e B, invia una dettagliata relazione all’ANVUR sollecitando le opportune verifiche; il presidente comunica infine ad A che l’ANVUR ha accolto le conclusioni del suo rapporto, deliberando di conseguenza l’annullamento della valutazione riconosciuta illegittima e la riassegnazione del «prodotto» a nuovi revisori. Se ne deduce che, per incredibile che sia, il libro di A è stato valutato in prima istanza proprio da B, il quale, come già era accaduto in occasione del PRIN 2010-2011, deve aver pensato bene di regolare i suoi conti personali sotto la comoda maschera dell’anonimato, non avendo alcun riguardo al fatto che in tal modo all’ateneo di A e al suo dipartimento veniva inflitto un’altra volta un danno, non solo economico, assai considerevole.

Respice finem. La storia ha infatti una conclusione edificante, a dimostrazione che il sistema, per quanto imperfetto, è tuttavia in grado di riformarsi. Come si è detto, grazie all’onestà intellettuale e alla fermezza d’animo – doti purtroppo sempre meno comuni – dimostrate dal presidente del GEV, la pubblicazione del prof. A è stata assegnata a due nuovi valutatori «di sicura competenza ed equanimità» (così la comunicazione ufficiale), i quali al termine della loro revisione hanno classificato il volume di A come «eccellente» (punteggio 1). Viene così dimostrata la totale malafede di B, che, in dispregio delle assicurazioni fornite per iscritto all’ANVUR, ha creduto di poter usare la procedura della VQR per vendicarsi di un proprio ‘nemico’ con la certezza di farla franca grazie all’anonimato e intascando per di più per la sua malefatta un compenso, sia pure modesto (soldi pubblici, naturalmente).

La morale che si può ricavare da questo caso, particolare ma prezioso perché di lampante chiarezza e perfettamente documentato, è molto semplice: le finalità per cui sono stati concepiti la valutazione e l’anonimato possono essere facilmente stravolte, come troppo spesso accade nella società italiana, non soltanto nel ristretto àmbito dell’Università. L’interesse comune, nella prima parte di questa vicenda, è stato subordinato a un privatissimo desiderio di vendetta; l’anonimato, concepito per assicurare ai valutatori la tranquillità d’animo necessaria per formulare un giudizio equo, è stato impiegato, tutto al contrario, per abbattere impunemente un avversario personale.

Come se ne può uscire? In attesa di una rigenerazione morale della classe accademica italiana, e senza rinunciare nel frattempo ai vantaggi che una seria valutazione periodica della produzione scientifica può portare alla nostra Università, ci sentiamo di suggerire alcuni rimedi, non nuovi, certo, ma urgenti:

– per il prossimo esercizio della VQR bisogna trovare un modo per allargare l’albo dei revisori nazionali e internazionali, includendovi il maggior numero possibile di studiosi di valore, il che non si potrà fare senza adeguati incentivi, non solo economici, a meno che non si preferisca operare per legem, obbligando tutti i professori in servizio a valutare, se richiesti, un certo numero minimo di «prodotti»;

– prevedere, se non l’eliminazione, almeno la scadenza dell’anonimato, che costringa i revisori a rispondere davanti alla comunità scientifica dei propri giudizi;

– in alternativa, dare ai ricercatori, all’atto della presentazione dei loro «prodotti», la possibilità d’indicare i nomi dei colleghi con cui sussiste una documentabile incompatibilità di fatto, da equiparare ai casi d’incompatibilità formale previsti dalla normativa vigente (come la parentela o l’affinità fino al quarto grado);

– introdurre un sistema di sanzioni (come si è fatto, per la prima volta, nel bando PRIN 2012) per quei revisori che non rispettino nella loro funzione i principî deontologici fondamentali.

[Immagine: Maschere (gm)].

2 thoughts on “Valutazione della ricerca scientifica e anonimato: note sulla VQR 2004-2010

  1. Perfettamente d’accordo. Un pezzo al quale non si deve mutare una virgola, né sottrarre o aggiungere alcunché.
    renzo Bragantini

  2. Testo esemplare anche secondo me. Tra le proposte, posto che sia possibile allargare la rosa dei valutatori, si potrebbe aggiungere che ogni prodotto sia assegnato a tre persone, non due, in modo che l’eventuale valutatore in malafede sia più chiaramente isolato.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *