Posted on

Quantità e/o qualità: necessità e contraddizioni della valutazione della ricerca in area umanistica

di Giacomo Manzoli


Intervento di Giacomo Manzoli all’incontro su «Quale valutazione?», Bologna, 6 febbraio 2013 (il tema non è molto ameno, ma l’intervento fa chiarezza su un paio di questioni importanti).

Desidero salutare il Magnifico Rettore, Ivano Dionigi, il Presidente CUN, Andrea Lenzi, e ringraziare il Prorettore, Dario Braga per avermi concesso l’opportunità di portare il punto di vista di un rappresentante dei professori associati, ovvero di una delle categorie strutturalmente sottoposta al meccanismo di valutazione di cui stiamo trattando. Sono infatti rappresentante presso il CUN degli associati di Area 10, una di quelle che solitamente vengono rubricate sotto la dicitura “Aree 10-14”, ovvero “Aree umanistiche”, ovvero “Aree non-bibliometriche”. Queste Aree sono così composte:

Area 10: Scienze dell’antichità, filologico-letterarie, storico-artistiche:

5190 docenti e ricercatori – 77SSD

Area 11: Scienze storiche, filosofiche, pedagogiche e psicologiche

(ma anche antropologia e geografia):

4768 docenti e ricercatori

Area 12: Scienze giuridiche:

4832 docenti e ricercatori

Area 13: Scienze economiche e statistiche:

4793 docenti e ricercatori

Area 14: Scienze politiche e sociali:

1740 docenti e ricercatori

Totale: 21.323

La frammentazione è dovuta a ragioni storiche e ad una tradizionale resistenza all’accorpamento da parte dei settori che compongono l’Area 10, ma anche a ragioni strutturali, dovute alla natura eterogenea delle discipline che compongono i settori in questione. Tanto per fare un esempio, è naturale che coloro che si occupano di lingua e letteratura portoghese fatichino a comporre una sola comunità scientifica con chi si occupa di lingua e letteratura russa. A fronte di tanta eterogeneità, probabilmente, ascoltando i colleghi si potrebbero individuare circa 21.323 diversi sistemi di valutazione. Non sono qui per aggiungere il mio. Bensì, per portare un contributo alla riflessione sulle criticità con cui ci confrontiamo quotidianamente nello scenario che si va delineando a seguito della cosiddetta “riforma Gelmini”.

Con i colleghi di Area 10 Laura Restuccia e Stefano Tortorella intratteniamo un dialogo costante con i rappresentanti delle varie consulte e associazioni disciplinari, e un confronto intenso con una base di colleghi piuttosto ampia. Possiamo quindi dire, sulla base della nostra esperienza, che è ampiamente diffusa la consapevolezza della necessità di un sistema di valutazione. Questo perché i 21.000 docenti di queste aree non sono tutti uguali, ma soprattutto per un principio di utilità: la valutazione deve prima di tutto aiutare il ricercatore a capire se la sua attività di ricerca è bene indirizzata ed eventualmente indicargli quali strade percorrere per renderla più efficace ed efficiente. Dunque, la valutazione di cui si avverte il bisogno non è meramente premiale o punitiva, ma capace di fungere da supporto al ricercatore: solidale ed esortativa. Un sistema capace di offrire strumenti di oggettivazione in ambiti che si chiamano umanistici, e si chiamano umanistici perché riguardano discipline che non hanno procedure di validazione oggettive per definire i propri protocolli di azione.

Per molto tempo si è ritenuto – e qualcuno, ma sempre meno, ancora lo pensa – che non si potesse valutare la ricerca umanistica se non in casi di estrema necessità, vale a dire a livello di valutazione comparativa, nel merito, sulla base di una preventiva analisi dettagliata della produzione scientifica del candidato e – successivamente – della produzione quantitativa fra candidati di analogo livello qualitativo. Il difetto di questa situazione era l’aleatorietà del parere dei giudici (per definizione insindacabile), che tendevano naturalmente ad attribuire una migliore valutazione qualitativa alle pubblicazioni più vicine alle proprie aree di interesse e ai propri presupposti teorici. Questo presupposto, tuttavia, non è affatto scomparso alle condizioni attuali, avendo incontrato al massimo lievi e parziali limitazioni. E forse è anche giusto così.

Ad ogni modo, prima della 240 la situazione era la seguente: il ricercatore svolgeva una ricerca e pubblicava i risultati su sedi editoriali basate su un meccanismo reputazionale di reciproca conoscenza. La rivista X o l’editore Y, per il tramite di un curatore o di un comitato editoriale, reputandosi di un determinato livello chiedevano ad un ricercatore Z – considerato di livello pari o superiore – di pubblicare i risultati di una determinata ricerca. Oppure, viceversa, il ricercatore svolgeva la ricerca in questione e la proponeva a sedi editoriali – riviste o libri – reputate all’altezza della ricerca in questione.

A seconda della posizione gerarchica del candidato, queste ricerche, a loro volta, potevano non essere mai più sottoposte ad una valutazione, oppure essere valutate esclusivamente nel quadro di contesti competitivi: concorsi per l’avanzamento di ruolo o fund raising (PRIN, FIRB, fondi europei e quant’altro). Al limite, un ricercatore poteva restare inattivo per anni, senza che il fatto ricevesse alcuna sanzione da parte del sistema e – in generale – non si può dire che la ricerca venisse tenuta in analoga considerazione in tutti i contesti allo stesso modo. Il primo momento significativo in cui – anche nell’area umanistica – si è davvero iniziato un confronto serrato sul tema della valutazione è stato l’istituzione dell’Osservatorio della Ricerca delle singole sedi universitarie, riferito alla seguente funzione:

L’OR ha la finalità di accertare e valutare l’entità e la rilevanza delle attività di ricerca svolte dal personale strutturato e non strutturato, nonché dai dottorandi di ricerca e dalle strutture di afferenza.

Sebbene l’OR si limiti a ‘concorrere’ all’attribuzione delle risorse, riferendosi per lo più alle esigue (ma per nulla scontate e in ambiti come i nostri a volte persino vitali) risorse dell’RFO, esso ha avuto il merito considerevole di riportare al centro dell’attenzione il tema della ricerca anche nelle aree umanistiche. L’introduzione della 240 ha introdotto un meccanismo obbligatorio, istituendo un’agenzia incaricata di stabilire le regole e contemporaneamente gestire la valutazione medesima, l’ANVUR.

Inizialmente, tuttavia, era stato proprio il CUN a proporre ‘criteri e parametri’ per la valutazione, giacché si era ipotizzato che un organo elettivo potesse elaborare una legislazione condivisa dai membri di quelle stesse comunità scientifiche che sarebbero poi stati chiamati ad eseguire materialmente le valutazioni. Ad esempio, per quanto riguarda l’Area 10, il CUN aveva fissato criteri elementari per la definizione delle mediane, che – giova ricordarlo – non consentono l’accesso al ruolo ma solo l’accesso ai concorsi per l’accesso al ruolo. Riassumendo e semplificando, per la cosiddetta Prima Fascia erano richieste 3 monografie e 10 articoli su riviste di comprovato prestigio nazionale o internazionale (ulteriori 5 articoli compensavano la mancanza di una monografia). Per la Seconda Fascia, 2 monografie e 5 articoli su riviste di comprovato prestigio. Con molte riserve sul principio delle mediane in quanto tali, si era concepito un limite “light”, derivato da una lunghissima opera di mediazione che derivava, appunto, da un dialogo per certi aspetti estenuante con Consulte e Associazioni d’Area e che teneva conto di tutte le specificità: scavi archeologici, traduzioni, atti di convegno e quant’altro.

Sappiamo come è andata finire e proviamo dunque a definire la situazione attuale. Anche in area umanistica, le riviste sono state obbligate (in modo informale, diciamo attraverso una moral suasion) a dotarsi di international board e peer review. La cosa è senz’altro positiva, ma comporta tutti i problemi di una rivoluzione culturale, con l’effetto virtuoso di porre un limite alla proliferazione delle riviste medesime. Tuttavia, la rivoluzione è a metà del guado: se non si provvede a rendere obbligatoria la diffusione on-line e la trasparenza delle statistiche relative al referaggio, ci si deve fidare del fatto che la peer review svolga effettivamente una significativa opera di selezione.

I SETTE LIVELLI DI VALUTAZIONE

Proviamo allora ad enumerare i sette passaggi valutativi indipendenti ai quali è sottoposta, al momento, la valutazione di un lavoro di ricerca, con gli specifici problemi che ciascuna di queste fasi comporta.

1)      Peer review.

Referaggio operato dalla rivista su cui si desidera pubblicare. Valutazione fra pari ed esperti, ma differente da rivista a rivista e soggetto naturalmente all’aleatorietà del parere del referee.

2)      Osservatorio della ricerca.

Valutazione prettamente quantitativa da parte dell’Osservatorio della ricerca locale. In questo caso l’aleatorietà della valutazione dipende dalla valutazione preventiva cui sono state sottoposte riviste e sedi editoriali, attraverso un processo che resta in gran parte relativamente opaco e che si va schiarendo attraverso il contributo partecipativo dei ricercatori stessi. Dopo una decina d’anni ci avviamo ad avere un sistema abbastanza attendibile (ancorché piuttosto lento nell’aggiornare i contributi all’incremento della produzione scientifica dei docenti).

3)      VQR.

Valutazione puramente qualitativa operata nell’ambito della VQR. Probabilmente il più imponente sforzo valutativo mai compiuto al mondo in un’unità di tempo ristretta (pochi mesi). Sappiamo come funziona: tre prodotti e due referees per ciascuno di essi. Problemi: disparità dei metri di valutazione di ciascun referee, che portano a risultati decisamente bizzarri, anche nella valutazione dei singoli prodotti: i casi di valutazioni A e D di uno stesso prodotto andranno quantificati, ma altrettanto tutte le valutazioni che si discostano di più di un gradino (A-C, B-D e così via). C’è inoltre da considerare che risultati emergeranno all’interno dei diversi SSD e dalla valutazione dei diversi referee (alcuni hanno valutato decine di prodotti in poco più di un mese…), giacché la media di valutazione dovrebbe risultare uniforme, ma non vi è alcuna garanzia che questo accadrà.

4)      Mediane.

Valutazione, di nuovo, puramente quantitativa, relativa al superamento delle mediane. I problemi di questo sistema sono stati più volte evidenziati nel dibattito di questi mesi. Provo a enunciarne alcuni: ampio rilievo viene dato alla monografia, ma il complesso rapporto con l’Associazione Italiana Editori non permette di individuare sedi di eccellenza. Il listone delle riviste scientifiche (di Area) e il listino di quelle di Fascia A (per settore concorsuale) è stato redatto così in fretta da presentare aporie a tratti paradossali. La mancanza di una anagrafe della ricerca si è avvertita in modo pesantissimo e ci vorranno anni per riuscire ad avere elenchi davvero credibili. E’ imminente la costituzione di un ulteriore gruppo per la revisione dei data base e nuovi indicatori, composto da docenti e editori.

5)      Commissioni per l’abilitazione.

L’instabilità del dato risultante dalle mediane costringe il legislatore a richiedere ai commissari un giudizio di merito. Ciascun candidato alle abilitazioni è stato invitato a inviare in PDF 12/18 pubblicazioni. Su di esse i commissari dovranno esprimere un “giudizio analitico”. Una commissione che ha 600 candidati (non fra le più numerose), per una media di 14 pubblicazioni a candidato, deve esprimere un giudizio analitico su 8.400 pubblicazioni. Ammesso che si siano dedicati a leggerle già a febbraio, devono concludere entro il 30 maggio. Avrebbero perciò 120 giorni a disposizione e dovrebbero leggere circa 70 pubblicazioni al giorno. Fossero anche la metà, il numero è paradossale e lo sforzo sarebbe sovrumano. E, naturalmente, hanno un problema di competenza e il loro giudizio torna ad essere aleatorio, per cui ricadiamo esattamente nel problema da cui siamo partiti.

6)      Commissioni locali.

Il candidato abilitato, dovrà ancora sottoporre la propria ricerca al vaglio della commissione locale, ma di un concorso nazionale, di natura comparativa. I commissari esprimeranno di nuovo un giudizio di merito, sia pure riferito alla pertinenza contestuale del profilo scientifico del candidato, integrandolo con altri fattori (la didattica ed altro).

7)      Reputazione.

Infine, ma non è secondario, ogni pubblicazione si sottomette al giudizio complessivo, non quantificabile ma foriero di conseguenze rilevanti, della comunità scientifica genericamente intesa, la quale provvede – secondo le procedure fluide di cui si occupano le scienze sociali – a stabilire la reputazione del singolo prodotto come del ricercatore.

Cosa aggiungere?

Questa contorta filiera di giudizi è riduttiva, perché non tiene conto di ulteriori valutazioni in ambito europeo e nazionale operate da soggetti incaricati della distribuzione delle risorse da cui può dipendere il destino stesso dei docenti (il conseguimento di un PRIN o di un finanziamento europeo sono motivi sufficienti per una chiamata diretta, e persino l’accreditamento dei Corsi di Studio previsto da AVA prevede una parte relativa alla ricerca). L’ultimo punto, che sfugge al controllo del legislatore, è in realtà il più rilevante, perché potremmo dire che l’intero sistema dei criteri e parametri dovrebbe mirare a far sì che il reclutamento e la distribuzione delle risorse – ciò a cui mirano i punti dall’1 al 6 – dovrebbero finire per coincidere con gli esiti del punto 7, ciò che rende un sistema credibile agli occhi delle sue stesse componenti e del mondo esterno.

Di sicuro, la pressione cui le sei procedure di valutazione ufficiali sottopongono il ricercatore hanno pesantemente ribaltato il rapporto precedente fra la ricerca – ora predominante – e gli altri doveri del docente universitario (didattica e amministrazione).

Al contempo emergono problemi specifici che provo a sintetizzare:

A)    Onerosità del sistema.

Questo meccanismo è incredibilmente oneroso. Sottoporre a tutti i gradi di giudizio le proprie pubblicazioni e la propria attività complessiva richiede un tempo considerevole e soprattutto, poiché si tratta di una valutazione fra pari, una porzione sempre più rilevante di tempo viene impiegata per valutare il lavoro dei colleghi e sottratta alla propria ricerca. Ma le risorse non sono solo temporali. Questa valutazione costa. E’ un problema di sistema, comune anche alle aree scientifiche, ma in quelle umanistiche si sente di più, perché le risorse complessive per la ricerca sono minori e perché l’assenza di bibliometria attendibile rende il meccanismo di valutazione molto più pesante per gli stessi referee. Allo stadio attuale, il processo rende pochissimo ai valutatori (che sono perciò ben poco incentivati ad investire in questo lavoro sgradevole e complesso) ma comporta comunque un esborso significativo per le casse dello Stato. Nell’ultimo PRIN, la cifra complessiva riservata alle aree umanistiche è di circa 7 milioni di euro (lo stipendio annuale di un buon calciatore dovrebbe sostenere la ricerca di circa 20.000 docenti). Il processo di valutazione costa sicuramente di più, se si sommano tutte le sue componenti. Ci avviamo ad un sistema in cui le valutazioni costano di più della stessa ricerca?

B)     Mancanza di collegamento fra i vari livelli della valutazione e conseguente aleatorietà dei risultati.

Tutti i punti del meccanismo locale/nazionale, ante e post pubblicazione dei risultati della ricerca, sono indipendenti fra loro. Nessuno degli esiti di un punto ricade in modo programmato sugli altri punti. Perfino il sistema delle mediane può essere facilmente ignorato da una commissione di concorso, oppure considerato vincolante. Questo fa sì che una valutazione ufficiale, gestita da organismi ufficiali, possa dare esiti radicalmente diversi. Potrei passare il referaggio e pubblicare su importanti riviste internazionali, ma queste non darebbero alcun esito in termini di mediane. La stessa pubblicazione, invece, potrebbe contribuire ad aumentare il mio RFO, essere giudicata positivamente dai commissari della procedura di abilitazione ma finire stroncata dai referees della VQR e dai commissari della procedura comparativa in sede locale. Invece di oggettivare il giudizio, si moltiplicano le possibilità di discrepanze che enfatizzano l’alea della valutazione, riportando al centro di tutto l’importanza dei singoli valutatori. Se sono disciplinati e responsabili e hanno a cuore la credibilità del sistema, le cose possono comunque funzionare. Altrimenti le contraddizioni sono destinate ad esplodere.

Conclusioni: semplificazione e fiducia.

Non è mio compito e non ho alcun titolo o esperienza per indicare un sistema capace di evitare le criticità che ho cercato di descrivere. Posso però provare ad avanzare un principio da considerare. Per essere utile e sensata, una valutazione deve essere credibile in ogni passaggio e offrire delle certezze. La certezza della valutazione è fondamentale per dare ai ricercatori le coordinare sulle quali sviluppare le proprie linee di ricerca e programmare le proprie carriere, anche nel quadro – non è certo un tabù – di una franca competizione. L’accelerazione parossistica degli ultimi due anni ha avuto l’effetto positivo di riportare al centro dell’attenzione del dibattito universitario il tema cruciale della ricerca. Ma contemporaneamente, invece di semplificare, ha reso ancora più incerto e instabile il sistema della valutazione. La sensazione è che si siano volute percorrere scorciatoie per giungere a risultati immediati, come nel caso delle diete 7 chili in 7 giorni, rischiando però di avere un effetto rebound e che il beneficio si riveli un mero lifting, sostanzialmente controproducente, il cui esito sarebbe quello di vanificare tutto l’imponente sforzo svolto.

La parola chiave, ciò di cui si sente ora davvero il bisogno, è una semplificazione. E il primo passo non può che essere una limitazione dei passaggi attraverso la messa a sistema. Quello della valutazione deve diventare un vero sistema, nel quale ogni passaggio sia in stretta relazione con tutti gli altri, e questo sistema deve essere ecologico, cioè semplice e sostenibile. Ma il prerequisito perché questo accada è la fiducia, fiducia delle varie componenti fra loro e fiducia nel sistema complessivo.