L’ANVUR ha richiesto agli Atenei di raccogliere osservazioni, commenti e suggerimenti sulla versione preliminare del documento, approvato dal proprio Consiglio Direttivo il 18 dicembre 2013, che descrive i criteri e gli indicatori per l’accreditamento dei corsi di dottorato.

Nella comunicazione, pubblicata sul sito ANVUR,¹ viene anche precisato che “ciascun ateneo riceverà la valutazione del(i) corso(i) di dottorato del XXIX ciclo selezionati nel campione di 100 corsi utilizzato per la sperimentazione dei criteri/indicatori entro il 31 gennaio 2014” e che verrà inviato a ciascun ateneo “il risultato dell’applicazione dei criteri/indicatori A1 e A4 del documento a TUTTI i corsi di dottorato del  XXIX ciclo entro il 15 di febbraio 2014.“

In premessa, si manifestano perplessità sulla procedura adottata dall’ANVUR in quanto, se da un lato è apprezzabile l’apertura di una pubblica consultazione con i soggetti destinatari del documento, dall’altro l’ANVUR omette di identificare, nell’ambito di ogni Ateneo, gli interlocutori istituzionali cui si rivolge (Rettore? Coordinatori dei corsi di dottorato?), con il risultato che ogni Ateneo pare aver adottato procedure differenti che porteranno verosimilmente a risultati molto eterogenei e con diverso livello di condivisione e legittimazione (ad esempio, da osservazioni di singoli o gruppi di docenti, a documenti approvati da Collegi di dottorato, di Dipartimento, fino eventualmente a documenti discussi e approvati in sede dipartimentale o di Ateneo). Vien da chiedersi che peso verrà attribuito ad ogni documento e in ogni caso con quanta trasparenza verrà gestita la procedura nel suo complesso.

Pure alla luce degli evidenti limiti determinati da tali condizioni, si formulano qui di seguito alcune osservazioni sulle diverse questioni affrontate nel documento ANVUR, tenendo anche conto del fatto che sul tema dei corsi di dottorato si sono recentemente espressi anche la Commissione di studio istituita dal Ministro IUR con DM. 596 del 3 luglio 2013 (nota)² nonché il Consiglio Universitario Nazionale con una specifica mozione approvata in questi giorni.

Paragrafo 4. Obiettivi dell’accreditamento

Non può essere l’ANVUR a definire gli obiettivi della valutazione ai fini dell’accreditamento, funzione che spetta invece al MIUR. Anche in base alla norma istitutiva dell’Agenzia,³ sono se mai i risultati delle attività di valutazione dell’ANVUR a costituire “criterio di riferimento per l’allocazione dei finanziamenti statali alle università e agli enti di ricerca“.

Inoltre, è del tutto improprio fare riferimento agli indicatori della VQR 2004-2010, la quale aveva come obiettivo a valutazione dei risultati della ricerca delle università e degli enti di ricerca considerati nella loro globalità e con riferimento alle aree scientifiche CUN.⁴ E’ già stato osservato da più parti come gli indicatori VQR siano stati pensati per valutare atenei e dipartimenti e come sia improprio, scorretto e fuorviante impiegarli per altri scopi.⁵

Si osserva anche come il richiamo a verifiche “automatiche” sulla base di indicatori bibliometrici smascheri l’intenzione di realizzare una valutazione meramente quantitativa, oltre tutto impiegando indicatori inattendibili e manipolabili,⁶ quando sarebbe raccomandabile ricorrere a valutazioni di merito, ad esempio responsabilizzando i nuclei di valutazione e/o ricorrendo a esperti anche stranieri, prendendo a riferimento le migliori pratiche adottate internazionalmente.

Ricordiamo di sfuggita come sia già stato ampiamente argomentato che l’applicazione ottusa di indicatori bibliometrici come quelli della VQR (e dell’ASN) fa sì che, ad esempio, il premio Nobel per la fisica non avrebbe dovuto essere assegnato a Peter Ware Higgs, professore emerito a Edinburgo, e a François Englert, emerito di fisica all’Université Libre de Bruxelles,⁷ i quali in ogni caso sembrerebbero non possedere i requisiti per far parte di un collegio di dottorato in un’università italiana, alla luce della presente proposta ANVUR.

Paragrafo 5. I criteri/indicatori

Criterio A1

Per la verifica del possesso, da parte dei “soggetti che presentano domanda di accreditamento di un corso di dottorato“, di adeguata attività didattica e di ricerca riconosciuta a livello internazionale “nei settori di interesse per il dottorato” l’ANVUR propone di utilizzare gli indicatori R e X della VQR, calcolati escludendo i soggetti valutati totalmente o parzialmente inattivi, nei SSD indicati nella scheda di proposta del dottorato.

Dell’inopportunità di impiegare gli indicatori VQR si è già detto. Qui si osserva come anche le “tecnicalità” dell’impiego appaiano discutibili e presentate in maniera tale da far presupporre che i risultati saranno comunque distorti e falsati. Ad esempio:

• pare di capire che si valuteranno gli interi SSD dell’Ateneo per decidere se l’Ateneo può avere un dottorato in quegli SSD, ma in tal modo si penalizzeranno docenti che avessero la ventura di ritrovarsi inquadrati in un SSD con colleghi con indicatori VQR bassi;

• viene dichiarato che si escluderanno dal calcolo i docenti “inattivi”, ma questo significa che ad esempio un Ateneo, che in un certo SSD abbia 10 docenti con indici VQR medi potrebbe risultare “peggiore” di un Ateneo che abbia un solo docente con indici VQR alti e 9 docenti inattivi, rischiando quindi di non poter attivare un corso di dottorato;

• non è chiaro poi, visto che ci si riferisce ai dati VQR, come possa un Ateneo (o un coordinatore di dottorato) valutare la propria collocazione riguardo a questo indicatore, dal momento che non risulta che gli Atenei dispongano dei dati VQR analitici per singolo docente (in accordo con il dichiarato impegno a non utilizzare impropriamente la VQR per la valutazione dei singoli).

Nel complesso, si ritiene che il criterio A1 dovrebbe essere soddisfatto piuttosto dalla verifica della presenza nel Collegio dei docenti di un adeguato numero di docenti (professori o ricercatori) scientificamente attivi per ognuno dei SSD inclusi nella proposta di dottorato. L’adeguatezza del numero di docenti va rapportata al peso percentuale del SSD nel quadro della proposta di dottorato rispetto al numero totale di docenti nel Collegio (ad es., se un SSD pesa il 20% e i docenti sono 25, almeno 5 dovranno essere inquadrati in quel SSD). L’attività scientifica di ognuno dei docenti è attestata dal possesso di un congruo numero di pubblicazioni (variabile anche per tipologia per ogni SSD), verificabile ad es. tramite il sistema UGov. Si suggerisce inoltre di non limitare l’esame della produzione scientifica dei membri del Collegio agli ultimi 5 anni ma di estenderla a tutta la carriera.

La valutazione del ranking dell’istituzione di appartenenza (verosimilmente l’Ateneo) sembra infine pleonastica, oltre che impropria, alla luce della successiva valutazione del Collegio dei docenti (Criterio A4): il rischio è di penalizzare gruppi di persone capaci che operano in un contesto poco favorevole. Dovrebbe bastare a tal proposito la valutazione del Collegio dei docenti e l’analisi delle infrastrutture messe a disposizione del corso di dottorato.

Criterio A2

L’ANVUR ritiene che le tematiche di ogni corso di dottorato (che in base alla normativa vanno riferite “ad ambiti disciplinari ampi, organici e chiaramente definiti“) debbano essere ridotte entro i limiti di un singolo macrosettore concorsuale.

Così come nel contesto del criterio A1 appare improprio l’impiego degli indici VQR, così in questo caso appare inadeguato e pesantemente penalizzante l’impiego dei macrosettori concorsuali. Non è questa la sede per discutere la loro validità ai fini dei concorsi universitari (per quanto andrebbe quanto meno tenuto presente che i SSD sono una anomalia tutta italiana nel quadro internazionale), e tuttavia appare evidente che i macrosettori sono stati creati a fini concorsuali, non certo per la progettazione di corsi di studio, tanto meno di corsi di dottorato.

La maggior parte dei macrosettori si limita a pochi SSD, di regola 6-7, spesso non più di 2-3, in ogni caso con un grado di omogeneità tale da vanificare qualsiasi ambizione di interdisciplinarietà. Inoltre, ben pochi Atenei hanno almeno 16 docenti inquadrati nel medesimo macrosettore concorsuale. Limitare la composizione del collegio al macrosettore, oltre ad impedire la costruzione di un percorso formativo interdisciplinare significa imporre i dottorati interateneo alla stragrande maggioranza dei macrosettori e degli Atenei.

Costringere le discipline di un corso di dottorato all’interno di un unico macrosettore concorsuale pare tra l’altro precisamente l’opposto degli “ambiti disciplinari ampi” auspicati dalla normativa, oltre ad apparire mortificante per le opportunità di formazione dei giovani (aspiranti) ricercatori. Si tenga presente che, secondo il MIUR,⁸ “il dottorato di ricerca fornisce le competenze necessarie per esercitare attività di ricerca di alta qualificazione presso soggetti pubblici e privati, nonché qualificanti anche nell’esercizio delle libere professioni, contribuendo alla realizzazione dello Spazio Europeo dell’Alta Formazione e dello Spazio Europeo della Ricerca“. Quanto sarebbe penalizzante dunque imporre corsi di dottorato limitati a un singolo ambito disciplinare, proprio nel contesto di quello Spazio Europeo che, al contrario, si propone “the objective of promoting international, intersectoral and multi/inter-disciplinary collaboration in doctoral-level training in Europe through the creation of joint doctoral programmes“?⁹

Si ritiene che gli ambiti disciplinari di un corso di dottorato non possano in alcun modo essere valutati con scorciatoie e automatismi come ad esempio la coincidenza delle titolazioni con singoli macrosettori concorsuali. All’opposto, è necessario valorizzare l’inter- e la trans-disciplinarietà, in accordo con le priorità indicate a livello europeo, promuovendo approcci originali e innovativi in grado di creare nuovi ambiti di ricerca e/o di affrontare con metodologie innovative gli ambiti già esistenti.

Ancora una volta, come già nel caso del Paragrafo 4 (vide supra), ci si sente di raccomandare convintamente il ricorso a esperti anche stranieri, in accordo con le migliori pratiche internazionali, per la valutazione dell’ampiezza, della congruità, dell’originalità e del potenziale di innovazione dei corsi di dottorato.

Poco lungimirante sembra anche la richiesta dell’ANVUR, in caso di multidisciplinarietà, di documentare collaborazioni in atto tra i membri del Collegio. Un requisito del genere chiaramente impedirebbe aprioristicamente la nascita di nuove collaborazioni e quindi la possibilità di svolgere ricerca innovativa, limitando le uniche attività possibili ad ambiti già esplorati, nuovamente in contrasto non solo con gli orientamenti europei ma anche con il semplice buon senso.

Criterio A3

Il criterio intende verificare la presenza di un Collegio del dottorato composto da almeno sedici docenti, di cui non più di un quarto ricercatori, appartenenti ai macrosettori coerenti con gli obiettivi formativi del corso.

Non vi è molto da dire a tal proposito, se non che il requisito numerico di sedici docenti appare arbitrario e che soprattutto la discriminazione dei ricercatori, penalizzati dall’imposizione di un limite numerico che ne riduce ingiustificatamente la possibilità di partecipare ai Collegi di dottorato, andrebbe prontamente rimossa. Si potrebbe anzi argomentare che, dal momento che i ricercatori hanno come primario compito istituzionale lo svolgimento di attività di ricerca, essi sono figure pienamente idonee a seguire e addestrare un giovane dottorando, qualificando di conseguenza al meglio un corso di dottorato.

Con ogni evidenza non è questa la sede per risolvere la questione, che tuttavia non può essere considerata come passata in giudicato.

Criterio A4

Con questo criterio si intende verificare il possesso, da parte dei membri del Collegio, di documentati risultati di ricerca di livello internazionale negli ambiti disciplinari del corso, con particolare riferimento a quelli conseguiti nei cinque anni precedenti la data di richiesta di accreditamento.

Nuovamente ANVUR intende utilizzare i medesimi indici VQR della cui inadeguatezza si è già detto. Qui va aggiunto che con questo criterio sembra intenzione di ANVUR utilizzare gli indici VQR per valutare l’idoneità dei singoli docenti a far parte di un Collegio di dottorato, ed è già stato ricordato come tali indici sono stati dichiarati come del tutto inadeguati per valutazioni individuali. L’errore metodologico non può essere occultato facendo notare che, una volta composta, la nuova struttura sarà un insieme e quindi si useranno solo valori aggregati, anche dal momento che il criterio andrebbe utilizzato ai fini dell’accreditamento iniziale.

Anche ANVUR tuttavia sembra non poter evitare di ammettere almeno alcuni dei limiti degli indici VQR, quando afferma che è necessario “supplire alla potenziale carenza di rappresentatività degli indicatori VQR. Va tenuto in particolare presente che essi: (i) si riferiscono a un campione limitato di pubblicazioni (3 in 7 anni); (ii) hanno una certa “età”, che andrà via via aumentando (senza pensare al caso limite di tre pubblicazioni del 2004, in generale la VQR si riferisce a una realtà che si ferma a dicembre 2010)“.

Il rimedio è purtroppo peggiore del problema, dato che la proposta ANVUR è di ricorrere niente meno che alle mediane ASN! La mancanza di scientificità delle mediane ASN è stato oggetto di approfonditi dibattiti che non sembra necessario richiamare qui. Tra l’altro, sembra che ANVUR non tenga conto del fatto che le mediane per i professori di prima fascia non prevedono alcuna normalizzazione per ricoprire le funzioni di commissario, ma la prevedono per l’età accademica e per l’età della pubblicazione nel caso dei candidati. Non si capisce quindi come si possa valutare su questi parametri l’attività scientifica dell’ultimo quinquennio.

Oltre tutto, la formulazione dell’ANVUR sulle mediane non è per nulla chiara, dal momento che si dice che un determinato punteggio viene assegnato “se il relativo componente del collegio, professore ordinario, associato e ricercatore, supera 0, 1, 2 o 3 mediane, calcolate nella categoria di appartenenza del componente del collegio, degli indicatori di cui alle lettere a), b) e c) del comma 2 dell’allegato A, e alle lettere a) e b) del comma 3 dell’Allegato B del Decreto Ministeriale n. 76 del 7 giugno 2012“. Visto che si fa esplicito riferimento agli allegati A e B del DM 76/2012, sembra di capire che gli ordinari dovrebbero superare le mediane per commissari e gli associati quelle per ordinario (ma che vuol dire allora “ nella categoria di appartenenza del componente del collegio“?). Il dubbio si pone in ogni caso per il ricercatore, dato che la categoria non ha mediane di riferimento e i ricercatori possono presentare domanda di partecipazione all’ASN sia per associato che per ordinario.

Come già per il Criterio A1, l’attività scientifica di ognuno dei docenti è attestata dal possesso nel precedenti 5 anni di un congruo numero di pubblicazioni (variabile anche per tipologia per ogni SSD), verificabile ad es. tramite il sistema UGov.

Criterio A9

Il criterio intende verificare, nel caso di corsi di dottorato che siano la prosecuzione di corsi già attivati per almeno 3 cicli precedenti la proposta del corso, la presenza di attività scientifica dei dottorandi nei tre anni del dottorato e dei neodottori nei tre anni che seguono il conseguimento del titolo.

Se da un lato è condivisibile l’attenzione alla produttività scientifica dei dottorandi e dei neodottori, dall’altro:

• dovrebbe essere esercitata particolare cautela nell’imporre una forzata produttività dei dottorandi, dato che è dimostrato come la pressione a pubblicare ad ogni costo induca significative distorsioni nella conduzione della propria attività di ricerca fino a indurre nei casi estremi a alterare i propri risultati;

• si dovrebbe tenere conto che dopo il conseguimento del dottorato a pochi è dato il privilegio di proseguire la propria attività di ricerca, in gran parte a causa delle politiche di definanziamento e di blocco delle assunzioni nelle università e negli enti di ricerca, e di conseguenza non sembra potersi “scaricare” sui corsi di dottorato l’eventuale scarsa produttività scientifica dei neodottori una volta usciti dal corso;

• infine, sarebbe ragionevole a questo proposito prevedere la valutazione in primo luogo delle tesi di dottorato, magari attraverso la peer review con revisori internazionali, anche tenendo presente la crescente accessibilità in rete delle tesi di dottorato grazie all’adozione del deposito in forma elettronica.¹⁰

La produttività scientifica dei dottorandi dovrebbe dunque prima di tutto essere valutata attraverso la tesi di dottorato, che va considerato come un vero e proprio prodotto della ricerca. Eventualmente, potrebbe essere richiesto – per quegli ambiti disciplinari e quegli argomenti per i quali appaia appropriato – che la tesi (o parte di essa) sia oggetto di pubblicazione entro il triennio successivo alla conclusione del corso.

Conclusioni

In questo documento sono evidenziate molteplici criticità che costellano la bozza proposta dall’ANVUR. Non si vuole tuttavia tacere che almeno alcuni criteri prospettati dall’ANVUR appaiono validi. Ci si riferisce ai criteri 5, 6, 7 e 8. Particolare apprezzamento si esprime per il Criterio 6 (teso a garantire risorse certe per l’attività e la mobilità dei dottorandi) e per il Criterio 8 (che incoraggia la formazione interdisciplinare).

Non si può non osservare che nel complesso l’intento dell’ANVUR pare essere non tanto la valutazione dei singoli corsi di dottorato quanto la creazione di una vera e propria classifica dei corsi, intento nemmeno troppo nascosto, dato che si dichiara nel paragrafo 4 che “gli studenti che aspirano a frequentare un corso di dottorato dovranno prevedere la mobilità, scegliendo gli atenei con le migliori caratteristiche nel settore prescelto” e che “l’ANVUR studierà, d’intesa con il MIUR, modalità di pubblicizzazione degli indicatori principali di accreditamento dei corsi di dottorati nelle diverse aree disciplinari“. Un tale intento, sensato o meno, non rientra tuttavia nei compiti dell’ANVUR, che – come già in precedenza ricordato – in base alla norma che istituisce l’Agenzia,¹¹ deve piuttosto svolgere attività di valutazione utile a costituire “criterio di riferimento per l’allocazione dei finanziamenti statali alle università e agli enti di ricerca“.

Si raccomanda in conclusione di:

• evitare di utilizzare impropriamente per la valutazione dei corsi di dottorato strumenti impropri, inadeguati e distorcenti quali gli indici VQR e le mediane ASN;

• evitare di introdurre criteri che costringano le tematiche dei corsi entro i limiti angusti dei settori disciplinari, a rischio altrimenti di tagliare fuori i corsi di dottorato italiani dalla possibilità di essere riconosciuti e sostenuti attraverso i maggiori programmi di promozione e finanziamento in Europa;

• prendere in considerazione le tesi di dottorato come principale prodotto della ricerca svolta nell’ambito dei corsi di dottorato.

Le tesi in particolare dovrebbero essere elemento di valutazione non solo del dottorando bensì anche del docente che ne ha guidato e orientato l’attività durante il corso. Sembra anzi molto più logico che un docente appartenente a un Collegio venga valutato per la qualità delle tesi di cui è stato guida, acquisendo pareri in peer review delle tesi stesse. Una buona tesi di dottorato dipende dalla qualità dello studente ma anche dall’impegno del docente guida, la cui competenza e disponibilità al costante confronto non è automaticamente attestata dagli indici bibliometrici.

NOTE

*Posizione congiunta del Direttivo Co.N.P.Ass. (http://www.professoriassociati.it/) e del Coordinamento della Rete 29 Aprile (https://www.rete29aprile.it/), pubblicata il 29 gennaio 2014.