VQR, Again

Giu 14, 2022
questa immagine è tratta da ROARS, che ringraziamo

E’ di nuovo stagione di VQR i cui risultati sono arrivati nelle caselle email istituzionali dei ricercatori nei giorni scorsi. Chi fosse interessato ai risultati generali per ora deve accontentarsi delle slides dei primi risultati in attesa del rapporto completo atteso per fine giugno. Si tratta della solita orgia di numeretti che permettono a qualsiasi istituzione di fare il suo bravo comunicato stampa reclamando di essere nei primi posti delle classifiche Anvur, senza la necessità di specificare in quale delle 11 (undici!) classifiche in cui compare ciascun ateneo si è ottenuta la medaglietta.

Curioso che tra la marea di indicatori esposti nei risultati preliminari manchi il primissimo dato che il ministero aveva chiesto all’Anvur: la distribuzione percentuale dei lavori per categoria di classificazione (DM 1110/2019): “I risultati della valutazione saranno articolati, per ciascuna Istituzione, in tre profili di qualità […] espress[i] come distribuzione di frequenza nelle cinque categorie” (art.2, c.2).

I più maligni potrebbero pensare che sia dovuto a quella curiosa indicazione contenuta nel bando Anvur con l’indicazione ai GEV di assegnare i lavori valutati “…  attribuendo, indicativamente, a ciascuna categoria almeno il 5% e non più del 25% dei prodotti.” (art.7, c.11, pag.14, grassetto aggiunto). Immaginiamo i poveri colleghi che devono liberamente valutare un lavoro sapendo che il numero massimo e minimo in ogni categoria è già prefissato (indicativamente, certo…).

I lavori di chi saranno spostati dalla categoria X alla Y se i conti non tornano? Cosa si dovrebbe pensare se una categoria contenesse dati al di fuori dei limiti imposti? E che credibilità si può dare ad una rilevazione che determina (indicativamente) i risultati prima ancora che siano raccolti i dati? Meglio ubriacarsi di indicatori, non si capisce nulla ma ognuno si può prendere la propria piccola soddisfazione.

Resta il problema di fondo: la valutazione della ricerca non è un campionato di tennis che deve definire campioni e schiappe. La ricerca è una attività collaborativa, non competitiva, e la sua valutazione, per essere realmente utile, deve soddisfare alcuni ovvi requisiti:

  1. Valutare non i risultati ma il lavoro svolto, perché il reale valore dei risultati si apprezza solo dopo anni o decenni (chiedere a chi si è visto bocciare un PRIN sui coronavirus qualche anno fa…). Inoltre, alcune attività accademiche fondamentali non producono alcun risultato pubblicabile, come la replicazione di esperimenti o la didattica.
  2. Distinguere la valutazione, finalizzata a migliorare il sistema, dalle strategie di finanziamento, di cui deve farsi carico il decisore politico e non possono essere delegate a un algoritmo elaborato su dati di fantasia.
  3. Per lo scopo di disincentivare gli inattivi basta porre soglie minime di prodotti.

(MV)