ailaviù, pirreviù (i love you, peer-review)

nature.png

La memoria del futuro, così costruiremo i nostri ricordi“, “È provato: le donne sono più multitasking degli uomini“, “Arriva la cura anti jet lag, molecola che risincronizza l’orologio del corpo“.
Dietro a questi (orribili) titoli pescati a caso, oggi, dalla pagina delle rubriche scientifiche di un qualunque quotidiano, strutturate per essere accattivanti e divulgative, si celano di norma (e auspicabilmente…) degli articoli pubblicati su riviste di ben altro riferimento nel mondo accademico (nomi che vi saranno magari già noti: Nature, Science, Cell, PNAS, Journal of Clinical Oncology, Journal of Experimental Medicine, etc.). La domanda e la discutibile provocazione di oggi è: chi stabilisce l’attendibilità scientifica delle ricerche in questione? Raccolgo la proposta di swannmatassa e affronto un argomento che avevo in mente da tempo: la cosiddetta peer-review, trivialmente tradotta in italiano come “revisione tra pari”. Per semplificare la lettura a chi non è immerso nelle magagne quotidiane dei ricercatori, proverò una breve trasposizione della questione, in forma semi-comica, nel mondo della blogosfera.

Swann&adp sono due ricercatori in erba (niente battute, per favore!) che hanno appena terminato di scrivere un post (leggi: una ricerca) che ritengono di grande rilevanza. Vorrebbero pubblicare il post su un blog riconosciuto a livello internazionale, posto che il criterio che assegna una scala di prestigio ai blog è il rapporto favorevole tra il numero di hits/reblog (leggi: citazioni) ed il numero di post pubblicati (dicesi impact factor: più alto è il rapporto, più il blog è di valore; in altre parole, pochi articoli molto citati comportano un impatto nella blogosfera maggiore di molti articoli poco citati). I virgulti ricercatori Swann&adp scelgono di tentare la pubblicazione su un sito con alto impact factor, nientepopòdimeno che: I discutibili (…).
Brevemente, funziona così: Swann&adp mandano il post all’attenzione dell’editore capo GrandeCactus del blog I discutibili, la quale a sua volta contatta un editore associato, ad esempio ProfessorWishAkaMax (PWAM), chiedendo di prendersi in carico la revisione del post dei due sfigati di cui sopra. PWAM chiede la disponibilità ad altri blogger di sua fiducia, a lui ovviamente noti ma sconosciuti a Swann&adp, di revisionare il post di questi ultimi. La scelta dei blogger si dovrebbe basare sulle competenze che tali revisori hanno dell’argomento trattato da Swann&adp: se ad esempio Swann&adp parlassero di poesia sarebbe molto probabile, ma non scontato, che PWAM scegliesse come revisori FustigatorediPostDimmerdaIntesoMale (FDPDIM) e StrinatureDiSaggezzaVitellini (SDSV); il numero dei revisori varia, di norma, da uno a quattro, con prevalenza sul due. Il motivo per cui si chiama revisione tra pari risiede proprio in questo passaggio: oggi tocca a me, domani a te; oggi tu, blogger, revisioni i miei lavori, domani li hai revisionati da un altro blogger (editori capi ed associati inclusi).
Ad ogni buon conto, ricevuto il mandato FDPDIM e SDSV ribaltano il lavoro come un calzino (almeno sulla carta) e forniscono indicazioni a PWAM, che provvederà a comunicare il responso agli impazienti Swann&adp (perché a questo punto della faccenda sarà passato già un mese e i due sono belli che in ansia per la risposta). Quali, a questo punto, gli scenari più frequenti, in termini di responso? Ne riporto alcuni:
1. il post è accettato per la pubblicazione così come è (Swann!!! stappa quella bottiglia, cazzo, cosa fai lì impalato?!?!?)
2. il post è rifiutato, nel novanta per cento dei casi con motivazione “lack of novelty” oppure “unfitting Journal high-quality criteria” (Swann&adp in questo caso inneggiano alla combustione delle ali dei santi fino al completamento dell’intero calendario liturgico, nonché assegnano epiteti di concubina e meretrice a qualunque editore o blogger, uomo o donna che sia, possa essere venuto in contatto con il post, naturalmente a cominciare dall’editore capo e dall’associato PWAM di turno)
3. il post è accettato previe “modifiche maggiori” (Swann&adp entrano nella spirale del cercare di comprendere chi possa aver revisionato il lavoro, ipotizzando la psicologia che sottende ogni singola parola delle indicazioni ricevute dei revisori, con il chiaro obiettivo di assecondarle pedissequamente pur di vedere pubblicato il loro post – salvo per tutto il tempo dell’elucubrazione aggiungere qua e là considerazioni tipo “e comunque non hanno capito un cazzo del nostro post“)
4. PWAM e i GrandeCactus inviano una mail cordialissima in cui spiegano “pur essendo il lavoro meritevole, comprendano i giovani blogger come I discutibili non sia forse il target esatto per il tipo di argomento, e che forse il post avrebbe più senso su un altro blog“; bene, fatto salvo che questo si rivela essere quello del cugino diciottenne della nota blogger PecoraSbiancata, che “pur non essendo ancora molto conosciuto né impattato (leggi: dotato di impact factor), sicuramente grazie al vostro contributo, giovani virgulti blogger Swann&adp, potrebbe accrescere la sua visibilità” (e qui è censura sui commenti di Swann&adp perché la blasfemia non è mai bella da inserire così, didascalicamente).

A questo punto della vicenda, torniamo seri e passando alle discutibili opinioni e alla domanda di partenza: il tutto, funziona? Quello presentato un po’ ironicamente (ma non è molto diverso nella sostanza da ciò che succede nel mondo scientifico) non è sicuramente il migliore dei sitemi possibili ma, al momento, dal mio punto di vista rappresenta il più plausibile. In un mondo ideale, senza lobby di potere che controllano le riviste scientifiche o favoreggiamenti all’italiana (che all’estero ci sono tanto quanto da noi, nell’ambito, sappiatelo), senza parzialità nei giudizi o conflitti di interesse (il più banale: i revisori lavorano esattamente sullo stesso argomento ed hanno quindi interesse a bloccare le ricerche concorrenti), probabilmente sarebbe un sistema quasi perfetto: ovviamente allo stato attuale emergono molte criticità, proprio a causa di tali motivi. Premesso che in questo post non introduco l’aspetto dei costi di pubblicazione e dell’accesso libero o a pagamento alla letteratura scientifica (questione non secondaria direttamente implicata che renderebbe però la discussione troppo vasta, mi riservo quindi di trattarla in altra occasione), è doveroso riportare che esistono delle proposte drammaticamente e sostanzialmente diverse, che personalmente trovo al momento inefficaci o ancora più sofferenti le medesime pecche: da un lato ad esempio la revisione da parte di terzi, teoricamente indipendenti e non a loro volta autori; dall’altro la “open peer-review” collettiva, una sorta di feedback lasciato da tutti coloro che desiderano valutare una ricerca (con l’assegnazione ad esempio di punteggi proporzionali al valore ed alla qualità dello studio e proposte di revisione condivise: concettualmente ideale ma per ora totalmente privo di pragmaticità).
Prima di intraprendere altre strade, in ogni caso, sarei curioso di valutare alcune modifiche sostanziali all’attuale sistema di peer-review, due in particolare: la prima, la revisione in “doppio cieco”. Per tornare al nostro esempio, non solo Swann&adp non sono a conoscenza di chi siano i revisori ma nemmeno i revisori, FDPDIM e SDSV, dovrebbero sapere di chi sia il post che stanno revisionando. Questa misura dovrebbe prevenire personalismi nel giudizio, ma per evitare il rischio di incappare nell’effetto opposto (i revisori, liberi da condizionamenti, potrebbero avere meno cura nella revisione ed in ogni caso non sarebbero immuni dall’inferire, deducendoli dalle voci bibliografiche e dall’argomento trattato, i plausibili autori del lavoro) credo necessiti di una seconda, grossa, modifica (in alcune riviste già applicata): le revisioni e i nomi dei revisori, in caso di pubblicazione del lavoro, diventano espliciti e parte integrante del lavoro. Sempre tornando al nostro esempio, FDPDIM e SDSV non farebbero certo una revisione che potrebbe minare la loro credibilità, ma si impegnerebbero per essere il più rigorosi possibili.

Non è una ricetta, non ho la certezza che funzionerebbe: ipotizzo però uno scenario migliore rispetto all’attuale. Di base, rimango convinto che alla base di qualunque sistema, in ogni caso, sianno imprescindibili l’onestà intellettuale e la tensione alla correttezza scientifica.

Ma, forse, è proprio per questo che son tempi duri.