Ignoranza della matematica

L’Ignoranza e il Sospetto (dettaglio da “La Calunnia”, S. Botticelli, 1496)

Dei 4 peccati capitali della ricerca scientifica contemporanea. Primo, l’ignoranza della matematica

di Giorgio Masiero

Perché la maggioranza delle pubblicazioni scientifiche dà risultati falsi

Sto aspettando il treno per Milano. Man mano che si avvicina l’ora schedulata, sempre più gente si accalca al binario. Finalmente arriva il treno, puntuale. È la gente (evento A) a causare l’arrivo del treno (evento B) o è B la causa di A? Né l’uno né l’altro, ragiono: entrambi gli eventi accadono sotto la spinta di una terza causa, l’orario ferroviario (C). C è la causa dei due eventi “separati” A e B.

Un’altra correlazione mi ha intrigato qualche giorno fa. Mia moglie se n’è uscita dicendo che in base ad un sondaggio organizzato dalla sua rivista preferita coloro che consultano più spesso astrologi e chiromanti vivono più a lungo. “Ma ci credi davvero?”, le ho replicato di botto. “Che potere miracoloso avrebbero gli astrologi? un tipo speciale di energia psichica che trasmettono ai loro clienti?!”. E lei, fredda: “La cosa è presto detta. Le donne frequentano gli astrologi più degli uomini e d’altra parte le donne vivono più degli uomini”. Ho taciuto basito.

La morale è che bisogna stare attenti con le correlazioni prima di tirare conclusioni. Le correlazioni sono un tranello di cui nessuno è mai abbastanza avvertito ed anche chi per lavoro dovrebbe esserne vaccinato ci casca con facilità. Un amico ricercatore, biologo e matematico, provetto conoscitore delle tecniche statistiche, si è divertito a raccogliere una serie di divertenti “risultati”, ricavati da una giustapposizione ingenua (o interessata, o ideologica) di correlazioni, che hanno riempito pagine e pagine delle più quotate riviste peer per view. I territori più esposti alle strampalate deduzioni vanno dalla medicina alla biologia alla climatologia, dalla finanza alla psicologia alla cosmologia. Chi avrebbe detto solo qualche anno fa che le riviste scientifiche, e le loro sorelle minori addette alla divulgazione, sarebbero diventate canali di prosa, in cui è sempre più difficile separare la verità, o qualcosa che le assomigli, dalla fiction? Ci sono in media molto più rigore metodologico e serietà deontologica nelle riviste di matematica e di scienze umanistiche.

In questo articolo affronterò la prima questione, rinviando ad altri venturi l’analisi delle altre. A scoperchiare la diffusione dell’ignoranza della matematica – intesa in due sensi: come impreparazione vera e propria nelle tecniche matematiche, o come tranquillo sorvolo/abuso di esse da parte di ricercatori anche matematicamente preparati – è stato un articolo di John Ioannidis, un professore all’università di Stanford con due cattedre, una in medicina e l’altra in statistica. L’articolo fu pubblicato nel 2005 dalla rivista online PLoS Medicine, edita dal più importante ente di ricerca medica al mondo, l’NIH – l’insieme dei National Institutes of Health degli USA, analogo del nostro Istituto Superiore di Sanità – e s’intitolava significativamente “Why Most Published Research Findings Are False” (“Perché la maggior parte dei risultati di ricerca pubblicati sono falsi”). Da allora esso risulta l’articolo scientifico più scaricato.

La statistica bayesiana, di cui si è servito Ioannidis per dimostrare la sua tesi, è notoriamente un argomento ostico agli studenti, però se lasciamo da parte dettagli ed equazioni, il succo è comprensibile anche da uno scolaretto delle elementari. Supponiamo di disporre di un contatore Geiger per individuare, tra 1.000 pezzi di roccia, un campione radioattivo, l’unico, si sa a priori. Supponiamo anche che questo contatore abbia una precisione certificata del 99%. Ebbene, muovendolo tra una pietra e l’altra, d’improvviso il contatore emetta una scarica: qual è la probabilità che siamo davanti al frammento radioattivo? Vien voglia di rispondere che, se la precisione dello strumento è del 99%, allora ci sono 99 probabilità su 100 che abbiamo trovato proprio il pezzo radioattivo. Ma così avremmo tratto una conclusione sbagliata! Basta infatti riflettere che sì, il nostro contatore ha un’elevata accuratezza nel segnalare i minerali radioattivi, perché sbaglia percentualmente poche volte (1 volta su 100), però per contro ci sono molti campioni non radioattivi su cui è usato. In numeri, passandolo sistematicamente sopra i 1.000 campioni, di cui 999 sono non radioattivi ed 1 radioattivo, esso emanerà falsi segnali (“falsi positivi”, nel linguaggio statistico) una decina di volte, esattamente 9,99 volte in media, ed il segnale corretto 1 volta solo. Cosicché la risposta giusta alla sopraddetta domanda è: c’è 1 probabilità su 11 (il 9,1%) che abbiamo individuato il campione radioattivo. E 10 su 11 (il 90,9%) che il risultato sia falso. Elementare, Watson, da scolaro di quinta elementare.

Passiamo ora al processo scientifico che avviene nei laboratori. Le pietre sono il numero N di tutte le ipotesi da testare, il pezzo radioattivo è la correlazione o il risultato giusto ricercati, il contatore con la sua accuratezza A sta per i modelli e la strumentazione usati. Nell’esempio di sopra, N era uguale a 1.000 ed A uguale a 99%; nei casi reali indagati dai ricercatori, in particolare in genetica, farmacologia e neuroscienze, Ioannidis mostrò che la situazione di questi due parametri è peggiore, sia con riguardo ad N che è di regola un numero molto più grande, sia con riguardo ad A che vi risulta più piccolo. Ne derivò matematicamente la conclusione che “la maggior parte dei risultati scientifici pubblicati sono falsi”. Vediamo più in dettaglio.

In questi giorni i cittadini fanno le dichiarazioni dei redditi, da cui possono detrarre, com’è noto, anche le elargizioni fatte a favore degli istituti di ricerca. È il momento in cui questi ultimi si propongono in serrate campagne pubblicitarie di fund raising. Quale non cita il DNA, come il campo dove cercare la pietra radioattiva (il gene) contro questa o quella malattia? Esaminiamo allora, concretamente, cosa significa individuare un tale gene; ammesso che esista, dovremmo sommessamente aggiungere: l’illustre oncologo, Presidente di una di tali fondazioni, ci rivelò infatti, in una non lontanissima intervista, il fallimento delle sue ricerche trentennali proprio per eccesso di genecentrismo… Immaginiamoci di essere all’interno di una squadra di biologi molecolari che indagano per capire se una data mutazione in uno delle decine di migliaia di geni del genoma umano sia collegata ad un maggior rischio di contrazione del morbo di Parkinson. Quanto vale N? Almeno un numero a 5 zeri. La possibilità che la mutazione selezionata a caso di un gene selezionato a caso sia davvero il ricercato marcatore del Parkinson diviene allora talmente bassa che, come per i falsi segnali del contatore Geiger davanti alle pietre non radioattive, un esito positivo è molto probabilmente un effetto spurio.

John P.A. Ioannidis

Con i numeri direttamente tratti dagli articoli esaminati, Ioannidis mostrò che nella maggioranza delle pubblicazioni l’accuratezza A sarebbe dovuta essere stata inimmaginabilmente elevata perché i loro risultati fossero affidabili. Ma un’accuratezza di questo livello non è possibile, di regola, nemmeno nella strumentazione della ricerca più avanzata. Nella maggioranza dei campi il cut-off standard della percentuale di falsi positivi è di 1/20: ciò significa che un test a 2 risposte è ritenuto sufficientemente accurato quando dà una risposta errata non più di 5 volte su 100. Significa che solo il 5% delle ricerche danno per risultato un falso positivo? Neanche per sogno. Vuol dire che A è del 95%, ma poi questo numero va rapportato – come nell’esempio del contatore Geiger – alla miriade di ipotesi false della ricerca specifica. E in questa pletora, la decisione di contare 1 volta ogni 20 come vero un risultato falso porta con sé l’esito finale di ridurre drasticamente il numero dei lavori corretti su quelli sbagliati.

Ma, si dice, la comunità scientifica nel suo insieme ha la capacità di garantire alla fine la serietà dei risultati pubblicati, perché diversi gruppi autonomi lavorano competitivamente alle stesse questioni. È vero che ci sono molti team indipendenti impegnati nelle stesse ricerche: un’ipotesi promettente richiama molta gente, allo stesso modo che le voci di un possibile nuovo filone aurifero in Alaska attiravano nell’800 carovane di cercatori d’oro da tutti i continenti. Ciò tuttavia peggiora, anziché migliorare la situazione! Come mai? Eh, qui si inserisce un fattore umano, molto comprensibile, ma nulla avente a che fare col metodo scientifico…

Supponiamo che tra i vari gruppi di ricerca, solo uno proclami di aver trovato l’aurea correlazione gene-malattia, mentre gli altri non hanno scoperto nulla che sia degno di menzione. Da un punto di vista puramente statistico, se tutte le ricerche sono state condotte con lo stesso rigore, ciò implicherebbe che l’unico risultato positivo è più probabilmente un falso positivo. Ma, quando si arriva alla decisione se pubblicare o no nelle famose riviste peer per view, accade nei gruppi una cosa imprevista dalle anime belle: i ricercatori che non hanno trovato nulla rinunciano normalmente a pubblicare la loro non-scoperta. Non puoi certo aspettarti il premio Nobel, e neanche una piccola royalty o uno scatto di carriera per la tua dimostrazione che un’ipotizzata (da te) correlazione genica non ha probabilmente a che fare con nessuna malattia! E se anche decidessi di farci un articolo, non puoi mica pretendere di trovare qualche rivista che te lo pubblichi: anche i giornali, caro mio, sono in feroce competizione (economica, non epistemica!) per attirare lettori con articoli ad effetto, cosicché preferiscono un menu settimanale di sempre nuove, chiassose scoperte, piuttosto che uno composto di deludenti correlazioni non significative.

Di fatto, entrambi questi effetti, la propensione dei ricercatori a scrivere e la disponibilità delle riviste a pubblicare, possono essere misurati con precisione: poiché in grande maggioranza le ipotesi investigate sono a priori false – la scienza sperimentale è un’arte faticosa ed una vera scoperta richiede anche, quasi sempre, la manina della fortuna –, se da un lato i ricercatori facessero rapporti delle evidenze negative con altrettanta propensione delle positive e dall’altro le riviste li accettassero per la pubblicazione in modo proporzionale, allora la stragrande maggioranza degli articoli riporterebbero non-scoperte. Fatti i conti però, risulta l’esatto opposto: quasi tutti gli articoli pubblicati riportano evidenze positive! Sotto sotto, nella ricerca scientifica contemporanea operano “i pregiudizi prevalenti”, conclude Ioannidis, con un massiccio effetto distorsivo e di deriva sulle mode.

Dopo il suo primo lavoro, Ioannidis fece seguire negli anni successivi altri che estesero i campi ed approfondirono le analisi sui campioni esaminati. Alla fine, batti e ribatti, si è messa in moto la sonnecchiante comunità scientifica. I primi a reagire operativamente sono stati gli enti che finanziano la ricerca. Per esempio, il direttore dell’NIH, il genetista Francis Collins, ha deliberato l’obbligo per tutti i suoi ricercatori d’imparare la statistica. Meglio tardi che mai! E molte università americane che, a differenza delle europee, devono sostenersi sui fondi privati – i quali legittimamente si aspettano ritorni in applicazioni nel medio termine –, stanno istituendo agenzie interne di “meta-ricerca”, cioè di verifica sulla scientificità delle pubblicazioni prodotte dai propri dipendenti. Lo stesso Ioannidis è stato nominato a capo della principale di queste agenzie, il Meta-Research Innovation Center di Stanford.

Epilogo. Salito in treno, apro il Corriere della Sera, che m’informa diligentemente di una nuova “scoperta scientifica, realizzata dai neuroscienziati”: i bambini che sanno distinguere bene un dito dall’altro imparano l’aritmetica prima degli altri. La prova? Una correlazione inaudita: i pianisti sono “in generale” dei buoni matematici. Con questi dottori, mi dico osservando dal finestrino le nuvole in cielo, il problema non è l’ignoranza della statistica, e neanche il suo tradimento – come per l’astronomo che due settimane fa, dal megafono di “Science”, ha dato a 50% la probabilità che la vita umana sia un software progettato da un’intelligenza aliena (una teoria che potremmo chiamare Creazionismo 3.0, dopo le due versioni della Biblical Belt e dell’Intelligent Design) –, ma è l’ignoranza dell’aritmetica dell’asilo: chi gli va a spiegare che la loro scoperta delle 10 dita vale come quella dell’epitaffio del maresciallo La Palice (“Se non fosse morto, sarebbe ancora in vita”), perché tutti fin da piccoli impariamo l’aritmetica proprio contando sulle dita, donde il sistema “decimale”? Quanto ai “pianisti, buoni matematici”, qualcuno li informi, per piacere, che tutti i musicisti – non solo i pianisti, ma anche i batteristi e gli xilofonisti che non usano le dita, e gli organisti che usano persino i piedi (ma non le dita di essi!) – conoscono l’aritmetica, perché “musica est exercitium arithmeticae occultum nescientis se numerare animi” (Leibniz), la musica è un esercizio occulto di aritmetica, nel quale l’anima calcola senza rendersene conto. Frequenze, tempi, intensità, armoniche, ritmi, canoni, interruzioni, frasi, ritorni, …

.

.

.