“In mezzo a un mare di falsi risultati”
Siamo alla crisi di un paradigma, forse c’è bisogno di una nuova scienza di base.
di Alessandro Giuliani.
Era il 2008 e io ero seduto su un taxi che dall’aeroporto di Los Angeles mi portava a Pasadena dove il giorno dopo avrei dovuto partecipare a un convegno al Caltech. Il tassinaro era un signore sulla sessantina molto simpatico, con cui ho immediatamente fraternizzato, per prima cosa mi ha parlato dei suoi nipotini e di come fosse felice di essere diventato nonno. Mi commuoveva sentire da lui le stesse considerazioni che mi confidava mio padre (allora morto da solo due anni). Ecco perché, quando (senza farmi pagare alcun sovra prezzo) mi portò ad ammirare dall’alto di una collinetta il panorama dei Jet Propulsion Laboratories della NASA dicendomi con aria sognante ‘Vedi qui lavorano degli scienziati che, se tu gli fornisci sufficienti fondi, sono in grado di inventare qualsiasi cosa’, mi sembrò una insopportabile cattiveria dirgli che non è che con i soldi si può fare tutto e che esistono dei limiti alla scienza posti dalla natura e anche dalla finitezza e imperfezione dei nostri modelli. Insomma ho annuito cercando di apparire solidale con il suo punto di vista, d’altronde anche nella religione scientista i semplici fedeli sono di regola infinitamente più simpatici dei teologi. Non credo che il mio autista angeleno abbia avuto notizia dell’articolo apparso il 16 Marzo 2015 sulle ‘Chronicle of Higher Education’ (una specie di bollettino semi-ufficiale delle maggiori Università Americane), già il titolo avrebbe provocato in lui un turbamento non da poco ‘Amid a Sea of False Findings, the NIH tries Reform’ che in Italiano suona come ‘In mezzo a un mare di falsi risultati, l’NIH (il National Institute of Health il principale ente di ricerca e di finanziamento alla ricerca biomedica del mondo n.d.T) tenta la riforma’. Insomma di cosa si tratta è detto nelle prime battute, ed è qualcosa di sconvolgente (di nuovo mancano i riscontri nella nostra stampa, ma noi aspettiamo fiduciosi):
How do you change an entire scientific culture?
It may sound grandiose, but that is the loaded question now facing the National Institutes of Health, the federal agency that oversees and finances U.S. biomedical research.
While the public remains relatively unaware of the problem, it is now a truism in the scientific establishment that many preclinical biomedical studies, when subjected to additional scrutiny, turn out to be false. Many researchers believe that if scientists set out to reproduce preclinical work published over the past decade, a majority would fail. This, in short, is the reproducibility crisis.
The NIH, if it was at first reluctant to consider the problem, is now taking it seriously. Just over a year ago, the agency’s director, Francis S. Collins, and his chief deputy, Lawrence A. Tabak,
announcedactions the agency would take to improve the research it finances. Science needs to get its house in order, Dr. Collins said in a recent interview with The Chronicle.
“We can’t afford to waste resources and produce nonreproducible conclusions if there’s a better way,” he said.
Il grassetto è mio, ma insomma qui ci troviamo di fronte a un bel problema: tutti sanno che una buona parte dei risultati nelle scienze biomediche è falsa.
Il problema è reso ancora più scottante dal fatto che la direzione di investimento di enti finanziatori come l’UE si stanno ormai orientando verso la direzione cosiddetta ‘Big Data’ che in soldoni implica l’estrazione di evidenza immediatamente ‘traslazionale’ (cioè da applicare alla cura e alla diagnosi) dagli enormi data base che raccolgono questa informazione scientifica che è riconosciuta in buona parte fallace. Chiaramente una volta che questa informazione fallace entra a far parte di sistemi automatici di decisione si perde completamente la possibilità di falsificarla e l’errore si propaga in maniera esponenziale, gli amanti della statistica possono approfondire la questione leggendo questa pubblicazione:
http://www.pnas.org/content/103/13/4940.short
è comunque abbastanza intuitivo che basarsi su risultati erronei che non si possono controllare non è il massimo della vita.
La crisi di riproducibilità ha spinto il direttore dell’NIH a correre ai ripari: qui c’è da rifondare tutta la scienza da capo a piedi. Su CS avevamo già fatto balenare questo problema in interventi sullo stato della ricerca sui tumori o sulla reale entità del problema delle malattie neurologiche, qui però non sono un gruppo di sconsiderati a parlare, è il direttore dell’NIH che senza mezzi termini ha detto che ‘non c’è più trippa per gatti’, no reproducibility / no money insomma.
Il mio tassinaro sarebbe deluso grandemente: altro che ‘bastano i finanziamenti e si può fare tutto!’
Ma se questa è la malattia (piuttosto grave) quale è la cura? Quale è la ‘better way’ (il modo migliore) di fare scienza a cui si riferisce Collins?
Si elencano alcuni punti critici che essenzialmente hanno a che vedere col che dai giornali di alto impatto (Science, Nature etc.) viene premiata la ricerca che porta a risultati apparentemente sensazionali ma non approfonditi e controllati (caspita sembra di sentir parlare della televisione non delle riviste scientifiche ..), e questo porta a un sistema che non premia la qualità e soprattutto che:
Graduate students, dependent on their advisers and neglected by their Universities, receive minimal ad hoc training on proper experimental design, believing the system of rewards is how it always has been and how it always will be.
In poche parole, I laureate di primo livello (quelli che fanno la gran parte del lavoro) sono all’oscuro delle basi della metodologia sperimentale (rudimenti di statistica per il disegno sperimentale) e tutto sommato non se ne curano dato che sono convinti che comunque ‘vince chi pubblica’ (e quindi l’importante è spararle grosse non che i risultati siano fondati) e che questo sistema di premi sia immutabile.
Gli effetti sono catastrofici se nel caso dei farmaci antitumorali ad esempio solo il 10% dei risultati sono replicabili:
E chiaramente il prof. Begley, citato nell’estratto qui sopra indica che tutto ciò può avere effetti catastrofici sulla considerazione della scienza da parte della comunità (immaginatevi una folla di fedeli delusi come il tassinaro di Los Angeles non i soliti amorali e scettici (saggi?) Italiani).
Bene e la cura? Bè qui siamo carenti, alcune cose sono doverose e sagge:
Insomma, insegnare un pochino di statistica e disegno sperimentale agli studenti, il fatto stesso che questa però viene definita un ‘more-radical shift’ e non un’ovvietà ci fa capire che si sta annaspando…
Altri aspetti sono ancora più paradossali, come il fatto che nel 30% dei casi ci siano delle etichette sbagliate sui contenitori:
Ma alla fine la cosa più radicale di tutte .. aspettate a ridere (o a piangere secondo i gusti):
Insomma la cosa più importante di tutte è pentirsi, capire che così non può andare avanti e i primi a pentirsi devono essere i professori.
Non una parola sul fatto che forse c’è bisogno di nuova scienza di base, che forse l’usuale modo di immaginare pattern meccanicisti in cui le molecole interagiscono in catene lineari e deterministiche è del tutto inadeguato e implica una visione della biologia fatta di ‘demonietti di Maxwell’, cioè di molecole intelligenti che lavorano come in un cartone animato ‘chiamando’ altre molecole e ‘trovando per magia’ il pezzo di DNA a cui legarsi…non una parola che questa crisi potrebbe essere una immane crisi di paradigma…
Comunque, se non altro, conoscere meglio la statistica male non fa……
.
.
.
15 commenti
Io sono ancora uno che crede, se va da un bravo gastroenterologo, che mi curerà al meglio… Ci posso sperare ancora? Per favore, Alessandro, traduci terra-terra cosa deve temere l’uomo della strada quando, purtroppo, la salute lo lascia e l’età porta acciacchi e malinconie…
Tranquillo Giuseppe qui si parla di ricerca non di pratica medica e un buon medico è qualcosa di diverso da un ricercatore. Non a caso la metanalisi cioè l’analisi comparativa con metodi quantitativi della supposta evidenza scientifica è nata proprio in ambito clinico per soppesare la verosimiglianza della letteratura scientifica. Se però la distruzione intellettuale avanzera anche la pratica clinica ne soffrirà tu però controlla che il tuo medico sia persona saggia e che ti ascolti con attenzione senza subito ordinarti mille analisi e vai tranquillo.
Caro Giuseppe,
se però vai dal tuo gastroeneterologo, perchè sprecare il viaggio?
Una domanda fagliela.
Chiedigli perchè se vent’anni fa si curavano le infiammazioni del colon con la Mesalazina, adesso dopo vent’anni diconsi venti anni, e dopo migliaia di articoli scientifici, i medici prescrivono ancora la Mesalazina?
Il dottore ti dirà che, tranne alcune forme importanti che vanno affrontate con cure ‘biologiche’ come gli anticorpi, la quasi totalità delle infiammazioni dei vari tratti del colon hanno ancora una sola cura: la mesalazina. Nonostante migliaia di articoli e studi sull’argomento.
Sai perchè? La mesalazina funziona. L’hanno provata e funziona. Cioè la gente, dopo averla assunta, sta meglio. Tutte le altre parole usate nelle migliaia di articoli sui paper invece non funzionano. E allora sono rimaste lì. Scripta manent…
Questo dell’NIH è forse l’inizio di una svolta, di un ritorno alla realtà, di una discesa dai miti. Grazie, Alessandro, per avercelo fatto conoscere.
Eh sì, ci si sta accorgendo finalmente della “replication crisis”, e ciò doveva partire ovviamente dagli Usa, la cui ricerca tanto si fonda sui finanziamenti privati – che pretendono risultati! – e doveva altrettanto ovviamente partire dal settore sanitario, dove più si fa sentire la persistente assenza di nuove cure rispetto alle mirabolanti promesse di alcuni decenni fa, passati velocemente senza risultati.
Ormai si è capito che ciò che si richiede è una vera e propria rivoluzione culturale – un ritorno a Galileo artigiano e pieno di buon senso – dopo la sbornia di retrodizioni e miti (dell’IA, delle neuroscienze e della psicologia evolutiva, per prime) in cui ci ha affogato il main stream. Persino la fisica, proprio l’arte di Galileo!, si sta impantanando da alcuni decenni in una serie di teorie (fondamentali o cosmologiche), tutte in fiero contrasto l’una con l’altra, che sono del tutto fuori dalla riproducibilità… Lunedì scorso, durante una lezione, uno studente (tra i migliori, più curiosi) mi ha chiesto ad un certo punto: ma Lei, professore, a quale teoria del multiverso crede?
Ma perché dovrei “credere” ad un sistema matematico? gli ho risposto. E’ come se Lei mi chiedesse se credo alla geometria iperbolica piuttosto che a quella ellittica!
Ti ricordi, Alessandro, il primo studio sulla ricerca spazzatura di Ioannidis (“Why most published research findings are false”), segnalatami proprio da te? Fu nel 2005 l’articolo scientifico più letto dell’anno. Nel 2008 scoppiava la crisi finanziaria che ha reso molto più cauti oggi gli investimenti dei fondi. Io lo vedo tutti i giorni. Cosicché, oggi Ioannidis lavora a Stanford, dove ha messo in piedi un gruppo di ricercatori che, con molte più risorse di CS!, fa meta-ricerca, cioè critica della ricerca spazzatura. http://metrics.stanford.edu/ Per la Stanford il moto è ora: No reproducibility? No science.
E se è arrivata in America, stiamo sicuri che l’onda arriverà anche in Italia.
Amici di CS, dobbiamo avere l’orgoglio di essere tra i pochi in Italia ad avere la percezione della gravità di questo problema. Noi amiamo la vera scienza, per questo siamo severi con la falsa scienza.
Cosa serve, oltre al pentimento? Oltre ad un bagno salutare di umiltà e di studio delle tecniche statistiche? Temo che Popper sia necessario, ma non più sufficiente. Ma avremo certamente occasione di riparlarne.
Caro Giorgio è proprio come dici e il segnale di speranza è che la necessità di un riscontro nella realtà abbatta le l’uso ideologico della scienza anche nelle sue branche teoriche
Grazie Alessandro,
Se ne parla ormai da più di un decennio, ma di fatto poco si è fatto.
Speriamo in un prossimo decennio migliore.
Io ne sono convinto che le cose miglioreranno cara Virginia se addirittura se ne accorge l’establishment..ora si tratta di vedere come si mettono con l’apparato propagandistico
Interessante e inquietante per chi a che fare, a vario titolo, con la ricerca. Si capisce perché tanti rimedi non funzionano come dovrebbero e perché gli specialisti, per quanto bravi, siano comunque male informati anche quando sono aggiornati.
Il riferimento del tassista ai fondi per la ricerca fa anche capire bene che tipo di propaganda sia stata fatta da parte dei ricercatori presso il pubblico adorante, del tipo “Dateci un punto di appoggio e vi solleveremo il mondo”, che significa anche “noi siamo bravissimi, sappiamo tutto e possiamo tutto, ma se non ci finanziate vi tenete lo schifo che avete”.
Caro Alessandro, l’articolo e’ di una lucidita’ impressionante, non ho quasi nulla da dire, raccattando sugli angoli direi:
1) se qualcuno ha link italiani a riguardo (non per la lingua ma per far capire il problema a chi soffre di provincialismo/campanilismo), mi piacerebbe averli (e diffonderli)
2) idea personale, ho sempre dubitato dei paradigm shift. Secondo me sono possibili solo in determinate occasioni dove c’e’ un veccchio paradigma E UNO NUOVO. Non funziona invece, sempre a mia opinione, ne’ quando non c’e’ un nuovo paradigma (ma solo il fallimento di quello attuale) ne’ quando (che e’ un caso fondamentalmente identico) si e’ smesso di aderire al paradigma e si deve semplicemente ricominciare a seguire le sue vecchie e buone consuetudini (come in questo caso). Non voglio pero’ dire che se non c’e’ paradigm shift allora non cambia nulla, dico che non mi aspetto un effetto valanga (o effetto saltare sul NUOVO carro dei vincitori, poiche’ o non c’e’ nessun carro o il carro e’ sempre quello). Questo perche’ “il nuovo che avanza” permette ai falsari di mischiarsi nella folla che plaude al nuovo Dux. Piu’ difficile invece aspettarsi un pentimento altrettanto a valanga.
3) mitico l’esempio con i cartoni animati e le molecole che “chiamano” e “trovano per magia”. Insomma scrollarci di dosso un misticismo di ritorno. Di nuovo, anche qui non ci riesco a vedere un prossimo venturo crollo di paradigma perche’ prima di questo bisognerebbe confessare che impunemente si era tornati ad uno scientismo pieno di misticismo, senza alcuna giustificazione (il tornarci)
Non che io non trovi corretto l’uso di paradigm shift, intendiamoci. Non la trovo pero’ una possibilita’ realmente possibile. Ma, ripeto, non lo ritengo un vincolo necessario.
E poi posso sempre sbagliarmi 🙂
Grazie Fabio, in realtà hai ragione tu rispetto al ‘paradigm shift’ ma non mi sovviene altra parola, provo a spiegarmi: il fatto di fare scienza peciona non stando attenti non solo alla metodologia statistica ma addirittura alle etichette sulle bottiglie è ovviamente un orrore in sè (quale che sia il paradigma). Però il punto di cercare sempre e comunque una catena lineare di eventi molecolari che porta invariabilmente a un risultato è un’attitudine (meglio attitudine che paradigma forse) perniciosa che se ha funzionato nell’epoca magica della medicina dove scopo del gioco era ‘uccidere i microbi’ (e quindi era possibile lavorare sulla causa eziologica) perde di significato quando si voglia modificare il funzionamento di un sistema complesso dove reti causali lineari proprio non ce ne sono. Insomma si confonde il pathway con la traiettoria di un sistema dinamico cosa evidentemente folle, vista la presenza di circuiti di feedback e la molteplicità delle interazioni possibili. Fino ad adesso si è andato avanti per successive apposizioni, per cui ad esempio il fenomeno dell’autofagia stimolava la crescita neoplastica ma anche la inibiva se le condizioni cambiavano e via delirando con i ‘non solo ..ma anche’.
Allora il punto è proprio piantarla con le molecole agenti intelligenti che si danno d’attorno di qua e di là e di studiare i sistemi viventi come sistemi dinamici complessi di cui identificare i ‘modi stabili’ collettivi e non le singole minuzie sperando di trovare il ‘magic bullett’.
Non è perfettamente in tema ma l’articolo mi ha ricordato un episodio divertente. Davanti al reiterato errore nel definire la terapia di una non ricordo quale patologia, il docente di dermatologia sarcasticamente rispondeva più o meno così alle rimostranze degli studenti, che si giustificavano affermando che “così c’è scritto nel testo”:
“Sapete come vengono scritti i trattati? Copiando da altri e solo ogni tanto aggiungendo qualcosa di nuovo e personalmente verificato”
Caro Gigi, in realtà è perfettamente in tema e ha a che vedere proprio con l’articolo di statistica di PNAS di cui riportavo il link:
http://www.pnas.org/content/103/13/4940.short
Lì si parla proprio di catene di rimandi ad altra letteratura che a forza di ripeterli vengono dati per scontati senza più nessuna possibilità che la falsa informazione sia emendata….il dramma è proprio questo.
Ciao,
oggi ero ad Aviano al CRO (Centro di Riferimento Oncologico, il più importante del Triveneto), tra parentesi a pochi km dalle 60 testate nucleari che riposano sotto le montagne circostanti, a quanto mi hanno detto. Una certa vibrazione l’ho sentita..
Bene, commentavo l’articolo del nostro Alessandro Magno con i medici che ho incontrato e mi consigliavano, per sapere VERAMENTE come stanno le cose su una scoperta (riproducibile), di verificare su questo sito http://www.clinicaltrials.com/ a che punto stavano con la messa a punto del protocollo e solo DOPO che il protocollo era stato completato con successo andare a vedere se vi erano articoli su pubmed che espressamente riportavano risultati che facessero espressamente riferimento all’utilizzo di quei protocolli solo dopo la loro approvazione..
Caro Max meno male che i clinici hanno la risorsa dei trials con procedure controllabili con cui un po si difendono ma nella scienza di base è un guaio serio e se aspettiamo qualcosa che assomigli a una ricerca traslazionale siamo inguaiati.
Questo articolo sulla non riproduzione degli esperimenti mi ha fatto venire in mente quanto scritto dallo storico della scienza Steven Shapin in “La rivoluzione scientifica” del 2003, al riguardo riporto quanto da me scritto in “Inchiesta sul darwinismo”:
.
La possibilità di produrre delle pubblicazioni era dunque indispensabile al fine di diffondere le conoscenze acquisite dagli scienziati della Royal Society…
La riproducibilità dell’esperimento doveva costituire lo strumento di questa diffusione della verità: il superamento delle opinioni da parte dei fatti. Ma inaspettatamente accadde qualcosa di molto diverso: gli esperimenti non venivano in realtà ripetuti e la veridicità di una scoperta non derivava dalla sua verifica sperimentale.
Boyle stesso stabilì i mezzi migliori per diffondere la scienza della Royal Society, che vennero individuati in qualcosa che si avvicinava più a uno strumento propagandistico, a una scrittura in grado di essere convincente per persone che, nella quasi totalità dei casi, non avrebbero messo in pratica gli esperimenti descritti.
.
Insomma, sin dai tempi di Boyle, con la nascita della Royla Society e la sottomissione della scienza ad interessi politici, le pubblicazioni non sono state molto controllate mediante la ripetizione degli esperimenti, questo alla fine è diventato un vero tradimento del metodo sperimentale che ha riempito di “rumore” sterile la scienza.
Adesso che i danni di questa impostazione stanno diventando evidenti è il momento che crescano le prese di posizione riportate da Giorgio e che affermano “No reproducibility? No science”.