Un campo di ricerca sotto la lente
L'iniziativa è nata dall'osservazione che molte scoperte importanti pubblicate su riviste prestigiose non ricevevano mai un adeguato follow-up da parte della comunità scientifica. "Tutto è iniziato notando che non c'era un seguito per una serie di affermazioni importanti contenute in lavori di rilievo", spiega Lemaitre, che ha coordinato lo studio. Il team ha esaminato 1.006 risultati provenienti da 400 pubblicazioni scientifiche del periodo compreso tra il 1959 e il 2011, un arco temporale che si conclude simbolicamente con l'assegnazione del Premio Nobel per la Medicina a Jules Hoffmann per i suoi studi sulla risposta immunitaria della Drosophila.
La metodologia adottata dai ricercatori si è rivelata particolarmente innovativa. Invece di limitarsi a cercare studi che replicassero esattamente i metodi sperimentali originali, il gruppo ha esaminato la letteratura successiva per verificare se le affermazioni fossero state confermate da altri lavori, riprodotte con tecniche più moderne o se resistessero ancora al vaglio delle conoscenze attuali. Utilizzando la loro expertise nel campo, i ricercatori hanno classificato le affermazioni come verificate, non contestate da altri studi, contestate o parzialmente verificate.
Risultati che sfidano il pessimismo
I numeri emersi dall'analisi dipingono un quadro più rassicurante di quanto ci si potesse aspettare. Delle 1.006 affermazioni esaminate, il 61% è risultato verificabile, mentre solo il 7% è stato contestato e si è rivelato non riproducibile. Tra le 240 affermazioni che non erano mai state testate in modo indipendente, il team è riuscito a classificarne ulteriormente un sottoinsieme: 111 risultavano coerenti con le conoscenze attuali e 22 incoerenti. Per approfondire ulteriormente l'analisi, i ricercatori hanno condotto esperimenti per testare altre 45 affermazioni, scoprendo che 38 di esse erano inconsistenti con le conoscenze attuali.
Come ammette candidamente Lemaitre riguardo agli esperimenti che non hanno superato i test, questa osservazione sottolinea l'importanza del controllo critico e della verifica continua nella ricerca scientifica. La genetica della Drosophila si presta particolarmente bene a questo tipo di validazione grazie alla sua straordinaria versatilità sperimentale.
Un modello per affrontare la crisi di riproducibilità
L'approccio utilizzato in questo studio contrasta nettamente con i risultati allarmanti emersi da altri settori della ricerca. Nel 2015, uno studio aveva rivelato che più della metà di 100 studi psicologici falliva i test di riproducibilità, mentre quest'anno una coalizione di 56 team di ricerca ha esaminato decine di studi biomedici brasiliani riuscendo a replicare i risultati di meno della metà degli esperimenti testati. Questi precedenti avevano contribuito ad alimentare la narrativa di una crisi della riproducibilità che starebbe attraversando il mondo scientifico.
Tuttavia, Mark Hanson, coautore dello studio ed esperto dell'evoluzione dei sistemi immunitari della Drosophila, offre una prospettiva più ottimista. "Esiste una narrativa di una 'crisi della riproducibilità' nella scienza, che suona drammatica", osserva, "ma gli scienziati stessi raramente sono così preoccupati". Secondo Hanson, la genetica della mosca è incredibilmente potente e consente così tanti tipi di esperimenti indipendenti che i ricercatori costruiscono costantemente sul lavoro reciproco.
Il progetto dimostra che è possibile valutare sistematicamente la solidità di un intero campo di ricerca, offrendo un modello che potrebbe essere applicato ad altre discipline scientifiche. L'analisi suggerisce che, almeno nel campo dell'immunità della Drosophila, la ricerca si trova in buone condizioni, con una maggioranza significativa di risultati che resistono al test del tempo e alla verifica indipendente.
