Integrita' della ricerca: perche' dovremmo fidarci degli studi clinici registrati
UN NUOVO STUDIO TROVA PROVE RASSICURANTI SULL'INTEGRITA' DEGLI STUDI CLINICI REGISTRATI SU CLINICALTRIALS.GOV, CON QUALCHE CRITICITA' SOLO PER LE PICCOLE AZIENDE FARMACEUTICHEIn un periodo in cui dobbiamo fare affidamento sugli studi clinici per i farmaci e i vaccini COVID-19, una ricerca di prossima pubblicazione su Proceedings of the National Academy of Sciences of the United States of America (PNAS) porta buone notizie sulla credibilità degli studi clinici registrati.
Gli autori sono due professori di economia della Bocconi, Jerome Adda e Marco Ottaviani, e un loro ex studente di biennio, Christian Decker, ora dottorando all'Università di Zurigo.
In uno studio clinico, la significatività statistica è un prerequisito fondamentale per l'approvazione di nuovi farmaci. Al di sotto di una certa soglia di significatività, i risultati della sperimentazione potrebbero infatti essere dovuti al caso e non all'efficacia del farmaco. Secondo un argomento spesso ripetuto, i costi di ricerca e i grandi potenziali profitti da parte delle aziende farmaceutiche che sponsorizzano lo studio, potrebbero spingere gli sperimentatori ad abbellire i dati. Precedenti studi sui risultati di test statistici riportati su riviste scientifiche di diverse discipline hanno effettivamente rilevato una concentrazione anomala di valori di significatività immediatamente al di sopra della soglia, sollevando il dubbio di scelta selettiva dei dati riportati e di manipolazione.
Adda, Ottaviani e Decker hanno focalizzato la loro attenzione sugli studi registrati su ClinicalTrials.gov, il più grande registro del mondo, e si sono concentrati sulle differenze nei risultati degli studi di fase II e fase III dello stesso farmaco. Nella fase II l'efficacia di un farmaco viene inizialmente stabilita in un piccolo campione di persone (di solito poche centinaia); nella fase III sicurezza ed efficacia vengono poi confermate in un gruppo più ampio di volontari (di solito qualche migliaio). Le aspettative ragionevoli sono che la significatività statistica della fase II sia confermata nella fase III e che gli studi che registrano un livello di significatività al di sotto della soglia nella fase II siano sospesi.
Osservando tutte le sperimentazioni registrate, gli studiosi notano una discontinuità intorno al valore di soglia di significatività solo nella fase III, ma non il salto denunciato dagli studi precedenti: le sperimentazioni appena al di sopra della soglia sono solo leggermente più numerose del previsto. Gli autori, quindi, limitano le loro osservazioni alle sperimentazioni registrate dalle prime 10 aziende farmaceutiche e dagli operatori più piccoli. Mentre le aziende più grandi sono più inclini a sospendere la sperimentazione sotto soglia nella fase II, le piccole aziende tendono a continuare con un numero maggiore di sperimentazioni sotto soglia e finiscono per registrare una quota maggiore di sperimentazioni sopra soglia nella fase III. La quota prevista di sperimentazioni con significatività al di sopra della soglia nella fase III per le grandi aziende è del 65%, e la quota effettivamente registrata del 68%; per le piccole aziende (che portano alla fase III anche candidati meno promettenti), le cifre sono del 57% e del 76%.
“Anche nel caso delle sperimentazioni di fase III da parte delle piccole aziende”, spiega il Ottaviani, “non osserviamo un picco di risultati appena sopra la soglia di significatività. Pensiamo che il processo di registrazione sia fondamentale per la trasparenza”.
Jerome Adda, Christian Decker, Marco Ottaviani, “P-hacking in clinical trials and how incentives shape the distribution of results across phases”, in Proceedings of the National Academy of Sciences of the United States of America (PNAS), 2 June 2020, DOI: 10.1073/pnas.1919906117.
di Fabio Todesco
