Il Publication bias (ovvero come ostacolare la ricerca biomedica in poche semplici mosse)
Il publication bias in italiano può essere tradotto nel poco elegante “errore sistematico di pubblicazione” o “distorsione nella pubblicazione”. Consiste nell’evitare di pubblicare studi scientifici che hanno dato esito negativo, che quindi dimostrano l’inefficacia di un trattamento, rispetto a quelli che ne provano le sue proprietà benefiche.
Non è una bella cosa, ma ammettiamolo, è nella natura umana nascondere le cose brutte e mostrare solo i risultati positivi, no? Certamente. Ma qui la faccenda è molto seria, sia che si parli di nascondere lavori interi, che parte di essi. Citando Ben Goldacre: “Se lancio una moneta cento volte, ma vi comunico i risultati soltanto quando esce testa, posso convincervi che si tratta di una moneta che ha una testa su entrambe le facce. Ma ciò non significa che io abbia realmente una moneta con due teste: significa che vi sto ingannando, e che voi siete degli sciocchi da permettermi di farla franca.”
Mentre in quest’ultimo caso si tratta di un vero e proprio imbroglio (inspiegabilmente impunito), la mancata pubblicazione di un lavoro che ha dato esito negativo può essere un grande ostacolo nell’avanzamento delle conoscenze nell’ambito medico.
Ad esempio, nel 2008 alcuni ricercatori hanno ottenuto 74 review dalla FDA riguardanti alcuni antidepressivi: controllando la letteratura pubblicata risulterebbe il 94% dei trials positivi, mentre nel registro dell’FDA, che comprende anche i lavori non pubblicati, questo dato scende al 51%.Su 22 studi aventi esito negativo, infatti, solo 3 sono stati pubblicati, a fronte della quasi totalità (37 su 38) di quelli positivi[1].
Ma allora è colpa delle riviste scientifiche, che decidono le cose da pubblicare in base a quello che piace a loro (escludendo quindi le dimostrazioni del fallimenti degli esperimenti)? Dopotutto, per quanto possano essere viste come custodi della scienza, hanno sempre un’anima commerciale e, come le riviste di moda e di gossip, vogliono agguantare più lettori possibili con dati interessanti e rivoluzionari.
Un esempio: nel 2012 alcuni ricercatori hanno cercato di replicare 53 studi su bersagli per trattamenti oncologici che non avevano avuto smentite: ben 47 non si sono potuti ripetere con lo stesso risultato[2].
Vale la pena citare anche il bizzarro studio pubblicato su una rivista di psicologia che dimostrava la capacità dell’uomo di prevedere il futuro[3]. Gli esperimenti sono stati ripetuti da altri ricercatori e ovviamente non sono state raggiunte le stesse conclusioni. Un gruppo che sottopose la smentita del lavoro alla stessa rivista si vide rifiutare l’articolo, con la scusa che “loro non pubblicavano mai studi che replicavano altre ricerche”.
In realtà, diversi studi compiuti su questa ipotesi però hanno ridimensionato (anche se non escluso) il ruolo dell’editorial bias[4][5]. Chi è allora il vero colpevole?
Ipotizziamo il seguente scenario: siete un giovane postdoc e per ottenere i fondi e il prestigio che meritate dovete pubblicare più articoli possibili nel vostro campo, possibilmente come primo nome e in riviste con alto Impact Factor. La vostra molecola antiinfiammatoria su cui state lavorando ha superato le durissime fasi precliniche con successo e sta ora cominciando le fasi cliniche. Da scienziati zelanti, eseguite lo studio con tutti i crismi: popolazione numerosa, randomizzata e studio in doppio cieco. Raccogliete con perizia i dati riguardanti l’efficacia del farmaco e gli effetti collaterali registrati dai pazienti. Fate le analisi statistiche comparando i dati con un placebo e, ohibò, la vostra molecola non si rivela migliore della pillolina di zucchero. Avete sprecato tempo e soprattutto un sacco di soldi, e del vostro studio su una molecola neanche in commercio non importa un bel niente a nessuno.
I vostri sogni di pubblicare su Nature sono svaniti, e avete gli incubi sulla gente che, additandovi, vi dirà “E’ quello che ha dimostrato che la sua molecola non serve a niente!”
Nella realtà, la situazione non è tanto diversa: vari studi hanno dimostrato che il più delle volte sono i ricercatori stessi che, scoraggiati dai risultati negativi o non significativi della loro ricerca, decidono di non inviarla alle riviste[6][7][8]. Esiste addirittura un lavoro dell’anno scorso[9] che appoggia le riflessioni di Ben Goldacre nel suo saggio Bad Science (da cui, ci tengo a dirlo, sto spudoratamente attingendo a piene mani per questo articolo).
Ma a questo punto mi sembra di sentire risuonare in tutto Internet un coro lontano di “è colpa di Big Pharma!11!”, “le Ca$e farmaceutiche ci vogliono malati per venderci le medicine!!1”, “I Bildemberg e le scie chimiche complottano con i sionisti e gli Illuminati e l’NWO per depopolare con i vaccini il mondo… sveglia!1!!111!”, “le scoperte di Tesla sono state insabbiate perchè erano scomode ai potenti!1!” (Tesla c’entra sempre, in qualche modo).
Benchè siano tutte bufale del tipico complottaro medio, ricordiamo che le case farmaceutiche non sono ONLUS e il loro fine è avere margini di profitto nel venderci medicine. E sì, spesso tirano acqua al loro mulino. Un modo facile facile di farlo, guarda un po’, è quello di nascondere i trial che hanno dato esito negativo degli studi che loro stesse finanziano. L’accordo che si fa in questi casi è: io, casa farmaceutica, metto il cash, però posso decidere cosa fare del tuo lavoro. Ad esempio, uno studio del 2006 pubblicato su JAMA, mostra che su 44 trial presi in esame, in 16 la compagnia finanziatrice aveva libero accesso ai dati e in altrettanti aveva il diritto di interrompere lo studio. In 40 c’erano limitazioni ai diritti di pubblicazione e in metà di essi veniva specificato che lo sponsor era il proprietario dei dati[10].
Le conseguenze di questo accordo saltano fuori da studi come questo del 2010: tre ricercatori esaminarono 546 trial clinici registrati in ClinicalTrials.gov ed esaminarono la correlazione tra risultati positivi e finanziamenti da industrie farmaceutiche: l’85% degli studi finanziati dalle industrie era positivo, contro il 50% degli studi finanziati dal governo[11]. E ancora, nel 2007, con un metodo simile, dei ricercatori analizzarono 192 studi sulle statine (molecole che abbassano il colesterolo e quindi riducono l’insorgenza di problemi cardiaci), arrivando alla conclusione che gli studi finanziati dalle industrie farmaceutiche avevano una probabilità venti volte maggiore di risultare efficaci rispetto a quelle che non coinvolgevano industrie[12].
Ma vediamo finalmente quali sono le conseguenze pratiche del publication bias. La lista, ahimè, è piuttosto lunga.
Premetto che i trial di cui parliamo sono quelli clinici, ovvero l’ultima fase dell’iter di produzione di un farmaco. Facendo un brevissimo riassunto, immaginate un imbuto: abbiamo decine di migliaia di molecole soggette a screening in vitro; solo una frazione di esse passerà alla fase successiva nell’animale. Infine il farmaco candidato più promettente che ha passato indenne questa selezione avrà l’onore di essere sperimentato sull’uomo. Qui abbiamo la fase I che comprende volontari sani (per studiare le reazioni avverse), la fase II, volta ad osservare gli effetti curativi della molecolae successivamente la fase III, che comprende migliaia di pazienti per verificare la presenza di effetti collaterali o anormalità del farmaco in un campione molto grande ed omogeneo. Infine c’è la farmacovigilanza, che consiste in un periodo di osservazione del farmaco una volta che è in commercio.
Tornando a noi, se un trial clinico viene abbandonato senza essere pubblicato (e quindi senza che il mondo ne venga a conoscenza), tutti i sacrifici dei partecipanti saranno stati vani perchè non porteranno ad un avanzamento della conoscenza in quel campo: è possibile che in un’altra parte del mondo, un ricercatore che studia la vostra stessa disciplina possa avere la stessa pensata e finisca per intraprendere un trial clinico fallimentare come il vostro. Questa situazione può svolgersi teoricamente all’infinito, causando perdita di tempo, di soldi e sofferenze inutili per i pazienti arruolati (sì, si dice proprio arruolare) nel trial.
Vale la pena specificarlo: i partecipanti alle fasi cliniche spesso lo fanno per altruismo e spirito di sacrificio per una giusta causa[13]. Quando firmano il consenso alla partecipazione gli si viene detto che i dati raccolti nel trial guideranno le decisioni future. Se ciò non è vero, se i dati vengono nascosti, si è mentito intenzionalmente ai pazienti. E questo è un fatto molto grave.
Facciamo un paio di esempi. La Reboxetina è un farmaco antidepressivo, molto usato e conosciuto in tutto il mondo. Nel 2010 dei ricercatori raggrupparono tutti i trial eseguiti su questo farmaco, richiedendo i dati anche ai produttori e agli enti di controllo. In totale ottennero 7 trial che confrontavano il farmaco con dei placebo. Quello pubblicato era l’unico che mostrava risultati positivi, ed era quindi l’unico ad essere stato consultato dai medici, che avevano quindi deciso di prescriverlo ai loro pazienti. E gli altri 6 trial (effettuati, oltretutto, su un numero di pazienti 10 volte più numeroso)? Il loro esito era negativo: il farmaco non era meglio del placebo[14].
Un discorso simile è stato fatto per i trial che confrontavano la Reboxetina con altri farmaci in commercio: solo i trial che evidenziavano l’equivalenza con gli altri farmaci erano stati pubblicati. La maggior parte dei lavori, però, mostravano che i pazienti trattati con reboxetina avevano risultati peggiori di quelli curati con altri farmaci.
Ah, dimenticavo: il farmaco, non avendo infranto nessuna legge, è ancora in vendita.
Un caso eclatante è quello della Lorcainide, un farmaco antiaritmico. A tutti i pazienti che avevano avuto un attacco cardiaco si somministrava lorcainide, che contribuiva a stabilizzare i ritmi cardiaci in modo che la probabilità di avere un altro infarto diminuisse. Peccato che il farmaco aumentava la probabilità di morte (9 morti su 49 contro 1 su 47 che assumevano un placebo). Lo studio risale al 1980, ma ci sono voluti ben 13 anni perchè venisse pubblicato. Si stima che il numero di morti per questa negligenza sia sulle centomila persone (lo ripeto: centomila)[15].
E i test sugli animali? Il publication bias colpisce anche lì. Un’analisi di 16 review riguardanti 524 pubblicazioni sul trattamento di ictus ischemico acuto ha rivelato che solo il 2% delle pubblicazioni riportava l’inefficacia del trattamento. In questo lavoro vengono stimati 214 esperimenti effettuati ma mai pubblicati, che si traducono in circa 3600 animali coinvolti, senza che nessuno possa trarre vantaggio dal loro sacrificio[16].
Ci sarebbe ancora molto da dire sull’argomento e più in generale su come si possono manipolare e interpretare gli studi per far prendere loro una piega diversa, ma a questo punto vi rimando all’interessantissimo ed esaustivo saggio di Ben Goldacre “Effetti collaterali” (Bad Pharma nella versione inglese).
P.S.: Firmate la petizione ufficiale per chiedere di pubblicare tutti i risultati di tutti i trial clinici![17] E’ un’iniziativa della Cochrane Collaboration (l’ente che si occupa di raccogliere e valutare con revisioni sistematiche l’efficacia dei trattamenti sanitari), delle riviste British Medical Journal, PLOS, badscience.net (il sito di Ben Goldacre) e altre associazioni. La petizione è inoltre supportata da 450 organizzazioni operanti nell’ambito sanitario.
[ Edoardo Romano ha 23 anni, si occupa di biologia molecolare all’Università degli Studi di Milano, si occupa in particolare dello studio a livello molecolare ed elettrofisiologico di canali ionici sintetici controllati dalla luce]
Referenze
[1] Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R. (2008) Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Medhttp://www.ncbi.nlm.nih.gov/pubmed/18199864
[2] Begley CG1, Ellis LM. (2012) Drug development: Raise standards for preclinical cancer research. Nature http://www.ncbi.nlm.nih.gov/pubmed/22460880
[3] Bem DJ. (2011) Feeling the future: experimental evidence for anomalous retroactive influences on cognition and affect. J Pers Soc Psychol. http://caps.ucsf.edu/wordpress/wp-content/uploads/2011/02/bem2011.pdf (il lavoro è molto lungo ma vale la pena leggere almeno l’esperimento 1)
[4] Dickersin K, Min YI, Meinert CL. (1992) Factors influencing publication of research results. Follow-up of applications submitted to two institutional review boards. JAMAhttp://www.ncbi.nlm.nih.gov/pubmed/1727960
[5] Olson CM, Rennie D, Cook D, Dickersin K, Flanagin A, Hogan JW, Zhu Q, Reiling J, Pace B. (2002) Publication bias in editorial decision making. JAMAhttp://www.ncbi.nlm.nih.gov/pubmed/12038924
[6] Weber EJ1, Callaham ML, Wears RL, Barton C, Young G. (1998) Unpublished research from a medical specialty meeting: why investigators fail to publish. JAMAhttp://www.ncbi.nlm.nih.gov/pubmed/9676674 Il 20% dei ricercatori pensa che sia inutile pubblicare risultati negativi, perchè sarebbero respinti dalle riviste
[7] Kupfersmid, Joel (1988) Improving what is published: A model in search of an editor.American Psychologist http://psycnet.apa.org/index.cfm?fa=search.displayRecord&uid=1989-03023-001 Il 60% degli psicologi la pensa come i ricercatori nello studio sopra
[8] Song F, Parekh S, Hooper L, Loke YK, Ryder J, Sutton AJ, Hing C, Kwok CS, Pang C, Harvey I. (2010) Dissemination and publication of research findings: an updated review of related biases. Health Technol Assess http://www.ncbi.nlm.nih.gov/pubmed/20181324
[9] Iain Chalmersa, Kay Dickersin (2013) Biased under-reporting of research reflects biased under-submission more than biased editorial rejection. F1000Reshttp://www.ncbi.nlm.nih.gov/pmc/articles/PMC3782352/?report=classic
[10] Gøtzsche PC, Hróbjartsson A, Johansen HK, Haahr MT, Altman DG, Chan AW. (2006) Constraints on publication rights in industry-initiated clinical trials. JAMAhttp://www.ncbi.nlm.nih.gov/pubmed/16609085
[11] Bourgeois FT, Murthy S, Mandl KD. Outcome reporting among drug trials registered inClinicalTrials.gov. (2010) Ann Intern Med. http://www.ncbi.nlm.nih.gov/pubmed/20679560
[12] Bero L, Oostvogel F, Bacchetti P, Lee K. (2007) Factors associated with findings of published trials of drug-drug comparisons: why some statins appear more efficacious than others. PLoS Med http://www.ncbi.nlm.nih.gov/pubmed/17550302
[13] Wendler D, Krohmal B, Emanuel EJ, Grady C; ESPRIT Group (2008). Why patients continue to participate in clinical research. Arch Intern Med.http://www.ncbi.nlm.nih.gov/pubmed/18574086
[14] Eyding D, Lelgemann M, Grouven U, Härter M, Kromp M, Kaiser T, Kerekes MF, Gerken M, Wieseler B. (2010) Reboxetine for acute treatment of major depression: systematic review and meta-analysis of published and unpublished placebo and selective serotonin reuptake inhibitor controlled trials. BMJ http://www.ncbi.nlm.nih.gov/pubmed/20940209
[15] Cowley AJ, Skene A, Stainer K, Hampton JR. (1993) The effect of lorcainide on arrhythmias and survival in patients with acute myocardial infarction: an example of publication bias. Int J Cardiol http://www.ncbi.nlm.nih.gov/pubmed/8349379
[16] Sena ES, van der Worp HB, Bath PM, Howells DW, Macleod MR (2010) Publication bias in reports of animal stroke studies leads to major overstatement of efficacy. PLoS Biolhttp://www.ncbi.nlm.nih.gov/pubmed/20361022
