Pro-Test Italia

Blog di informazione e divulgazione scientifica sulla ricerca e sulla sperimentazione animale

ABC di uno studio (Guida per tutti, per comprendere l’informazione scientifica corretta) – Parte terza: Come si legge e interpreta uno studio scientifico?

di · 18 Dicembre 2012

Premessa: Questo articolo in tre parti nasce come sfogo alla marea di interpretazioni erronee o fantasiose riguardo studi pubblicati e allo scopo di essere una guida per coloro che non hanno una formazione prettamente scientifica; qualora ci fossero dubbi o parti poco chiare, questi verranno inseriti nell’articolo stesso come FAQ.

Qui trovate la prima parte dell’articolo: La scelta della fonte.
Qui trovate la seconda parte dell’articolo: Come è fatto uno studio scientifico?

Come si legge e interpreta uno studio scientifico?

Ora veniamo alla parte più importante di questo documento, ovvero come si legge e analizza uno studio scientifico: un lavoro che necessita sicuramente di un certo impegno sotto diversi punti di vista, dalle conoscenze di base al ragionamento e all’analisi dei dati statistici e la loro correlazione con le conoscenze attualmente disponibili. Si tratta insomma di un collage dove vanno inseriti i dati che abbiamo a priori circa un argomento (di qualsiasi ambito si stia trattando, dall’eziologia, all’epidemiologia o al trattamento di una patologia per esempio) con i dati che il lavoro ci porta a conoscere, cercando di capire se i diversi pezzi di un’ipotesi possono incastrarsi a dovere nel sistema delle conoscenze oppure creare un nuovo livello di conoscenza; tutto questo ovviamente deve basarsi sull’utilizzo del metodo scientifico e su prove tangibili e verificabili in qualsiasi altro centro di ricerca od ospedale.

Ho cercato di riassumere in uno schema semplice gli elementi che dovrebbero rientrare nell’analisi di uno studio per evitare errori di interpretazione o di valutazione, e per capire quando ci sia malafede nell’interpretare le Conclusioni di uno Studio (cosa che accade purtroppo spesso per motivi economici o propagandistici).

elementi comprensione studio

Per la Valutazione preliminare della validità di uno Studio si deve tenere conto di diversi aspetti: oltre ai tre punti indicati nello schema, ovvero le Conoscenze di base circa l’argomento trattato, la Comprensione e Valutazione dei Dati Statistici e delle Conclusioni che da essi possono derivare, si deve tenere conto di altri due elementi importanti.
  1. La rivista scientifica dove lo Studio è stato pubblicato è un elemento che non può essere trascurato visto che ci può dare qualche indizio sulla serietà dello stesso Studio. Per esempio, un articolo pubblicato sul New England Journal of Medicine, una delle riviste più prestigiose al mondo, risulterà più attendibile e serio rispetto ad un articolo pubblicato su altre riviste in quanto sottoposto ad un controllo migliore sia da parte della commissione che analizza e decide quali studi pubblicare, sia da parte dei lettori che possono controllare, criticare e verificare l’attendibilità di quanto scritto. Invece in caso di pubblicazione su una rivista di minore impatto vi saranno probabilmente meno controlli sia da parte della commissione che da parte del pubblico che legge il lavoro, visto che sarà letto sicuramente da meno persone rispetto all’altro esempio. Un indicatore utile in questo caso può essere l’Impact Factor (I.F.), ovvero quante citazioni in media ricevono gli articoli di una determinata rivista scientifica. Tuttavia l’I.F. non è esente da errori in quanto non esclude possibili circoli viziosi tra piccole riviste per poter aumentare il loro I.F., sviste anche da parte di riviste importanti (anche se difficilmente accade in quanto i controlli sono molto stringenti) o possibili errori di valutazione per riviste che trattano argomenti di nicchia. In linea di massima più una rivista è prestigiosa, migliori saranno i controlli sullo studio, ma rimane importante controllare sia le citazioni (in positivo e negativo) fatte da altri autori o riviste, sia valutare l’I.F. in base alle dimensioni e alle tematiche della rivista stessa.
  2. Un secondo elemento, come già accennato sopra, comprende le critiche, le citazioni e i commenti sul lavoro che possono aiutare sia nella valutazione che nell’individuare eventuali punti di forza e debolezza dello stesso. Uno Studio i cui risultati sono stati ripresi da altri Studi o utilizzati per redigere un protocollo sarà sicuramente più attendibile rispetto ad uno Studio ignorato o criticato in vari punti. Importante rimane comunque valutare l’autore delle critiche e delle citazioni, in quanto spesso riviste dall’I.F. basso o che trattano argomenti non propriamente medici o di medicina alternativa tendono ad “aiutarsi” tra di loro con citazioni senza collegarsi con riviste scientifiche più importanti.

Dopo questa discussione riguardante la rivista scientifica e i commenti e le critiche rivolte ad uno studio, iniziamo ad analizzare i tre punti principali citati sopra di cui una persona dovrebbe tenere conto nell’affrontare la lettura e analisi di uno Studio.

La Conoscenza di Base

In principio si deve avere o acquisire una Conoscenza di Base circa l’argomento trattato dallo Studio, in quanto è difficile comprendere qualcosa che non si conosce bene o di cui non si conoscono almeno i principi fondamentali; l’Introduzione può ovviare solo in parte ad una possibile mancanza in questo settore, in quanto fornisce sicuramente dati aggiornati circa il tema dello Studio ma non in modo completo o senza fornire una visione d’insieme.
Ma come si può porre rimedio a questo? Semplicemente attraverso lo studio sui libri e l’acquisizione di conoscenze specifiche del settore trattato, oppure attraverso la consultazione di persone che lavorano in un determinato ambito.

Un esempio pratico: riuscireste a costruire una casa da soli, basandovi sulle vostre conoscenze? Ovvio che no, ci vogliono diverse figure professionali che devono intervenire sia sulla costruzione della struttura (Ingegneri, Architetti, Geometri, Muratori e Manovali), sia sulla rete idrica che elettrica (Idraulico, Elettricista) e infine eventualmente sia sulla rifinitura di determinate aree della casa (vedi bagno e cucina); certamente esistono persone capaci di eccellere in qualcuno di questi settori ma sicuramente non in tutti quanti in modo uguale e all’altezza del lavoro che ci si aspetta in quanto, come persone, tendiamo a specializzarci in un determinato ambito lavorativo o non. Il problema sorge quando una persona si presenta come tuttologa e pretende di fornire delle conoscenze anche in ambiti in cui si è formato in modo non scolastico, ovvero leggendo autonomamente materiale (non sempre corretto aggiungo): il pericolo che deriva da queste persone è quello di interpretare male un argomento in primis e successivamente di trasmettere questa informazione errata ad altre persone in modo virale, spargendo quindi in modo non controllato questa “informazione”.

Mi sento di suggerire perciò, prima di affrontare una lettura di questo tipo, di informarsi autonomamente attraverso materiale didattico serio (non blog o altro, il motivo è spiegato nella sezione sulle fonti) e in un secondo tempo di contattare uno o più persone del settore per avere conferma o smentita riguardo un argomento, in modo da poter confrontare ciò che si è acquisito nella prima fase ed eventualmente integrare con il punto di vista del professionista.

Purtroppo devo aggiungere (sicuramente creando in voi ulteriore confusione) che a volte i professionisti possono omettere informazioni o distorcerle per scopi secondari, evitando la diffusione di dati a sfavore del loro scopo; un modo per capire se una persona si comporta da professionista è il suo atteggiamento verso le critiche o le smentite delle sue parole.

Un professionista serio infatti di fronte a prove indiscutibili (attenzione, prove scientifiche e non giri di parole volti a far uscire dall’argomento di competenza il professionista!) del suo errore di valutazione o di conoscenza dell’argomento, non potrà fare altro che ammettere l’errore giustificando la sua valutazione precedente e analizzare le critiche poste alla sua posizione, eventualmente dimostrando a sua volta gli errori in queste; ciò porterà ad una discussione che potrà essere costruttiva sia per il primo professionista che per l’autore delle critiche.
Chi si comporta in modo poco professionali invece utilizza l’aiuto della gente per far valere spesso le sue idee e di fronte a delle critiche preferisce l’argomento ad personam rispetto al rispondere alle critiche stesse oppure se ne sta zitto, ignorando la cosa.
Inoltre si deve anche cercare di capire il reale ambito di competenza di un professionista e se egli può parlare anche in altri ambiti a lui parzialmente noti. Un esempio può essere un chimico che parla di medicina: questo sicuramente conoscerà meglio i meccanismi biologici e molecolari che possono essere alla base di tanti fenomeni biologici, ma difficilmente conoscerà meccanismi fisiologici, per esempio, della pressione arteriosa o della meccanica del movimento articolare o della conduzione cardiaca.
In conclusione quindi:
  • Prima di affrontare l’analisi di uno Studio è importante conoscere l’argomento trattatoinformandosi su libri di formazione scolastica/universitaria e non su blog-giornali-libri personali, che possono essere influenzati dalla persona che li scrive o dallo scopo per cui vengono scritti (spesso motivi economici)
  • Si deve chiedere il parere a dei professionisti del settore, cercando di individuare coloro che si dimostrano aperti a critiche rispetto a coloro che preferiscono divulgare le loro informazioni attraverso folle e manifestazioni e non attraverso conferenze o congressi
  • Si deve anche capire a quale professionista chiedere eventuali delucidazioni riguardo un argomento, per evitare di avere pareri parzialmente o totalmente estranei allo stesso.

L’interpretazione dei dati

Il secondo passaggio è quello di interpretare i dati presentati nello Studio e capire il loro valore dal punto di vista statistico e metodologico, motivo per cui è importante conoscere la Statistica e gli strumenti che essa offre al ricercatore per dimostrare o no le sue ipotesi. Questo documento certamente non vuole sostituire un corso di Statistica ma vuole indicare dei punti focali su cui ci si può orientare nella lettura di uno Studio e di concentrarsi sugli errori più comuni che si possono fare nel leggerlo.

La prima cosa da valutare è la dimensione del campione: in campo statistico maggiore è il campione preso in analisi e più vicini alla realtà sono i risultati che otteniamo nell’analisi dello stesso, visto che è impossibile riuscire a raccogliere i dati dell’intera popolazione di un paese o addirittura mondiale. Lo scopo quindi della statistica è quello di analizzare un campione “adeguato” della popolazione che possa rappresentare l’intera popolazione. Si deve tenere conto di vari elementi nella scelta di un campione adeguato che sono:
  1. L’Epidemiologia della Malattia o della Condizione che andiamo ad analizzare. Esistono malattie con Incidenza (definita come il numero di “nuovi casi” di malattia sul totale di persone a rischio dall’inizio dell’osservazione, diversa perciò dal Tasso di Incidenza che indica invece il numero nuovo di casi in un preciso lasso di tempo che può essere un mese o un anno) e Prevalenza (definita come il numero di eventi sanitari avvenuti in un arco di tempo o in un determinato momento sul totale delle persone osservate a rischio in quel lasso di tempo) diverse tra di loro a causa di svariati motivi più o meno noti, che possono andare dalle cause genetiche alle abitudini alimentari o a motivi geografici; è importante quindi capire a seconda della diffusione di una malattia, quante persone è necessario osservare e quante sarà possibile anche farlo, in quanto alcune malattie non ci permettono un bacino di pazienti adeguato.
  2. La tipologia di Studio che gli autori hanno scelto per il lavoro scientifico. Si tratta di una questione spinosa in quanto esistono una quantità notevole di tipologie di studi che si possono scegliere a seconda di cosa si vuole studiare, ma per comodità elencheremo solo le tipologie che possiamo trovare in ambito medico-scientifico. Esistono Studi Osservazionali, dove si osserva un determinato evento in una determinata popolazione, che si dividono a loro volta in Studi di Coorte, nei quali si osserva una popolazione omogenea con una caratteristica o più in comune (l’uso di un farmaco, per esempio) attraverso l’osservazione diretta per un certo periodo (Studio Prospettico) o analizzando i dati clinici e le cartelle raccolte in un determinato periodo (Studio Retrospettivo), e in Studi Caso-Controllo, dove si osservano due popolazioni distinte, di cui una con l’evento malattia che si vuole indagare, per andare in primis a osservare se esistono fattori di rischio o esposizioni importanti e successivamente a vedere se tra i due gruppi esistano differenze di incidenza della stessa malattia in base all’esposizione ad un fattore di rischio (Troppo difficile? In poche parole si osserva per esempio se l’evento sigaretta o no influisca sull’incidenza di una determinata malattia, motivo per cui questa tipologia di studio è solo retrospettiva). Esistono poi Studi Sperimentali o Trials Clinici Randomizzati in cui solitamentesi sperimenta l’efficacia di una terapia rispetto al placebo o alla terapia migliore disponibile(come nel caso dello Studio degli Anti-epilettici, dove risulterebbe poco etico non somministrare un farmaco per la terapia e lasciare il paziente a rischio di crisi epilettiche): in questi studi viene scelta una popolazione adeguata e in modo casuale (o randomizzato) i pazienti vengono assegnati al gruppo che usufruirà della nuova terapia o al gruppo che verrà trattato con il placebo o il trattamento standard, senza che il paziente o il medico sappiano (somministrazione in doppio cieco), in modo da eliminare eventuali effetti placebo; i risultati vengono poi confrontati in modo da ottenere delle curve di sopravvivenza o indici di miglioramento in base a parametri biologici, strumentali o clinici (che siano misurabili o almeno riferiti ad una determinata scala internazionale, non concetti come senso di benessere o miglioramento dei sintomi secondo il paziente!). Solitamente gli studi Caso-Controllo richiedono meno pazienti rispetto agli studi di Coorte o ai Trials Clinici, sono i più utilizzati ma anche quelli a maggior rischio di fraintendimento perchè si parla di gruppi piccoli, in cui un difetto di selezione del paziente può compromettere la validità dello studio.
  3. Le dimensioni della struttura e il bacino di affluenza alla stessa possono infine influire sul numero di pazienti che vengono selezionati per lo studio; più piccola è la struttura, minore sarà il numero di pazienti che sarà possibile reclutare da parte del ricercatore o dal gruppo di lavoro.
Come mai quindi è importante il numero dei pazienti?
Prendiamo per esempio due studi, uno basato su un campione di 28 pazienti ed uno basato su un campione di 280 pazienti: secondo voi quale può avvicinarsi di più alla realtà? Ovviamentequello basato su un campione maggiore (escludendo ovviamente errori di metodologia, raccolta ed elaborazione dei dati), in quanto è più rappresentativo di una popolazione generale e riduce gli eventi singoli ovvero deviazioni di dati clinici, laboratoristici e strumentali rispetto alla norma che possiamo avere in singoli pazienti e che possono essere assolutamente senza alcun significato patologico o non avere alcuna correlazione con l’oggetto dello studio (per esempio possiamo trovare in 3 pazienti un valore di creatininemia elevato, senza alcun significato clinico, in uno studio sulle malattie neurodegenerative, che però non sono direttamente correlate al valore di creatininemia ma ad altri fattori).
In finale il numero di pazienti in uno studio può influire in modo pesante sulle conclusioni dello stesso e in linea di massima maggiore è il numero di pazienti, più attendibili sono i risultati dello studio stesso; nel caso non sia possibile avere un numero adeguato di pazienti dal punto di vista statistico è importante osservare se in studi analoghi con un numero di pazienti simile si sono ottenuti risultati simili o identici nel migliore dei casi.
Il secondo punto da analizzare riguarda nuovamente l’argomento dello studio e la modalità in cui è stato condotto lo stesso, poiché è molto importante capire “l’architettura”, per così dire, con cui è stato costruito uno studio in modo da riuscire a comprendere la validità dei suoi risultati; questo passo è complesso ma cercherò di spiegare alcuni passaggi logici e ragionamenti che possono aiutare il lettore nella comprensione.
Innanzitutto dobbiamo distinguere uno studio prospettico da uno retrospettivo: il primo si basa sull’osservazione di una popolazione sottoposta allo studio da un certo periodo in poi, mentre il secondo si basa sui dati clinici di una determinata popolazione raccolti in passato e selezionati per lo studio in questione. Come si sarà capito la prima tipologia si basa sull’osservazione diretta di una popolazione omogenea (ovvero con stesse caratteristiche)  per vedere per esempio l’effetto di un farmaco o di una scelta diagnostica-terapeutica, e quindi permette di osservare l’andamento in tempo reale dello studio stesso, mentre la seconda tipologia si basa sulla raccolta di un database di pazienti omogenei da un campione eterogeneo e si cercano-osservano i dati che interessano in uno studio per una correlazione tra un eventuale fattore di rischio e l’incidenza-prevalenza di una determinata malattia. Tutte e due le tipologie di studio non sono però esenti da eventuali bias o errori che possono alterare o compromettere la validità di uno studio: in genere gli studi prospettici sono quelli che possono dare i risultati più affidabili in quanto si parte da una popolazione scelta ad hoc e si osserva nel tempo il comportamento e le variazioni di questa, mentre negli studi retrospettivi si deve scegliere attentamente da un database un gruppo di pazienti che presentino le stesse caratteristiche, lavoro non sempre fattibile e che dipende dalle dimensioni della struttura e del database che si ha a disposizione che a volte costringe il ricercatore ad essere meno selettivo di quanto dovuto; da un altro punto di vista però lo studio retrospettivo permette di analizzare pazienti senza dover ricorrere al reclutamento e al consenso informato eventuale (per esempio su un protocollo terapeutico a cui vanno incontro) e allo stesso tempo facilita, in teoria, eventuali metanalisi per poter accorpare diversi studi sullo stesso argomento e avere un’evidenza dal punto di vista statistico.
Il terzo punto riguarda l’interpretazione dei risultati statistici riportati nello studio e di come si debba valutarli correttamente, elemento importante anche se difficile da ottenere senza una buona infarinatura di statistica che si ricollega anche col numero di pazienti scelto per uno studio.
I dati possono essere presentati come media, deviazioni standard, percentuali, intervalli di confidenza, Odds Ratio o Hazard Ratio, etc etc; esistono quindi una varietà infinita di presentazione degli stessi e cercherò di spiegarli in poche parole semplificandoli al massimo.
Si definisce media un valore che vuole cercare di rappresentare un insieme di valori numerici che sono rilevati per una determinata caratteristica in una determinata popolazione (per esempio la pressione media sanguigna di una popolazione).
E’ importante avere un numero adeguato di valori in modo da potersi avvicinare al dato reale della popolazione e per non sovra-sottostimare il valore medio stesso (un esempio: se volessimo sapere la pressione media sanguigna della popolazione italiana non si potrebbe scegliere un campione di solo 9 persone, in quanto si potrebbero trovare persone con valori alti [140/90] o con valori bassi [100/70] con il rischio di aumentare o diminuire il valore medio ottenuto); un esempio visivo di questo lo troviamo nell’immagine sottostante, dove possiamo vedere in forma grafica un campione appunto di 9 persone con le loro pressioni massime e minime con le rispettive medie. Come possiamo vedere esistono persone con un valore di pressione massima più alto rispetto alle altre (e la stessa cosa vale per le pressioni minime) che va ad influire sul valore della media finale.
pressione media

Per capire se il valore di media è basato su un campione più o meno grande ci si può basare sulla deviazione standard, che è un indice di dispersione dei dati, ovvero di quanto i dati sono distribuiti e disomogenei (in realtà il discorso è leggermente più complesso, in quanto si dovrebbe tenere conto della distribuzione normale o gaussiana che dovrebbe rappresentare la distribuzione dei valori di un determinato parametro nella popolazione). In poche parole, prendendo come riferimento la media, la deviazione standard ci permette di vedere quanti valori sono lontani, rispettivamente in difetto o in eccesso, rispetto alla media (questo può essere utile per capire indirettamente anche il campione che è stato scelto per uno studio: se la deviazione standard include valori molto distanti dalla media calcolata, è possibile che sia stato scelto un campione troppo piccolo che rischia di far sovrastimare o sottostimare un determinato parametro).

Un altro elemento utilizzato sono le percentuali, un indice statistico di facile uso rispetto ad altri anche per chi non è esperto di statistica. La percentuale rappresenta una proporzione da 0 a 100 di un determinato valore rispetto al totale (un esempio banale: 20 oggetti su 50 rappresentano il 40% sul 100% totale). Come per gli altri parametri si deve tenere conto ovviamente del campione a cui si fa riferimento.

Esistono poi altri indici utilizzati in ambito statistico quali gli Odds Ratio, gli Hazard Ratio, l’Intervallo di Confidenza al 95% e il P value; tutti questi strumenti sono decisamente complessi da utilizzare e da comprendere ma proverò a dare un’idea di cosa siano e a cosa servano.

L’Odds Ratio (OR) descrive l’associazione causa-malattia e ci permette di capire se questa associazione presa in considerazione sia protettiva o no verso una malattia:
  • se il suo valore è inferiore a 1 allora l’esposizione a un evento X e lo sviluppo di una malattia sarà improbabile o addirittura protettivo verso la stessa
  • se il suo valore è pari a 1 allora l’eveneto X sarà indifferente verso la malattia
  • se il suo valore è superiore a 1 allora l’evento X sarà collegato allo sviluppo della malattia stessa in modo proporzionale al valore stesso (se per esempio è pari a 4 allora il rischio di sviluppare una determinata malattia sarà superiore di 4 volte rispetto alla popolazione generale)

In modo analogo l’Hazard Ratio (HR) descrive “un rischio” (meglio definirlo come sopravvivenza) rispetto all’esposizione ad un evento (come per esempio un trattamento sperimentale) e permette in modo analogo all’Odds Ratio di stabilire se questo evento favorisce, è indifferente o riduce la sopravvivenza nei pazienti. Per esempio, un’associazione trattamento-sopravvivenza con HR pari a 0.30 indica che il 70% dei pazienti con una determinata malattia sopravvive grazie a quel trattamento, viceversa se l’HR è pari a 4 vuol dire che il trattamento riduce la sopravvivenza di 4 volte rispetto alla popolazione generale.

Per stabilire se questi indici di rischio sono attendibili ci si può affidare all’intervallo di confidenza al 95% (I.C. 95), che permette di verificare il valore massimo e minimo tra cui “oscilla l’HR o l’OR” per il 95% dei pazienti. Se l’OR è pari a 0.9 ma l’ I.C.95 è compreso tra 0.6 e 1.2 vuol dire che l’associazione evento X-malattia può essere sia protettiva che favorente lo sviluppo di una malattia.

Infine il P value permette di stabilire se i risultati di OR, HR e I.C.95 sono statisticamente rilevanti(vedi qui per approfondimenti riguardo il P value); solitamente dei P value inferiori a 0.05associati danno un peso importante ai risultati di uno studio scientifico.

Le Conclusioni

Tutti questi risultati devono essere confrontati con le Conclusioni che vengono fatte dagli autori riguardo lo studio per poter vedere se:
  • Esiste coerenza tra risultati e conclusioni
  • Il peso dato a determinati risultati nelle conclusioni è giustificato o no
  • Vengono evidenziati i limiti di uno studio

In conclusione l’analisi di uno studio è un processo complicato e non esente da difficoltà ma deve essere intrapreso senza preconcetti riguardo per evitare di interpretare in modo scorretto il valore effettivo di uno studio; molte volte purtroppo ci si trova di fronte a persone che non riescono a dare il giusto peso ad uno studio o che, per scopi estranei ad esso, lo utilizza in modo propagandistico.

Spero che questo documento possa aiutare a capire quando credere a qualcosa e a distinguere la realtà dalla fuffa!

[Dr. Marco Delli Zotti – Comitato Scientifico Pro-Test Italia]

Potrebbero interessarti anche...