ABC di uno studio (Guida per tutti, per comprendere l’informazione scientifica corretta) – Parte terza: Come si legge e interpreta uno studio scientifico?
Premessa: Questo articolo in tre parti nasce come sfogo alla marea di interpretazioni erronee o fantasiose riguardo studi pubblicati e allo scopo di essere una guida per coloro che non hanno una formazione prettamente scientifica; qualora ci fossero dubbi o parti poco chiare, questi verranno inseriti nell’articolo stesso come FAQ.
Come si legge e interpreta uno studio scientifico?
Ora veniamo alla parte più importante di questo documento, ovvero come si legge e analizza uno studio scientifico: un lavoro che necessita sicuramente di un certo impegno sotto diversi punti di vista, dalle conoscenze di base al ragionamento e all’analisi dei dati statistici e la loro correlazione con le conoscenze attualmente disponibili. Si tratta insomma di un collage dove vanno inseriti i dati che abbiamo a priori circa un argomento (di qualsiasi ambito si stia trattando, dall’eziologia, all’epidemiologia o al trattamento di una patologia per esempio) con i dati che il lavoro ci porta a conoscere, cercando di capire se i diversi pezzi di un’ipotesi possono incastrarsi a dovere nel sistema delle conoscenze oppure creare un nuovo livello di conoscenza; tutto questo ovviamente deve basarsi sull’utilizzo del metodo scientifico e su prove tangibili e verificabili in qualsiasi altro centro di ricerca od ospedale.
Ho cercato di riassumere in uno schema semplice gli elementi che dovrebbero rientrare nell’analisi di uno studio per evitare errori di interpretazione o di valutazione, e per capire quando ci sia malafede nell’interpretare le Conclusioni di uno Studio (cosa che accade purtroppo spesso per motivi economici o propagandistici).
- La rivista scientifica dove lo Studio è stato pubblicato è un elemento che non può essere trascurato visto che ci può dare qualche indizio sulla serietà dello stesso Studio. Per esempio, un articolo pubblicato sul New England Journal of Medicine, una delle riviste più prestigiose al mondo, risulterà più attendibile e serio rispetto ad un articolo pubblicato su altre riviste in quanto sottoposto ad un controllo migliore sia da parte della commissione che analizza e decide quali studi pubblicare, sia da parte dei lettori che possono controllare, criticare e verificare l’attendibilità di quanto scritto. Invece in caso di pubblicazione su una rivista di minore impatto vi saranno probabilmente meno controlli sia da parte della commissione che da parte del pubblico che legge il lavoro, visto che sarà letto sicuramente da meno persone rispetto all’altro esempio. Un indicatore utile in questo caso può essere l’Impact Factor (I.F.), ovvero quante citazioni in media ricevono gli articoli di una determinata rivista scientifica. Tuttavia l’I.F. non è esente da errori in quanto non esclude possibili circoli viziosi tra piccole riviste per poter aumentare il loro I.F., sviste anche da parte di riviste importanti (anche se difficilmente accade in quanto i controlli sono molto stringenti) o possibili errori di valutazione per riviste che trattano argomenti di nicchia. In linea di massima più una rivista è prestigiosa, migliori saranno i controlli sullo studio, ma rimane importante controllare sia le citazioni (in positivo e negativo) fatte da altri autori o riviste, sia valutare l’I.F. in base alle dimensioni e alle tematiche della rivista stessa.
- Un secondo elemento, come già accennato sopra, comprende le critiche, le citazioni e i commenti sul lavoro che possono aiutare sia nella valutazione che nell’individuare eventuali punti di forza e debolezza dello stesso. Uno Studio i cui risultati sono stati ripresi da altri Studi o utilizzati per redigere un protocollo sarà sicuramente più attendibile rispetto ad uno Studio ignorato o criticato in vari punti. Importante rimane comunque valutare l’autore delle critiche e delle citazioni, in quanto spesso riviste dall’I.F. basso o che trattano argomenti non propriamente medici o di medicina alternativa tendono ad “aiutarsi” tra di loro con citazioni senza collegarsi con riviste scientifiche più importanti.
Dopo questa discussione riguardante la rivista scientifica e i commenti e le critiche rivolte ad uno studio, iniziamo ad analizzare i tre punti principali citati sopra di cui una persona dovrebbe tenere conto nell’affrontare la lettura e analisi di uno Studio.
La Conoscenza di Base
Un esempio pratico: riuscireste a costruire una casa da soli, basandovi sulle vostre conoscenze? Ovvio che no, ci vogliono diverse figure professionali che devono intervenire sia sulla costruzione della struttura (Ingegneri, Architetti, Geometri, Muratori e Manovali), sia sulla rete idrica che elettrica (Idraulico, Elettricista) e infine eventualmente sia sulla rifinitura di determinate aree della casa (vedi bagno e cucina); certamente esistono persone capaci di eccellere in qualcuno di questi settori ma sicuramente non in tutti quanti in modo uguale e all’altezza del lavoro che ci si aspetta in quanto, come persone, tendiamo a specializzarci in un determinato ambito lavorativo o non. Il problema sorge quando una persona si presenta come tuttologa e pretende di fornire delle conoscenze anche in ambiti in cui si è formato in modo non scolastico, ovvero leggendo autonomamente materiale (non sempre corretto aggiungo): il pericolo che deriva da queste persone è quello di interpretare male un argomento in primis e successivamente di trasmettere questa informazione errata ad altre persone in modo virale, spargendo quindi in modo non controllato questa “informazione”.
Mi sento di suggerire perciò, prima di affrontare una lettura di questo tipo, di informarsi autonomamente attraverso materiale didattico serio (non blog o altro, il motivo è spiegato nella sezione sulle fonti) e in un secondo tempo di contattare uno o più persone del settore per avere conferma o smentita riguardo un argomento, in modo da poter confrontare ciò che si è acquisito nella prima fase ed eventualmente integrare con il punto di vista del professionista.
Purtroppo devo aggiungere (sicuramente creando in voi ulteriore confusione) che a volte i professionisti possono omettere informazioni o distorcerle per scopi secondari, evitando la diffusione di dati a sfavore del loro scopo; un modo per capire se una persona si comporta da professionista è il suo atteggiamento verso le critiche o le smentite delle sue parole.
- Prima di affrontare l’analisi di uno Studio è importante conoscere l’argomento trattatoinformandosi su libri di formazione scolastica/universitaria e non su blog-giornali-libri personali, che possono essere influenzati dalla persona che li scrive o dallo scopo per cui vengono scritti (spesso motivi economici)
- Si deve chiedere il parere a dei professionisti del settore, cercando di individuare coloro che si dimostrano aperti a critiche rispetto a coloro che preferiscono divulgare le loro informazioni attraverso folle e manifestazioni e non attraverso conferenze o congressi
- Si deve anche capire a quale professionista chiedere eventuali delucidazioni riguardo un argomento, per evitare di avere pareri parzialmente o totalmente estranei allo stesso.
L’interpretazione dei dati
Il secondo passaggio è quello di interpretare i dati presentati nello Studio e capire il loro valore dal punto di vista statistico e metodologico, motivo per cui è importante conoscere la Statistica e gli strumenti che essa offre al ricercatore per dimostrare o no le sue ipotesi. Questo documento certamente non vuole sostituire un corso di Statistica ma vuole indicare dei punti focali su cui ci si può orientare nella lettura di uno Studio e di concentrarsi sugli errori più comuni che si possono fare nel leggerlo.
- L’Epidemiologia della Malattia o della Condizione che andiamo ad analizzare. Esistono malattie con Incidenza (definita come il numero di “nuovi casi” di malattia sul totale di persone a rischio dall’inizio dell’osservazione, diversa perciò dal Tasso di Incidenza che indica invece il numero nuovo di casi in un preciso lasso di tempo che può essere un mese o un anno) e Prevalenza (definita come il numero di eventi sanitari avvenuti in un arco di tempo o in un determinato momento sul totale delle persone osservate a rischio in quel lasso di tempo) diverse tra di loro a causa di svariati motivi più o meno noti, che possono andare dalle cause genetiche alle abitudini alimentari o a motivi geografici; è importante quindi capire a seconda della diffusione di una malattia, quante persone è necessario osservare e quante sarà possibile anche farlo, in quanto alcune malattie non ci permettono un bacino di pazienti adeguato.
- La tipologia di Studio che gli autori hanno scelto per il lavoro scientifico. Si tratta di una questione spinosa in quanto esistono una quantità notevole di tipologie di studi che si possono scegliere a seconda di cosa si vuole studiare, ma per comodità elencheremo solo le tipologie che possiamo trovare in ambito medico-scientifico. Esistono Studi Osservazionali, dove si osserva un determinato evento in una determinata popolazione, che si dividono a loro volta in Studi di Coorte, nei quali si osserva una popolazione omogenea con una caratteristica o più in comune (l’uso di un farmaco, per esempio) attraverso l’osservazione diretta per un certo periodo (Studio Prospettico) o analizzando i dati clinici e le cartelle raccolte in un determinato periodo (Studio Retrospettivo), e in Studi Caso-Controllo, dove si osservano due popolazioni distinte, di cui una con l’evento malattia che si vuole indagare, per andare in primis a osservare se esistono fattori di rischio o esposizioni importanti e successivamente a vedere se tra i due gruppi esistano differenze di incidenza della stessa malattia in base all’esposizione ad un fattore di rischio (Troppo difficile? In poche parole si osserva per esempio se l’evento sigaretta o no influisca sull’incidenza di una determinata malattia, motivo per cui questa tipologia di studio è solo retrospettiva). Esistono poi Studi Sperimentali o Trials Clinici Randomizzati in cui solitamentesi sperimenta l’efficacia di una terapia rispetto al placebo o alla terapia migliore disponibile(come nel caso dello Studio degli Anti-epilettici, dove risulterebbe poco etico non somministrare un farmaco per la terapia e lasciare il paziente a rischio di crisi epilettiche): in questi studi viene scelta una popolazione adeguata e in modo casuale (o randomizzato) i pazienti vengono assegnati al gruppo che usufruirà della nuova terapia o al gruppo che verrà trattato con il placebo o il trattamento standard, senza che il paziente o il medico sappiano (somministrazione in doppio cieco), in modo da eliminare eventuali effetti placebo; i risultati vengono poi confrontati in modo da ottenere delle curve di sopravvivenza o indici di miglioramento in base a parametri biologici, strumentali o clinici (che siano misurabili o almeno riferiti ad una determinata scala internazionale, non concetti come senso di benessere o miglioramento dei sintomi secondo il paziente!). Solitamente gli studi Caso-Controllo richiedono meno pazienti rispetto agli studi di Coorte o ai Trials Clinici, sono i più utilizzati ma anche quelli a maggior rischio di fraintendimento perchè si parla di gruppi piccoli, in cui un difetto di selezione del paziente può compromettere la validità dello studio.
- Le dimensioni della struttura e il bacino di affluenza alla stessa possono infine influire sul numero di pazienti che vengono selezionati per lo studio; più piccola è la struttura, minore sarà il numero di pazienti che sarà possibile reclutare da parte del ricercatore o dal gruppo di lavoro.
Per capire se il valore di media è basato su un campione più o meno grande ci si può basare sulla deviazione standard, che è un indice di dispersione dei dati, ovvero di quanto i dati sono distribuiti e disomogenei (in realtà il discorso è leggermente più complesso, in quanto si dovrebbe tenere conto della distribuzione normale o gaussiana che dovrebbe rappresentare la distribuzione dei valori di un determinato parametro nella popolazione). In poche parole, prendendo come riferimento la media, la deviazione standard ci permette di vedere quanti valori sono lontani, rispettivamente in difetto o in eccesso, rispetto alla media (questo può essere utile per capire indirettamente anche il campione che è stato scelto per uno studio: se la deviazione standard include valori molto distanti dalla media calcolata, è possibile che sia stato scelto un campione troppo piccolo che rischia di far sovrastimare o sottostimare un determinato parametro).
Un altro elemento utilizzato sono le percentuali, un indice statistico di facile uso rispetto ad altri anche per chi non è esperto di statistica. La percentuale rappresenta una proporzione da 0 a 100 di un determinato valore rispetto al totale (un esempio banale: 20 oggetti su 50 rappresentano il 40% sul 100% totale). Come per gli altri parametri si deve tenere conto ovviamente del campione a cui si fa riferimento.
Esistono poi altri indici utilizzati in ambito statistico quali gli Odds Ratio, gli Hazard Ratio, l’Intervallo di Confidenza al 95% e il P value; tutti questi strumenti sono decisamente complessi da utilizzare e da comprendere ma proverò a dare un’idea di cosa siano e a cosa servano.
- se il suo valore è inferiore a 1 allora l’esposizione a un evento X e lo sviluppo di una malattia sarà improbabile o addirittura protettivo verso la stessa
- se il suo valore è pari a 1 allora l’eveneto X sarà indifferente verso la malattia
- se il suo valore è superiore a 1 allora l’evento X sarà collegato allo sviluppo della malattia stessa in modo proporzionale al valore stesso (se per esempio è pari a 4 allora il rischio di sviluppare una determinata malattia sarà superiore di 4 volte rispetto alla popolazione generale)
In modo analogo l’Hazard Ratio (HR) descrive “un rischio” (meglio definirlo come sopravvivenza) rispetto all’esposizione ad un evento (come per esempio un trattamento sperimentale) e permette in modo analogo all’Odds Ratio di stabilire se questo evento favorisce, è indifferente o riduce la sopravvivenza nei pazienti. Per esempio, un’associazione trattamento-sopravvivenza con HR pari a 0.30 indica che il 70% dei pazienti con una determinata malattia sopravvive grazie a quel trattamento, viceversa se l’HR è pari a 4 vuol dire che il trattamento riduce la sopravvivenza di 4 volte rispetto alla popolazione generale.
Per stabilire se questi indici di rischio sono attendibili ci si può affidare all’intervallo di confidenza al 95% (I.C. 95), che permette di verificare il valore massimo e minimo tra cui “oscilla l’HR o l’OR” per il 95% dei pazienti. Se l’OR è pari a 0.9 ma l’ I.C.95 è compreso tra 0.6 e 1.2 vuol dire che l’associazione evento X-malattia può essere sia protettiva che favorente lo sviluppo di una malattia.
Infine il P value permette di stabilire se i risultati di OR, HR e I.C.95 sono statisticamente rilevanti(vedi qui per approfondimenti riguardo il P value); solitamente dei P value inferiori a 0.05associati danno un peso importante ai risultati di uno studio scientifico.
Le Conclusioni
- Esiste coerenza tra risultati e conclusioni
- Il peso dato a determinati risultati nelle conclusioni è giustificato o no
- Vengono evidenziati i limiti di uno studio
In conclusione l’analisi di uno studio è un processo complicato e non esente da difficoltà ma deve essere intrapreso senza preconcetti riguardo per evitare di interpretare in modo scorretto il valore effettivo di uno studio; molte volte purtroppo ci si trova di fronte a persone che non riescono a dare il giusto peso ad uno studio o che, per scopi estranei ad esso, lo utilizza in modo propagandistico.
Spero che questo documento possa aiutare a capire quando credere a qualcosa e a distinguere la realtà dalla fuffa!
[Dr. Marco Delli Zotti – Comitato Scientifico Pro-Test Italia]