Jak číst vědecké studie

Než něčemu uvěříš, ať je to nový „zázračný“ doplněk, dietní trik z reelu nebo titulek „věda dokázala“, vyplatí se umět odlišit silný důkaz od slabého. Tady je střízlivý návod, jak se vyznat ve studiích, poznat hype a nenechat se vodit za nos. Prakticky, kolega kolegovi.

Proč potřebuješ hierarchii důkazů

Ne každý „důkaz“ váží stejně. Medicína založená na důkazech stojí na jednoduché myšlence: tvrzení posuzuj podle kvality a typu dat, která za ním stojí, ne podle toho, jak sebevědomě zní [5]. Jeden tweet, jedna myší studie a jedna metaanalýza nejsou tři rovnocenné názory. Jsou to tři velmi odlišné úrovně jistoty.

Proto existuje pyramida (hierarchie) důkazů: čím výš, tím líp je riziko omylu pod kontrolou [1]. Není to dogma, i špatně udělaná RCT může být slabší než dobře udělaná observační studie [2], ale jako kompas to funguje skvěle. Drž se pravidla: čím závažnější tvrzení, tím silnější důkaz bys měl chtít.

Pyramida důkazů: od nejslabšího po nejsilnější

Projdi to zdola nahoru. Každý stupeň přidává kontrolu nad zkreslením a náhodou [1,2]:

Proč „mně to funguje“ není důkaz

Osobní zkušenost je k nezaplacení pro motivaci, ale jako důkaz účinnosti je nespolehlivá, a to nezáleží na tom, jak upřímně to cítíš. Tři tiché pasti:

• Placebo efekt. Samo očekávání zlepšení dokáže snížit vnímanou bolest, únavu i chuť k jídlu. Proto dobré RCT srovnávají zásah proti placebu. Bez kontroly nevíš, jestli zabralo „to“, nebo „očekávání“ [1].
• Regrese k průměru. K doplňku nebo dietě saháme typicky, když je nám nejhůř. Stav se pak často zlepší sám, prostě návratem k normálu, a my to omylem připíšeme zásahu.
• Zkreslení (bias). Pamatujeme si trefy, zapomínáme propadáky (konfirmační zkreslení). Hledáme, co potvrzuje, co už si myslíme. To je přesně to, co metodika studie potlačuje.

Jeden člověk navíc nemá kontrolní skupinu. Nikdy nevíš, co by se stalo, kdybys to neudělal. Právě tu odpověď ti dává kontrolovaná studie, a proto jeden zázrak z příběhu neporazí dobře udělaný experiment [5].

Korelace není kauzalita

Tohle je nejčastější logická chyba v titulcích. To, že dvě věci jdou spolu, neznamená, že jedna způsobuje druhou. Observační studie najde souvislost, a to z dobrého důvodu nestačí:

• Zaměněná příčina (matoucí proměnná). Lidé jedící víc ryb bývají zdravější, ale taky častěji víc cvičí, míň kouří a mají vyšší příjem. Co z toho je ta příčina?
• Obrácený směr. Souvisí deprese s nižší pohybovou aktivitou, protože pohyb chrání náladu, nebo proto, že deprese bere energii hýbat se? Korelace to nerozliší.
• Náhoda. Při dost velkém počtu porovnání se nějaká „souvislost“ objeví čistě náhodou [4].

Praktické pravidlo: když čteš „X souvisí s Y“, v duchu si doplň „souvisí, ale nemusí to způsobovat“. K závěru o příčině potřebuješ zpravidla randomizovaný experiment [1].

In vitro, myši a velikost vzorku

Než si přečteš závěr, podívej se na kdo a kolik. Tady padá nejvíc hype:

• In vitro (ve zkumavce) a zvířecí modely. Co funguje na buňkách v misce nebo na myších, často nefunguje u lidí, nebo v dávkách, které by člověk nikdy nereálně přijal. Je to nezbytný první krok výzkumu, ne důkaz pro tvého klienta.
• Velikost vzorku. Studie na 12 lidech je signál, ne závěr. Malé vzorky dávají nestabilní, snadno přehnané výsledky a hůř se opakují [4].
• Reprodukovatelnost. Jeden „objev“ může být náhoda nebo metodická chyba. Věř spíš tomu, co se opakovaně potvrdilo napříč studiemi [4,6].

p-hodnota, velikost efektu a praktická významnost

„Statisticky významné“ zní silně, ale znamená míň, než si lidé myslí. p-hodnota říká zhruba: jak pravděpodobné by bylo vidět takový (nebo extrémnější) výsledek, kdyby zásah ve skutečnosti nefungoval. Co p-hodnota není:

• Není to pravděpodobnost, že máš pravdu. p < 0,05 neznamená „95% jistota, že to funguje“. To je nejčastější mýtus o p-hodnotě [7].
• Není to velikost ani důležitost efektu. Při dost velkém vzorku vyjde „významný“ i nepatrný, prakticky bezcenný rozdíl [7].
• Práh 0,05 je dohoda, ne přírodní zákon. p = 0,049 a p = 0,051 jsou v praxi totéž; honba za „hvězdičkou“ vede ke zkresleným výsledkům [4,7].

Proto se ptej po velikosti efektu (o kolik se to reálně změnilo) a po praktické významnosti: „Zhubli o 0,4 kg za rok navíc oproti kontrole“ může být statisticky významné a přitom pro tvého klienta úplně jedno. Vždy hledej i interval spolehlivosti: ukáže rozpětí, ve kterém se pravda nejspíš pohybuje, a tím i nejistotu.

Konflikt zájmů, predátorské časopisy a hype

Studie nevzniká ve vakuu. Než výsledku uvěříš, prověř kontext:

• Financování a konflikt zájmů. Studii o doplňku platí jeho výrobce? Nemusí to být podvod, ale je to důvod ke zvýšené opatrnosti. Hledej sekci „funding“ a „conflict of interest“. Seriózní studie ji uvádí.
• Predátorské časopisy. Existují „časopisy“, které za poplatek otisknou cokoli bez skutečné recenze. Citace „bylo to publikováno“ sama o sobě nestačí. Záleží, kde a zda prošlo recenzním řízením.
• Mediální a sociální hype. Titulek nadsadí, vynechá „u myší“, zamlčí velikost vzorku a udělá z korelace příčinu. Vždy se snaž dohledat původní studii, ne jen článek o článku o ní.

Zdravý reflex: čím senzačnější tvrzení a čím víc na něm někdo vydělává, tím tvrdší důkaz si vyžádej, než ho předáš dál [3,5].

Kde hledat a checklist, než něčemu uvěříš

Kvalitní zdroje místo náhodného Googlu: PubMed (databáze biomedicínských studií), Cochrane (systematické přehledy nejvyšší kvality) [6] a klasická příručka „How to read a paper“, pokud se chceš v metodice zlepšit [8]. A než něčemu uvěříš nebo to dáš klientovi, projeď tenhle checklist:

• Jaký typ studie to je? Anekdota, observační, RCT, metaanalýza. Kde je v pyramidě [1,2]?
• Lidé, nebo myši/buňky? A kolik jich bylo? Malý vzorek = opatrnost [4].
• Korelace, nebo kauzalita? Byl tam skutečný zásah a kontrolní skupina, nebo jen pozorování?
• Jak velký je efekt v praxi? Ne „je to významné“, ale „o kolik a komu to pomůže“ [7].
• Kdo to platil a kde to vyšlo? Konflikt zájmů, recenzovaný časopis, nebo predátor?
• Potvrdilo se to víckrát? Jeden výsledek je hypotéza; shoda více studií je síla [6].
• Sedí titulek se studií? Dohledej originál. Hype bývá v překladu do médií [3].

Zdroje: [1] OCEBM Levels of Evidence Working Group. The Oxford 2011 Levels of Evidence. Oxford Centre for Evidence-Based Medicine. [2] Murad MH, Asi N, Alsawas M, Alahdab F. New evidence pyramid. BMJ Evid Based Med. 2016;21(4):125–127. [3] Guyatt GH, et al. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ. 2008;336(7650):924–926. [4] Ioannidis JPA. Why most published research findings are false. PLoS Med. 2005;2(8):e124. [5] Sackett DL, Rosenberg WM, Gray JA, Haynes RB, Richardson WS. Evidence based medicine: what it is and what it isn't. BMJ. 1996;312(7023):71–72. [6] Higgins JPT, Thomas J, et al. (eds). Cochrane Handbook for Systematic Reviews of Interventions. Cochrane, 2019. [7] Nuzzo R. Scientific method: statistical errors. Nature. 2014;506(7487):150–152. [8] Greenhalgh T. How to read a paper: the basics of evidence-based medicine. BMJ Books.