Dlaczego metaanalizy suplementów dochodzą do różnych wniosków
Osobisty esej, nie ocena dowodów. Nasze stopniowane oceny poszczególnych składników — przygotowane według opublikowanego standardu i na podstawie pełnych tekstów — znajdują się w sekcji Evidence. Żaden fragment tego tekstu nie jest twierdzeniem o działaniu jakiegokolwiek produktu.
Jeżeli jedno badanie mówi „tak”, a drugie „nie”, ludzie często pytają o metaanalizę.
To zrozumiałe.
Metaanaliza brzmi jak ostateczna instancja odwoławcza.
Wiele badań wchodzi do środka.
Na końcu wychodzi jedna odpowiedź.
Niestety, nie zawsze jest to takie proste.
Widziałem metaanalizy, które pozornie badały ten sam suplement, a dochodziły do wyraźnie różnych wniosków.
Nie musi to oznaczać, że jeden z zespołów popełnił błąd.
Często odpowiadają po prostu na subtelnie różne pytania.
Które badania weszły do analizy?
To pierwsze miejsce, w które patrzę.
Jeden przegląd może obejmować:
zdrowych dorosłych.
Inny:
pacjentów.
Jeszcze inny:
osoby starsze.
A kolejny może połączyć wszystkie te grupy.
Jeden może uwzględniać wyłącznie badania randomizowane.
Inny może włączać interwencje bez grupy kontrolnej.
Jeden może wykluczać badania krótsze niż określony czas.
Inny nie.
Zanim spojrzę na wynik łączny, chcę wiedzieć, co właściwie połączono.
Co uznajemy za tę samą interwencję?
W przypadku suplementów bywa to trudne.
Różne formy chemiczne.
Różne ekstrakty.
Różna standaryzacja.
Różne dawki.
Różne kombinacje.
Różny czas stosowania.
Jeżeli wrzucimy wszystko do jednego worka tylko dlatego, że ma tę samą nazwę składnika, otrzymana średnia może stać się biologicznie trudna do interpretacji.
Outcome’y mogą być równie heterogeniczne
Jedna praca mierzy:
czas reakcji.
Inna:
pamięć.
Inna:
subiektywne zmęczenie.
Jeszcze inna:
złożony wynik poznawczy.
Jeżeli zbyt agresywnie połączymy je pod nagłówkiem „funkcje poznawcze”,
precyzja może stać się wyłącznie kosmetyczna.
Miejsca po przecinku wyglądają coraz czyściej, podczas gdy pytanie biologiczne staje się coraz mniej jasne.
Heterogeniczność statystyczna nie znika tylko dlatego, że model
ją uwzględnia
Metaanaliza z efektem losowym pozwala na heterogeniczność.
Nie sprawia, że heterogeniczność przestaje być problemem.
Model statystyczny nie uratuje zbioru danych, który jest niespójny już na poziomie pojęciowym.
Małe badania mogą wpływać na wynik łączny
W modelach efektów losowych mniejsze badania mogą otrzymywać relatywnie większą wagę niż w modelu efektu stałego.
Jeżeli występują efekty małych badań albo bias publikacyjny, może to wpływać na wynik łączny.
Dlatego gdy dwie metaanalizy wybierają różne modele albo uwzględniają inne małe badania, rozbieżność może pojawić się zupełnie naturalnie.
Dochodzi do tego bias publikacyjny
Jeżeli pozytywne małe badania łatwiej opublikować niż negatywne małe badania, literatura dostępna dla metaanalizy jest zniekształcona już na wejściu.
Metaanaliza może być statystycznie wyrafinowana, a mimo to analizować niepełną rzeczywistość.
Decyzje dotyczące jakości mają znaczenie
Co przegląd robi z badaniem o słabym zaślepieniu?
A co z trialem o wątpliwej randomizacji?
A co z pracą, w której outcome’y nie odpowiadają rejestrowi?
Włączyć?
Wykluczyć?
Obniżyć wiarygodność?
Przeprowadzić analizę wrażliwości?
Rozsądni badacze mogą podejmować odmienne, a jednocześnie możliwe do obrony decyzje.
Nie pytam, która metaanaliza jest „zwycięzcą”
Pytam:
Dlaczego się różnią?
Czasem to pytanie uczy mnie więcej niż którykolwiek wynik łączny.
Jeżeli różnica znika po usunięciu jednego nietypowego badania, ma to znaczenie.
Jeżeli jeden przegląd obejmuje populacje kliniczne, a drugi nie, ma to znaczenie.
Jeżeli jeden łączy różne formulacje, ma to znaczenie.
Jeżeli heterogeniczność jest ogromna, ma to znaczenie.
Metaanaliza znajduje się wysoko w wielu hierarchiach dowodów nie bez powodu.
Ale metaanaliza nie jest alchemią.
Słabe, niekompatybilne albo obciążone biasem badania nie stają się znakomite tylko dlatego, że policzymy ich średnią ważoną.
Czasem najbardziej odpowiedzialny wniosek z metaanalizy nie brzmi:
Odpowiedź to X.
Brzmi:
Dostępne badania są zbyt różne, aby X znaczyło to, co ludzie chcieliby, żeby znaczyło.
Źródła metodologiczne
Standardy raportowania i oceny, do których odwołuje się ten esej. Nie są materiałem dowodowym stojącym za jakimkolwiek claimem produktowym.