Jak czytać badanie suplementu

Nauczyłem się, że jednym z najłatwiejszych sposobów niezrozumienia nauki jest zaczynanie od wniosku.

To kuszące.

Pojawia się publikacja z interesującym tytułem. Abstrakt zawiera wynik istotny statystycznie. Dziennikarz redukuje go do nagłówka. Firma suplementacyjna redukuje nagłówek do claimu.

W ciągu kilku dni:

„Badania pokazują…”

I niemal nikt nie zadał najważniejszego pytania:

Co dokładnie pokazało badanie?

Kiedy czytam badania dla MindHeaven, staram się jak najdłużej opierać pokusie przejścia do wniosku.

Zaczynam od architektury badania.

Kogo badano?

To pierwsze pytanie, które zadaję.

Zdrowych studentów w wieku dwudziestu pięciu lat?

Osoby starsze z zaburzeniami poznawczymi?

Ludzi z niedoborem żywieniowym?

Niewyspanych żołnierzy?

Pacjentów otrzymujących leczenie medyczne?

Efekt zaobserwowany w populacji z niedoborem może być całkowicie prawdziwy, a jednocześnie mówić nam bardzo niewiele o poprawianiu funkcji u zdrowych osób.

Sformułowanie „poprawa funkcji poznawczych” staje się bez znaczenia, jeśli usuniemy z niego informację o populacji.

Co właściwie otrzymywali uczestnicy?

Nie po prostu:

„magnez”.

Jaka forma magnezu?

W jakiej dawce?

Jak długo?

Czy był stosowany samodzielnie?

Czy był częścią mieszanki?

Czy formulacja była identyczna ze składnikiem, który dziś pojawia się w produkcie komercyjnym?

To ma większe znaczenie, niż wielu osobom się wydaje.

Dowody odnoszą się najbezpośredniej do interwencji, którą faktycznie przebadano.

Badanie jednego ekstraktu nie jest automatycznie dowodem dla innego ekstraktu.

Badanie L-tyrozyny nie jest automatycznie badaniem N-acetylo-L-tyrozyny.

A trial pięciu składników zastosowanych razem nie mówi nam, który z tych pięciu odpowiadał za wynik.

Z czym porównywano interwencję?

To pytanie zmieniło sposób, w jaki czytam badania suplementacyjne.

Załóżmy, że badacze stwierdzają, iż:

L-teanina + kofeina wypada lepiej niż placebo.

To interesujące.

Ale jeśli claim marketingowy brzmi:

„L-teanina sprawia, że kofeina działa lepiej”,

wtedy placebo nie jest komparatorem, którego potrzebuję.

Potrzebuję:

L-teanina + kofeina versus sama kofeina.

Badanie może być znakomicie zaprojektowane, a mimo to nie odpowiadać na pytanie, do którego ktoś później próbuje je wykorzystać.

Co właściwie mierzono?

„Wydajność mózgu” nie jest outcome’em.

Pamięć może nim być.

Czas reakcji może nim być.

Dokładność może nim być.

Subiektywne zmęczenie może nim być.

Zweryfikowana skala lęku może nim być.

Biomarker może nim być.

I te rzeczy nie są wymienne.

Związek może zmieniać biomarker, nie zmieniając tego, jak człowiek myśli albo funkcjonuje.

Może poprawiać jedno zadanie uwagowe i nie robić nic dla pamięci.

Nagłówek zazwyczaj kompresuje wszystkie te różnice.

Ja próbuję je ponownie rozwinąć.

Jaki był outcome pierwotny?

To jedno z najważniejszych pytań w całej publikacji.

Współczesne standardy raportowania triali odróżniają outcome pierwotny — wcześniej określony wynik o największym znaczeniu — od outcome’ów wtórnych. Podkreślają też, że raportowane outcome’y powinny pozostawać zgodne z protokołem i rejestrem badania, ponieważ ich zmienianie lub selektywne raportowanie może faworyzować wyniki istotne statystycznie.

Jeżeli outcome pierwotny zawodzi, ale jeden korzystny wynik wtórny spośród piętnastu wypada pozytywnie, nie opisuję trialu jako jednoznacznie pozytywnego.

Ten korzystny wynik wtórny może być interesujący.

Ale reprezentuje inny poziom dowodów.

Ile osób uczestniczyło w badaniu?

Liczebność próby nie mówi mi sama w sobie, czy badanie jest dobre czy złe.

Ale mówi coś o niepewności.

Trial z osiemnastoma osobami może ujawnić użyteczny sygnał.

Może też dać niestabilny szacunek, który zmieni się dramatycznie, kiedy przebadamy kolejne osiemnaście osób.

Małe eksperymenty są często świetnym miejscem, żeby zacząć.

Znacznie mniej komfortowym miejscem, żeby skończyć.

Czy randomizacja była rzeczywiście chroniona?

Słowo „randomizowane” na pierwszej stronie nie kończy oceny metodologicznej.

Jak wygenerowano sekwencję?

Czy przydział był ukryty?

Czy uczestnicy mogli odgadnąć, co otrzymali?

A badacze?

Czy zaślepienie było przekonujące?

Czy produkty różniły się smakiem, kolorem albo odczuciem?

W badaniach suplementów ma to szczególne znaczenie.

Kofeina daje charakterystyczne odczucia.

Niektóre ekstrakty roślinne mają trudny do pomylenia smak.

Niektóre związki wywołują natychmiastowe odczucia.

Placebo jest użyteczne tylko wtedy, gdy wiarygodnie zachowuje się jak placebo.

Patrzę dalej niż wartość p

Wynik może być istotny statystycznie i praktycznie nieistotny.

Chcę wiedzieć:

Jak duża była różnica?

Jak niepewny jest szacunek?

Jak wygląda przedział ufności?

Czy outcome był wcześniej określony?

Ile porównań wykonano?

Czy obchodziłaby mnie różnica tej wielkości, gdybym doświadczył jej sam?

Nauki nie da się zredukować do:

p < 0,05.

Potem szukam tego, co nie zadziałało

To być może najbardziej nietypowa część mojego sposobu czytania.

Kiedy już rozumiem, dlaczego badanie wygląda interesująco, celowo szukam powodów, by być nim mniej zachwyconym.

Czy inny outcome zawiódł?

Czy inna dawka zawiodła?

Czy efekt zniknął po korekcie analizy?

Czy wystąpiła nierównowaga w dropoutach?

Czy autorzy przyznali ograniczenie, o którym abstrakt ledwie wspomina?

Czy inna grupa badawcza nie zdołała odtworzyć efektu?

To nie jest cynizm.

To ochrona przed zakochaniem się w wyniku.

Na końcu zadaję pytanie komercyjne

Nie:

Czy możemy użyć tego badania?

Tylko:

Gdyby MindHeaven nie sprzedawało niczego związanego z tym składnikiem, czy opisałbym to badanie dokładnie tak samo?

To pytanie stało się jednym z moich najbardziej użytecznych wewnętrznych zabezpieczeń.

Bo czytanie badań nie polega przede wszystkim na znajdowaniu zdań, które nas wspierają.

Polega na rozumieniu granic.

Dobre badanie rzadko mówi nam:

„Ten składnik działa”.

Mówi coś znacznie bardziej precyzyjnego:

W tej populacji, przy tej dawce, w tych warunkach i przy tym komparatorze badacze zaobserwowali ten konkretny outcome z takim poziomem niepewności.

To zdanie jest mniej ekscytujące.

Jest również znacznie bliższe nauce.