Badania, które chcielibyśmy, żeby były negatywne
Osobisty esej, nie ocena dowodów. Nasze stopniowane oceny poszczególnych składników — przygotowane według opublikowanego standardu i na podstawie pełnych tekstów — znajdują się w sekcji Evidence. Żaden fragment tego tekstu nie jest twierdzeniem o działaniu jakiegokolwiek produktu.
Dlaczego rozczarowujące wyniki mogą być cenniejsze niż kolejny wygodny sukces.
Większość firm celebruje pozytywne badania. Mnie coraz bardziej interesują te negatywne.
Prawdopodobnie brzmi to dziwnie w ustach kogoś, kto buduje firmę suplementacyjną.
Pozytywne badanie może uzasadnić formulację, wzmocnić narrację naukową i zwiększyć komercyjną pewność.
Wynik negatywny może zrobić dokładnie odwrotnie.
Może skomplikować produkt. Zniszczyć hipotezę. Unieważnić miesiące researchu. Albo zmusić do przyznania, że elegancka teoria biologiczna nie dała oczekiwanego efektu.
Dlaczego więc miałbym kiedykolwiek chcieć, żeby badanie wyszło negatywnie?
Bo niektóre pozytywne wyniki są zbyt wygodne.
A wygoda powinna zwiększać naszą ostrożność, nie ją zmniejszać.
Badanie, które potwierdza dokładnie to, na co wszyscy liczyli
Istnieje szczególny typ publikacji naukowej, który natychmiast przyciąga uwagę.
Składnik jest modny. Efekt duży. Wniosek czysty. Abstrakt niemal sam pisze reklamę.
Właśnie wtedy staję się ostrożny.
Nie dlatego, że badanie musi być błędne.
Ale dlatego, że wynik idealnie zgodny z naszymi oczekiwaniami najmniej prawdopodobnie uruchomi nasz sceptycyzm.
Ludzie są bardzo dobrzy w przesłuchiwaniu dowodów, które nam przeczą. Jesteśmy znacznie mniej zdyscyplinowani, gdy dowody się z nami zgadzają.
Wynik negatywny zmusza wszystkich do myślenia. Wynik pozytywny często pozwala wszystkim przestać.
Niektóre dziedziny potrzebują rozczarowujących eksperymentów
Jeżeli dwadzieścia małych badań wskazuje w tę samą optymistyczną stronę, ale wszystkie mają podobne słabości, rygorystyczny negatywny trial może być niezwykle wartościowy.
Może ujawnić, że wcześniejszy efekt był niestabilny. Albo specyficzny dla populacji. Albo zależny od metodologii.
Albo wyolbrzymiony przez bias publikacyjny.
Może pokazać, że wiarygodny mechanizm nie wystarczył.
Może oddzielić entuzjazm od powtarzalności.
W tym sensie negatywne badanie może przesunąć wiedzę do przodu szybciej niż kolejne pozytywne.
Czasami chciałbym, żeby wynik zawiódł bardziej jednoznacznie
Najtrudniejsza literatura nie jest ani zdecydowanie pozytywna, ani zdecydowanie negatywna.
Jest niejednoznaczna.
Trochę poprawy tutaj. Brak efektu tam. Jeden istotny endpoint spośród kilku. Obiecująca podgrupa. Graniczna wartość p. Wynik zmieniający się zależnie od sposobu analizy.
To tworzy lata interpretacyjnej mgły.
Każdy może znaleźć coś, co wspiera jego stanowisko.
Producenci cytują jeden endpoint. Krytycy drugi. Przeglądy dochodzą do różnych wniosków.
Konsumenci słyszą „Badania pokazują…”, choć trafniejsze zdanie brzmiałoby:
Niektóre badania sugerują, że coś może się dziać, ale nadal nie wiemy dokładnie co.
Czasami jedno czyste badanie negatywne byłoby ulgą.
Przynajmniej wiedzielibyśmy, gdzie stoimy.
Negatywne wyniki chronią nas przed kultem mechanizmów
Fascynują mnie mechanizmy. Podobnie jak wielu ludzi naukowo ciekawych świata.
Czytasz, że związek wpływa na układ neuroprzekaźników, modyfikuje sygnalizację komórkową, przekracza barierę krew–mózg albo uczestniczy w syntezie błon.
Zaczyna powstawać historia. Mechanizm staje się elegancki. Wynik wydaje się niemal nieunikniony.
A potem ktoś przeprowadza dobre badanie u ludzi. Nic się nie dzieje.
Taki wynik jest niezwykle cenny.
Przypomina nam, że biologia nie jest nam winna prostoty.
Mechanizm może być rzeczywisty, a oczekiwana korzyść nieobecna.
Szlak może być kompensowany gdzie indziej. Dawka może być niewłaściwa. Efekt biologiczny może być zbyt mały. Mierzony outcome może nie mieć znaczenia. Albo pierwotna teoria mogła być po prostu niepełna.
Negatywne wyniki przywracają właściwą skalę naszej pewności.
Szczególnie cenię negatywne wyniki dla składników, które lubię
Tutaj myślenie evidence-based staje się osobiste.
Są składniki, które intelektualnie bardzo mi odpowiadają.
Ich mechanizmy mają dla mnie sens. Ich historia jest ciekawa. Ich rola w formulacji mogłaby być piękna.
Właśnie dlatego chcę zobaczyć najmocniejsze możliwe próby ich obalenia.
Jeżeli składnik przetrwa słabą krytykę, dowiaduję się niewiele.
Jeżeli przetrwa rygorystyczny test negatywny, moja pewność się zmienia.
Ta zasada pojawia się w wielu dziedzinach: system jest silniejszy, kiedy przeżywa poważne próby jego złamania.
Dowody powinny być traktowane tak samo.
Branża suplementów ma problem asymetrii
Pozytywne badanie ma wartość komercyjną. Negatywne zwykle nie.
To tworzy niewygodną strukturę bodźców.
Pozytywne wyniki łatwiej nagłośnić. Tworzą nagłówki. Tworzą strony produktów. Tworzą zainteresowanie inwestorów.
Negatywne wyniki często znikają w ciszy.
Nawet opublikowane rzadko rozchodzą się po mediach społecznościowych z tą samą prędkością.
Nikt nie buduje kampanii wokół zdania: „Nie znaleźliśmy istotnej różnicy”.
Ale naukowo to zdanie może być niezwykle ważne.
Chciałbym, żeby MindHeaven nadawało negatywnym badaniom rangę
Nie chować ich na dole artykułu. Nie umieszczać ich za zdaniem zaczynającym się od „jednak”.
Nadawać im rangę.
Jeżeli ważne badanie przeczy naszej hipotezie formulacyjnej, chcę je widzieć w tabeli dowodów.
Jeżeli zmienia interpretację, chcę je widzieć w Bottom Line.
Jeżeli obniża ocenę dowodów, ocena powinna spaść.
A jeśli sprawia, że claim staje się nie do utrzymania, chcę ten claim usunąć.
Właśnie po to istnieje standard dowodowy.
Nieudana hipoteza nie oznacza zmarnowanej pracy
To być może najważniejsza lekcja.
Jeżeli poświęcamy tygodnie na analizę składnika i dochodzimy do wniosku, że nie powinniśmy go używać, te tygodnie nie zostały zmarnowane.
Kupiliśmy informację. Zmniejszyliśmy niepewność. Powstrzymaliśmy się przed budowaniem produktu wokół słabego założenia.
W inżynierii odkrycie przed produkcją, że projekt nie wytrzymuje obciążenia, nie jest złą wiadomością. To dokładnie to, co testowanie ma ujawnić.
Na suplementację patrzę bardzo podobnie.
Celem researchu nie jest walidacja preferowanej przez nas formulacji. Celem jest sprawdzenie, czy formulacja zasługuje na to, by istnieć.
Badanie, któremu ufam najbardziej
Gdybym mógł wybrać idealną bazę dowodową dla składnika, nie wybrałbym dziesięciu pozytywnych triali.
Wybrałbym coś bardziej wymagającego.
Mocne badania pozytywne. Niezależne replikacje. Odpowiednie komparatory. I kilka poważnych prób udowodnienia, że efekt jest nieprawdziwy.
Jeżeli po tym wszystkim efekt nadal byłby widoczny, ufałbym mu znacznie bardziej.
Dlatego część badań, które cenię najbardziej, to te, w których chciałbym zobaczyć wynik negatywny.
Nie dlatego, że chciałem, aby składnik zawiódł.
Ale dlatego, że przekonująca idea powinna potrafić przetrwać rozczarowanie.
A jeśli nie potrafi, wolę wiedzieć o tym, zanim włożymy ją do butelki.