Czym jest bias publikacyjny?
Osobisty esej, nie ocena dowodów. Nasze stopniowane oceny poszczególnych składników — przygotowane według opublikowanego standardu i na podstawie pełnych tekstów — znajdują się w sekcji Evidence. Żaden fragment tego tekstu nie jest twierdzeniem o działaniu jakiegokolwiek produktu.
Wyobraźmy sobie przeprowadzenie dziesięciu badań.
Osiem nie znajduje nic przekonującego.
Dwa dają ekscytujące wyniki pozytywne.
A teraz wyobraźmy sobie, że tylko te dwa trafiają do czasopism.
Co zobaczę, kiedy później przeszukam opublikowaną literaturę?
Dwa pozytywne badania.
Mój wniosek może brzmieć:
Dowody są niezwykle spójne.
Rzeczywistość byłaby odwrotna.
To podstawowa intuicja stojąca za biasem publikacyjnym.
Nauka może być zniekształcona przez to, czego nie widzimy
Literatura naukowa nie jest idealnym archiwum każdego eksperymentu, jaki kiedykolwiek przeprowadzono.
Badania mogą pozostać nieopublikowane.
Wyniki mogą być publikowane wybiórczo.
Niektóre outcome’y mogą zostać pominięte.
Wyniki statystycznie istotne mogą być łatwiejsze do publikacji, promocji, a nawet napisania.
To poważny problem.
Bo przegląd może perfekcyjnie przeanalizować każde opublikowane badanie i nadal dojść do błędnego wniosku, jeśli zbiór publikacji jest systematycznie niekompletny.
Suplementy są szczególnie podatne na ten problem
Małe badania są częste.
Istnieją interesy komercyjne.
Mierzy się wiele endpointów.
Istnieje mnóstwo formulacji.
Niektóre badania mogą nigdy nie wyjść poza abstrakt konferencyjny albo raport wewnętrzny.
To tworzy idealne warunki dla literatury wyglądającej bardziej optymistycznie niż pełna historia badań.
Rejestry badań pomagają
Jeżeli badanie zarejestrowano przed rozpoczęciem, czasem możemy zobaczyć, że istniało, nawet jeśli później nie pojawiła się klasyczna publikacja.
Możemy też porównać outcome’y wcześniej zadeklarowane z tymi opublikowanymi.
To nie rozwiązuje wszystkiego.
Ale zostawia ślad.
Dlatego prospektywna rejestracja jest dla mnie pozytywnym sygnałem przejrzystości.
Funnel plot jest użyteczny, ale nie magiczny
W metaanalizie badacze czasem sprawdzają, czy mniejsze badania są asymetrycznie rozmieszczone wokół efektu zbiorczego.
To może sugerować small-study effects albo brakujące dowody.
Ale interpretacja nie jest prosta.
Asymetria może mieć inne przyczyny niż bias publikacyjny.
A przy bardzo małej liczbie badań wykres może mówić niewiele.
Nie lubię, gdy narzędzia zamieniają się w rytuały.
Nie chodzi o to, żeby „mieć funnel plot”.
Chodzi o pytanie:
Jakich dowodów może brakować?
Negatywne badania zasługują na własną infrastrukturę
Dlatego chcę, żeby MindHeaven aktywnie ich szukał.
Nie tylko uwzględniał je, gdy przypadkiem na nie trafimy.
Szukajmy:
wyników zerowych, nieudanych replikacji, zarejestrowanych badań bez oczywistej publikacji, nieudanych endpointów pierwotnych,
korekt i retrakcji.
Jeżeli szukamy tylko:
„Składnik X poprawia poznanie”
programujemy własny wniosek jeszcze przed otwarciem pierwszej pracy.
Bias publikacyjny zmienia znaczenie frazy „badania pokazują”
Kiedy dziś ją słyszę, automatycznie pojawia się kolejne pytanie:
Których badań nie widzimy?
Być może nigdy nie poznamy pełnej odpowiedzi.
Ale samo uznanie tej możliwości jest lepsze niż udawanie, że widoczna literatura idealnie reprezentuje rzeczywistość.
Nauka nie polega wyłącznie na analizowaniu informacji.
Czasem polega na rozpoznawaniu kształtu informacji, której brakuje.
Źródła metodologiczne
Standardy raportowania i oceny, do których odwołuje się ten esej. Nie są materiałem dowodowym stojącym za jakimkolwiek claimem produktowym.