Outcome’y pierwotne a wtórne
Osobisty esej, nie ocena dowodów. Nasze stopniowane oceny poszczególnych składników — przygotowane według opublikowanego standardu i na podstawie pełnych tekstów — znajdują się w sekcji Evidence. Żaden fragment tego tekstu nie jest twierdzeniem o działaniu jakiegokolwiek produktu.
Dobrze zaprojektowane badanie zadaje wiele pytań.
Ale nie wszystkie są równie ważne.
Jedno pytanie zwykle deklaruje się z góry jako centralne:
outcome pierwotny.
Inne dostarczają informacji dodatkowych:
outcome’y wtórne.
To rozróżnienie może wyglądać technicznie.
Dla mnie stało się jednym z najszybszych sposobów rozpoznawania, kiedy wynik naukowy jest sprzedawany zbyt szeroko.
Outcome pierwotny to obietnica złożona przed
poznaniem wyniku
Współczesne standardy raportowania badań definiują outcome pierwotny jako wcześniej określony wynik uznany za najważniejszy i oczekują jego jednoznacznego wskazania.
Lubię myśleć o outcome pierwotnym jako o:
pytaniu, na które badanie obiecało odpowiedzieć, zanim poznało odpowiedź.
Ten moment w czasie ma znaczenie.
Wyobraźmy sobie dziesięć outcome’ów
Badanie suplementu mierzy:
pamięć roboczą, czas reakcji, uwagę, dokładność, zmęczenie, nastrój, lęk,
senność, szybkość przetwarzania i subiektywne skupienie.
Dziewięć nie pokazuje nic znaczącego.
Jeden jest statystycznie istotny.
Dział marketingu może powiedzieć:
„Suplement istotnie poprawił funkcje poznawcze.”
Naukowo bardziej uczciwe byłoby:
„Jeden z mierzonych wyników różnił się, pozostałe nie.”
A teraz załóżmy, że udany wynik był wtórny, a outcome pierwotny zawiódł.
Ten kontekst staje się jeszcze ważniejszy.
Wtórny nie znaczy bezużyteczny
Nie chcę tworzyć odwrotnego nieporozumienia.
Outcome’y wtórne mogą ujawniać ważne efekty.
Mogą generować hipotezy.
Mogą identyfikować problemy bezpieczeństwa.
Mogą oświetlać mechanizmy.
Czasami stają się podstawą kolejnego badania.
Ale nie powinny po cichu dziedziczyć pewności, która pierwotnie należała do głównego pytania.
Wielokrotność ma znaczenie
Im więcej outcome’ów oglądamy, tym więcej tworzymy okazji na przypadkowo istotny wynik.
Prespecyfikacja pomaga, bo utrudnia retrospektywne szukanie tego rezultatu, który wygląda najlepiej.
Rejestry badań są tutaj użyteczne
Lubię porównywać:
co badacze powiedzieli, że zmierzą
z:
tym, co ostatecznie stało się najważniejsze w publikacji.
Jeśli outcome pierwotny się zmienił, chcę wiedzieć dlaczego.
Czasami istnieje całkowicie uzasadniony powód.
Liczy się przejrzystość.
Moja prosta zasada czytania
Kiedy nagłówek mówi:
„Badanie pokazuje, że suplement poprawia X”
pytam:
Czy X było outcome’em pierwotnym?
Jeśli tak, czytam dalej.
Jeśli nie, staję się ostrożniejszy.
Nie odrzucający.
Ostrożniejszy.
Ponieważ hierarchia outcome’ów mówi coś o tym, na jaką pewność zasługuje wynik.
Najbardziej ekscytująca liczba w tabeli nie zawsze jest wynikiem, którego eksperyment został zaprojektowany szukać.
Źródła metodologiczne
Standardy raportowania i oceny, do których odwołuje się ten esej. Nie są materiałem dowodowym stojącym za jakimkolwiek claimem produktowym.