Istotność statystyczna to nie to samo co znaczenie kliniczne
Osobisty esej, nie ocena dowodów. Nasze stopniowane oceny poszczególnych składników — przygotowane według opublikowanego standardu i na podstawie pełnych tekstów — znajdują się w sekcji Evidence. Żaden fragment tego tekstu nie jest twierdzeniem o działaniu jakiegokolwiek produktu.
Jest jedna liczba, która prawdopodobnie sprzedała więcej wątpliwej pewności naukowej niż niemal każda inna:
p < 0,05. Wygląda autorytatywnie.
Próg został przekroczony.
Wynik jest „istotny”.
Dla osoby czytającej szybko naturalny wniosek brzmi:
Zadziałało.
Ale istotność statystyczna odpowiada na znacznie węższe pytanie.
I wynik może być statystycznie istotny, a praktycznie niemal bez znaczenia.
Wyobraźmy sobie ogromne badanie
Załóżmy, że mierzymy czas reakcji u dziesiątek tysięcy osób.
Jedna grupa przyjmuje suplement.
Druga placebo.
Grupa suplementu staje się średnio odrobinę szybsza.
Ponieważ zbiór danych jest ogromny, analiza może wykryć tę maleńką różnicę z dużą pewnością statystyczną.
Wartość p może wyglądać imponująco.
Ale pytanie praktyczne pozostaje:
Czy ktokolwiek zauważyłby tę różnicę?
Jeżeli odpowiedź brzmi „nie”, wynik statystyczny nadal może być naukowo interesujący.
Nie staje się jednak automatycznie znaczącą korzyścią dla konsumenta.
Istnieje też problem odwrotny
Badanie może zaobserwować potencjalnie znaczącą różnicę i nie osiągnąć konwencjonalnej istotności statystycznej.
Dlaczego?
Być może próba jest zbyt mała.
Być może zmienność jest duża.
Być może przedział ufności jest szeroki.
To nie dowodzi, że efekt istnieje.
Ale nie dowodzi też automatycznie, że efektu nie ma.
Dlatego nie lubię interpretacji binarnej:
istotne = działa; nieistotne = nie działa. Rzeczywistość zwykle jest mniej wygodna.
Chcę znać wielkość
Jeśli ktoś mówi mi, że wynik jest statystycznie istotny, moje następne pytanie brzmi:
Jak duży jest efekt?
A potem:
Jaki jest przedział ufności?
Estymata efektu mówi nam, co wydarzyło się w próbie.
Przedział mówi coś o zakresie wartości zgodnych z danymi.
To znacznie bardziej informacyjne niż ceremonialne przekroczenie 0,05.
Wielokrotne porównania czynią sprawę jeszcze ciekawszą
Wyobraźmy sobie testowanie:
pamięci, uwagi, czasu reakcji, pamięci roboczej, nastroju,
zmęczenia, stresu, dokładności, senności i kilku podskal.
Im więcej testów statystycznych wykonujemy, tym więcej tworzymy okazji, by coś interesującego pojawiło się przypadkiem.
To nie znaczy, że istotny wynik wtórny jest fałszywy.
To znaczy, że kontekst ma znaczenie.
Dlatego wcześniej określone outcome’y pierwotne są tak ważne.
„Istotny” to niefortunne słowo
W zwykłym języku „istotny” oznacza:
ważny.
W statystyce oznacza coś innego.
To zderzenie znaczeń tworzy niekończące się nieporozumienia.
Wynik statystycznie istotny może być trywialny.
Możliwość ważna klinicznie lub praktycznie może pozostawać statystycznie niepewna.
Dlatego podczas czytania prac próbuję mentalnie zastępować:
„statystycznie istotny”
przez:
„dane przekroczyły ten statystyczny próg decyzyjny”.
Brzmi znacznie mniej ekscytująco.
I właśnie dlatego jest bezpieczniejsze.
Co chcę, żeby raportował MindHeaven?
Idealnie:
zaobserwowaną różnicę, wielkość efektu,
przedział ufności, liczebność próby, outcome pierwotny, komparator i niepewność.
Nie tylko:
p = 0,031.
Precyzyjnie wyglądająca liczba nigdy nie powinna zastępować myślenia.
Pytanie nie brzmi: „Czy wynik był istotny?”
Pytanie brzmi:
Jak duży był efekt, jak pewni jesteśmy, że jest realny, jak solidne było badanie i czy różnica naprawdę ma znaczenie?
To trudniejsze pytanie.
I dokładnie to pytanie konsument sądził, że zadajemy od początku.
Źródła metodologiczne
Standardy raportowania i oceny, do których odwołuje się ten esej. Nie są materiałem dowodowym stojącym za jakimkolwiek claimem produktowym.