Co naprawdę mówi nam badanie na 20 osobach?
Osobisty esej, nie ocena dowodów. Nasze stopniowane oceny poszczególnych składników — przygotowane według opublikowanego standardu i na podstawie pełnych tekstów — znajdują się w sekcji Evidence. Żaden fragment tego tekstu nie jest twierdzeniem o działaniu jakiegokolwiek produktu.
Dwadzieścia osób może nas czegoś nauczyć.
Nie może powiedzieć nam wszystkiego.
To rozróżnienie brzmi oczywiście — dopóki badanie na 20 uczestnikach nie wygeneruje ekscytującego procentu.
31% poprawy.
47% redukcji.
Wzrost 2,4 raza.
Nagle liczba 20 znika.
Procent staje się nagłówkiem.
Nie odrzucam małych badań
To byłby błąd.
Wczesne badania muszą gdzieś się zacząć.
Badania pilotażowe mogą pokazać, czy pomysł zasługuje na dalsze sprawdzanie.
Małe badania crossover czasem potrafią być bardzo informacyjne.
Starannie kontrolowane eksperymenty laboratoryjne mogą wykrywać ostre efekty przy stosunkowo małych próbach.
Właściwe pytanie nie brzmi:
„Czy 20 to za mało?”
Tylko:
„Za mało do jakiego wniosku?”
Precyzja staje się krucha
Przy mniejszej liczbie uczestników estymaty zwykle są mniej precyzyjne.
Jeden nietypowy responder może znacząco przesunąć średnią.
Kilka drop-outów może zmienić skład grupy.
Analizy podgrup stają się szczególnie niestabilne.
Rzadkie działania niepożądane są niemal niemożliwe do scharakteryzowania.
Procenty stają się wizualnie niebezpieczne
Załóżmy, że dwie osoby w jednej małej grupie zgłaszają objaw, a cztery w drugiej.
Różnica względna może brzmieć dramatycznie.
Różnica surowa to dwie osoby.
Oba opisy mogą być matematycznie poprawne.
Tylko jeden daje intuicyjne wyczucie tego, co naprawdę się wydarzyło.
Dlatego lubię widzieć:
n = 20 prawie tak samo wyraźnie jak:
+40%.
Kontekst nie powinien być najmniejszym elementem typografii.
Małe badania są szczególnie podatne na wyjątkowych
uczestników
Reakcje ludzi są zróżnicowane.
Jedna osoba śpi wyjątkowo źle.
Inna wolno metabolizuje kofeinę.
Ktoś inny przychodzi po wyjątkowo stresującym tygodniu.
W grupie kilku tysięcy osób jednostkowe osobliwości się rozmywają.
W grupie dziesięciu osób na ramię mogą stać się całą historią.
Dobry projekt eksperymentalny może część z tego ograniczyć.
Nie może sprawić, że próba stanie się większa, niż jest.
Replikacja zmienia wszystko
Jedno małe badanie mnie interesuje.
Trzy niezależne badania wskazujące ten sam kierunek interesują mnie znacznie bardziej.
Duża prerejestrowana replikacja — jeszcze bardziej.
Dowody się kumulują.
To jest najważniejsze.
Nie potrzebuję, by pierwsze badanie odpowiedziało na każde pytanie.
Potrzebuję, żeby wszyscy — w tym my — przestali udawać, że odpowiedziało.
Czasem 20 uczestników wystarcza, by sfalsyfikować
założenie
Małe badania nie służą tylko znajdowaniu korzyści.
Starannie zaprojektowany eksperyment może ujawnić problem z mechanizmem.
Może pokazać, że oczekiwana zmiana fizjologiczna nie zachodzi.
Może ujawnić problemy tolerancji.
Może pokazać, że rzekomo oczywisty efekt wcale nie jest oczywisty.
Wartość badania nie jest proporcjonalna do komercyjnej użyteczności jego wniosku.
Moja zasada jest prosta
Kiedy widzę:
n = 20, nie myślę:
zła nauka.
Myślę:
interesujący dowód o ograniczonej zdolności do dawania pewności.
A potem pytam, co było dalej.
Czy wynik zreplikowano?
Czy większe badanie się zgodziło?
Czy wielkość efektu pozostała podobna?
Czy przedział ufności się zwęził?
Czy zgromadzono więcej danych bezpieczeństwa?
Badanie na 20 osobach może rozpocząć ważną historię naukową.
Nie powinno jej kończyć.
Źródła metodologiczne
Standardy raportowania i oceny, do których odwołuje się ten esej. Nie są materiałem dowodowym stojącym za jakimkolwiek claimem produktowym.