Jak MindHeaven zmienia zdanie
Osobisty esej, nie ocena dowodów. Nasze stopniowane oceny poszczególnych składników — przygotowane według opublikowanego standardu i na podstawie pełnych tekstów — znajdują się w sekcji Evidence. Żaden fragment tego tekstu nie jest twierdzeniem o działaniu jakiegokolwiek produktu.
Dlaczego zmiana wniosku nie jest brakiem konsekwencji, kiedy zmieniły się dowody.
Jedno z najbardziej niebezpiecznych zdań w biznesie brzmi: „Zawsze uważaliśmy, że…”
Brzmi uspokajająco. Sugeruje konsekwencję, przekonanie i tożsamość.
Ale w nauce konsekwencja nie jest automatycznie cnotą.
Jeżeli dowody się zmieniają, a twój wniosek nie, nie jesteś już konsekwentny. Jesteś przywiązany.
Kiedy zacząłem budować MindHeaven, chciałem, aby jedna zasada była nienegocjowalna:
Musimy mieć prawo zmienić zdanie.
Nie po cichu. Nie z oporem. I nie tylko wtedy, gdy nowy wniosek jest komercyjnie wygodny.
Publicznie.
Nie chcę, żeby MindHeaven stało się zakładnikiem własnych stwierdzeń
Marka w naturalny sposób gromadzi claimy.
Powstaje strona produktu. Publikujemy artykuł. Nagrywamy wywiad. Wyjaśniamy formulację.
Z czasem te stwierdzenia stają się częścią tożsamości firmy.
I to tworzy presję.
Jeżeli później pojawiają się nowe dowody, przyznanie, że wcześniejsza interpretacja była niepełna, może wydawać się ryzykowne.
Czy klienci stracą zaufanie? Czy korekta sprawi, że będziemy wyglądać na niekonsekwentnych? Czy ludzie zapytają, dlaczego wcześniej mówiliśmy coś innego?
Uważam, że jest odwrotnie.
Organizacja naukowa, która nigdy nie zmienia stanowiska, budzi we mnie znacznie większą podejrzliwość niż taka, która od czasu do czasu mówi:
Przyjrzeliśmy się temu ponownie. Dziś uważamy, że nasz wcześniejszy wniosek był zbyt mocny.
Nauka nie staje się słabsza, kiedy się koryguje. To jeden z powodów, dla których w ogóle działa.
Istnieje różnica między zmianą opinii a zmianą standardu
To rozróżnienie jest fundamentalne.
Nie chcę, aby MindHeaven zmieniało standardy zależnie od tego, jaki wynik nam odpowiada.
Metoda powinna pozostawać stabilna.
Ocena dowodów może się zmienić. Decyzja formulacyjna może się zmienić. Nasza interpretacja może się zmienić.
Ale pytanie powinno pozostać to samo:
Jaki wniosek uzasadniają dziś najlepsze dostępne dowody?
Jeżeli uczciwie stosujemy tę samą metodę, zmiana odpowiedzi nie jest niekonsekwencją. Jest oczekiwanym skutkiem otrzymania lepszej informacji.
Nowe dowody nie są jedynym powodem, by zmienić zdanie
Czasami dowody były dostępne od początku.
Po prostu coś przeoczyliśmy.
Negatywne badanie. Problematyczny komparator. Korekta publikacji. Niespójność statystyczna. Ograniczenie, które początkowo wydawało się drobne, ale nabiera znaczenia w zestawieniu z innymi dowodami.
To jest niewygodne.
Ale intelektualna uczciwość wymaga jeszcze jednego rozróżnienia:
Istnieje różnica między „Nauka się zmieniła” a „My się myliliśmy”.
Może zdarzyć się jedno i drugie. I chcę, żeby MindHeaven potrafiło powiedzieć zarówno jedno, jak i drugie.
Korekty powinny zostawiać ślad
Nie lubię cichych korekt.
Jeśli w zdaniu był błąd literowy, oczywiście można go po prostu poprawić.
Ale jeśli istotnie zmieniamy wniosek naukowy, wcześniejsza interpretacja nie powinna po prostu zniknąć.
Czytelnik powinien móc zobaczyć, co napisaliśmy pierwotnie, co się zmieniło, dlaczego się zmieniło, które nowe dowody były istotne, czy zmieniła się ocena dowodów i czy zmiana wpłynęła na decyzję formulacyjną.
Dlatego historię wersji traktuję jako część samych dowodów.
Dokument oznaczony jako v1.0, a później v1.1 — dodatkowe dowody, albo v2.0 — istotnie zrewidowany wniosek, opowiada pewną historię.
Pokazuje, że strona żyje. Nie dlatego, że marketing bez przerwy ją przepisuje, ale dlatego, że wiedza ewoluuje.
Najtrudniejsze korekty dotyczą naszych własnych produktów
Łatwo poprawić artykuł o składniku, którego nie sprzedajemy. Niewiele jest wtedy do stracenia.
Prawdziwy test zaczyna się wtedy, gdy nowe dowody podważają coś znajdującego się w formulacji MindHeaven.
Wtedy interes komercyjny staje się widoczny.
Jeżeli sprzedajemy produkt zawierający daną substancję, mamy bodziec, by interpretować ją korzystnie.
Udawanie, że jest inaczej, byłoby naiwne.
Moim rozwiązaniem nie jest twierdzenie, że MindHeaven nie ma biasu.
Moim rozwiązaniem jest uczynienie tego biasu widocznym i zbudowanie procedur, które mają mu się przeciwstawiać.
Jeżeli dowody staną się istotnie słabsze, chcę, żebyśmy potrafili zrobić cztery rzeczy: zmienić claim, zmienić ocenę dowodów, zmienić formulację albo — jeśli trzeba — usunąć składnik.
Nawet po zaprojektowaniu opakowania. Nawet po opublikowaniu treści. Nawet jeśli starą historię łatwiej było sprzedać.
Co zmieniłoby nasz wniosek?
Chcę, żeby to pytanie stało się stałym elementem MindHeaven.
Na końcu poważnego Evidence Dossier chcę, aby czytelnik widział sekcję: Co zmieniłoby nasz wniosek?
Może będzie to duża niezależna replikacja. Może lepsze badanie z aktywnym komparatorem. Może dane o bezpieczeństwie długoterminowym. Może trial u zdrowych dorosłych zamiast populacji klinicznej. Może nieudana replikacja.
To coś więcej niż przejrzystość. To forma intelektualnej odpowiedzialności.
Jeżeli z góry powiem, jakie dowody skłoniłyby mnie do ponownego przemyślenia stanowiska, znacznie trudniej będzie mi później przesuwać bramki.
Pewność powinna mieć datę ważności
Jednym z błędów popełnianych przy informacji naukowej jest traktowanie wniosku jak obiektu trwałego.
Wolę myśleć o nim jak o zdjęciu stanu wiedzy.
Oto, co uzasadniają dowody na ten dzień.
Dlatego każda poważna strona dowodowa MindHeaven powinna informować, kiedy przeszukano literaturę, kiedy dokument był ostatnio przeglądany i kiedy zostanie przejrzany ponownie.
W szybko zmieniających się obszarach informacja się starzeje.
Artykuł może pozostać świetnie napisany, a jednocześnie stać się naukowo nieaktualny.
Nie chcę, żeby klienci ufali nam dlatego, że nigdy nie popełniamy błędów
Taka obietnica byłaby niemożliwa do spełnienia.
Chcę czegoś mocniejszego.
Chcę, żeby ludzie ufali procesowi, dzięki któremu te błędy wykrywamy.
Istnieje istotna różnica między „MindHeaven zawsze ma rację” a „MindHeaven jest gotowe dowiedzieć się, kiedy nie ma racji”.
To drugie jest czymś, co rzeczywiście możemy zbudować.
Zmiana zdania kosztuje
Czasami dosłownie.
Zmiana formulacji kosztuje. Ponowny druk opakowań kosztuje. Porzucanie istniejących założeń zabiera czas. Zmiana kampanii może być niewygodna.
Ale istnieje większy koszt długoterminowy: zbudowanie firmy, której tożsamość komercyjna zależy od obrony wczorajszych wniosków.
Nie chcę takiej firmy.
Chcę, żeby MindHeaven pozostało intelektualnie mobilne.
Wystarczająco ciekawe, by stawiać hipotezy. Wystarczająco zdyscyplinowane, by je testować. Wystarczająco pewne, by publikować wnioski. I wystarczająco pokorne, by je zmieniać.
Bo dzień, w którym MindHeaven przestanie potrafić powiedzieć:
Przyjrzeliśmy się ponownie. Dowody zmieniły nasze zdanie.
będzie dniem, w którym przestaniemy być evidence-led — niezależnie od tego, co będzie napisane na naszej stronie.