Te same dane. Różne wyniki. Ukryty wszechświat niepewności.

Obserwacja wielu badaczy pracujących na tych samych danych i tej samej hipotezie ujawnia ukryty wszechświat niepewności

Źródło: Proc Natl Acad Sci U S A . 2022 Nov;119(44):e2203150119; Observing many researchers using the same data and hypothesis reveals a hidden universe of uncertainty

Czy różni badacze dojdą do podobnych wyników, analizując te same dane? Siedemdziesiąt trzy niezależne zespoły badawcze użyły identycznych międzynarodowych danych ankietowych, aby przetestować ważną hipotezę z nauk społecznych: że większa imigracja obniża publiczne poparcie dla państwowego finansowania polityk społecznych. Zamiast zbieżności wyniki zespołów bardzo się rozjechały, od silnie negatywnego po silnie pozytywny wpływ imigracji na poparcie dla polityki społecznej. Decyzje podejmowane przez zespoły przy projektowaniu testów statystycznych wyjaśniają bardzo niewielką część tej zmienności; pozostaje ukryty wszechświat niepewności. Biorąc pod uwagę tę zmienność, naukowcy, zwłaszcza ci pracujący ze złożonością ludzkich społeczeństw i zachowań, powinni zachować pokorę i starać się lepiej uwzględniać niepewność w swojej pracy.

 

Abstrakt

Badanie analizuje, jak wybory analityczne badaczy wpływają na wiarygodność ustaleń naukowych. Większość dyskusji o problemach wiarygodności w nauce koncentruje się na systematycznych błędach. My poszerzamy perspektywę, podkreślając idiosynkratyczny charakter świadomych i nieświadomych decyzji, które badacze podejmują podczas analizy danych. Skoordynowaliśmy pracę 161 badaczy w 73 zespołach badawczych i obserwowaliśmy ich decyzje badawcze, gdy używając tych samych danych, niezależnie testowali tę samą ważną hipotezę z nauk społecznych: że większa imigracja zmniejsza społeczne poparcie dla polityk socjalnych.

W tym typowym przypadku badań społecznych zespoły zgłaszały zarówno bardzo rozbieżne wyniki liczbowe, jak i odmienne wnioski merytoryczne, mimo identycznych warunków startowych. Doświadczenie badaczy, ich wcześniejsze przekonania i oczekiwania ledwie pozwalały przewidzieć ogromne zróżnicowanie wyników. Ponad 95% całkowitej wariancji wyników liczbowych pozostaje niewyjaśnione nawet po jakościowym zakodowaniu wszystkich możliwych do zidentyfikowania decyzji w toku pracy każdego zespołu.

Ujawnia to wszechświat niepewności, który pozostaje ukryty, gdy patrzy się na pojedyncze badanie w izolacji. Idiosynkratyczny sposób, w jaki różniły się wyniki i wnioski badaczy, jest dotąd niedocenianym wyjaśnieniem tego, dlaczego wiele hipotez naukowych pozostaje spornych. Wyniki te wzywają do większej pokory epistemicznej oraz większej jasności w raportowaniu ustaleń naukowych.

Zorganizowana produkcja wiedzy naukowej obejmuje zinstytucjonalizowane mechanizmy kontroli, takie jak selekcja redakcyjna, recenzja naukowa i standardy metodologiczne, które mają zapewnić, że ustalenia są niezależne od cech, skłonności czy uprzednich nastawień pojedynczego badacza. Procedury te powinny wytwarzać wiarygodność między badawczą, dając odbiorcom wyników naukowych pewność, że nie są one arbitralnymi przypadkami i że inni badacze, mając te same dane, uzyskaliby podobne ustalenia. Najnowsze badania z zakresu metanauki podważają jednak to założenie, ponieważ kilka prób odtworzenia wyników wcześniejszych badań zakończyło się niepowodzeniem.

W odpowiedzi na te problemy naukowcy zaczęli dyskutować o różnych zagrożeniach dla wiarygodności procesu naukowego, koncentrując się przede wszystkim na błędach [stronniczościach] systematycznych wpisanych w sposób prowadzenia badań. Wskazując zarówno na niewłaściwie skonstruowane bodźce instytucjonalne, jak i poznawcze skłonności samych badaczy^(5–7), perspektywa ta zakłada, że systematyczne zniekształcenia procesu badawczego oddalają publikowaną literaturę od poszukiwania prawdy i trafnego opisu rzeczywistości. W konsekwencji zmniejsza się prawdopodobieństwo, że starannie przeprowadzona replikacja doprowadzi do tych samych wyników.

W niniejszej pracy argumentujemy jednak, że źródła problemów z wiarygodnością badań sięgają głębiej niż jedynie systematycznie zniekształcone praktyki badawcze. Proponujemy, aby lepiej zrozumieć, dlaczego wyniki badań często okazują się niereplikowalne lub wykazują niską zgodność między badaczami, uwzględnić również idiosynkratyczną zmienność, będącą nieodłączną częścią procesu naukowego. Nasza główna teza brzmi, że zróżnicowanie wyników między badaczami może występować nawet wtedy, gdy wszyscy ściśle przestrzegają metody naukowej, wysokich standardów etycznych oraz najnowocześniejszych praktyk zwiększających odtwarzalność badań. Jak pokazujemy poniżej, nawet uczciwi naukowcy, dysponujący identycznymi danymi i wolni od presji zniekształcania wyników, mogą nie dochodzić do tych samych wniosków z powodu złożoności i niejednoznaczności nieodłącznie związanych z procesem analizy naukowej.

 

Zmienność wyników badań

 

Proces naukowy stawia badaczy przed ogromną liczbą pozornie drobnych, lecz w rzeczywistości istotnych punktów decyzyjnych, z których każdy może wprowadzać dodatkową zmienność do końcowych wyników badań. Ważnym, choć często niedocenianym faktem jest to, że dotyczy to nawet etapu powszechnie uważanego za najbardziej obiektywny, pracy z danymi po ich zebraniu. Badacze mogą dosłownie podążać milionami różnych ścieżek, przygotowując dane, analizując je, prezentując oraz interpretując uzyskane wyniki. Liczba możliwych wyborów rośnie wykładniczo wraz ze wzrostem liczby analizowanych przypadków i uwzględnianych zmiennych^(8–10).

Perspektywa koncentrująca się na błędach systematycznych zakłada pośrednio, że ograniczenie „wypaczonych” bodźców skłaniających do uzyskiwania efektownych, zaskakujących wyników doprowadzi badaczy do formułowania trafnych wniosków. Może to być jednak zbyt optymistyczne założenie. Chociaż usunięcie takich bodźców zmniejsza skłonność do systematycznego wybierania błędnych lub stronniczych ścieżek analitycznych^(8–11), samo w sobie nie gwarantuje ani trafności, ani wiarygodności wyników. Z mniej niepokojących powodów badacze mogą podążać różnymi kierunkami w tym, co Gelman i Loken nazwali „ogrodem rozwidlających się ścieżek” (garden of forking paths) procesu podejmowania decyzji analitycznych⁽⁸⁾.

Istnieją dwa główne wyjaśnienia tego, dlaczego badacze wybierają różne ścieżki analizy. Hipoteza kompetencji zakłada, że różnice wynikają z odmiennych poziomów wiedzy statystycznej i merytorycznej, prowadzących do różnych ocen tego, jaka analiza jest „najlepsza” w danej sytuacji badawczej. Z kolei hipoteza błędu konfirmacyjnego (confirmation bias) mówi, że badacze mogą systematycznie wybierać odmienne strategie analityczne z powodu wcześniej ukształtowanych przekonań i postaw, które skłaniają ich do późniejszego uzasadniania takich metod analizy, które sprzyjają określonym wynikom. Autorzy podkreślają jednak, że istnieje również wiele innych, ukrytych lub idiosynkratycznych czynników, zarówno dużych, jak i bardzo subtelnych, które mogą prowadzić do nieprzewidywalnych i trudnych do wyjaśnienia różnic w przebiegu analizy danych⁽¹⁰⁾. Niekiedy nawet najmniejsze z tych różnic mogą się kumulować i wzajemnie wzmacniać, prowadząc ostatecznie do znacznie odmiennych wyników.

Rośnie świadomość tego, jak silnie wyniki badań zależą od decyzji dotyczących modelowania statystycznego oraz jak istotna jest odporność analiz na różne wybory metodologiczne (analytical robustness)^{(9, 11–13)}. Dopiero jednak w ostatnich latach naukowcy zaczęli sprawdzać, czy zróżnicowanie między badaczami rzeczywiście wpływa na wyniki badań. W tym celu stosuje się niekiedy podejście określane jako „wielu analityków/wiele zespołów badawczych”, polegające na tym, że wielu badaczy lub zespołów niezależnie testuje tę samą hipotezę na tym samym zbiorze danych. Pierwsze takie badanie wykazało, że gdy 29 badaczy analizowało, czy sędziowie piłkarscy byli uprzedzeni wobec zawodników o ciemniejszym kolorze skóry, korzystając z identycznych danych, każdy z nich zastosował własną specyfikację modelu statystycznego. Uzyskane wyniki obejmowały szeroki zakres, od umiarkowanie negatywnych do silnie pozytywnych efektów⁽¹⁴⁾. Dotychczas większość badań typu wielu analityków była prowadzona na niewielką skalę lub koncentrowała się na wąskich, charakterystycznych dla danej dyscypliny metodach analizy^{(15, 16)}. Nowsze badania Botvinik-Nezera i współpracowników⁽¹⁷⁾ oraz Menkvelda i współpracowników⁽¹⁸⁾ miały znacznie większy zakres i obejmowały odpowiednio 65 oraz 164 zespoły badawcze. Co szczególnie istotne, mimo znacznie większej liczby uczestników również one ujawniły znaczną zmienność wyników między badaczami. Autorzy podjęli także pierwsze próby wyjaśnienia tej zmienności, analizując niewielki zestaw czynników, takich jak obliczeniowa odtwarzalność analiz (computational reproducibility), oceny analiz dokonane przez recenzentów czy oprogramowanie statystyczne wykorzystywane przez analityków. Próby te okazały się jednak mało skuteczne w wyjaśnieniu zarówno różnic pomiędzy wynikami, jak i odchyleń poszczególnych wyników od średniej wszystkich uzyskanych rezultatów (czyli błędu). W naszym badaniu poszerzyliśmy te próby wyjaśnienia, obserwując każdy etap pracy każdego niezależnego zespołu badawczego. Zakładaliśmy, że tak szczegółowa obserwacja pozwoli wyjaśnić znacznie większą część zmienności wyników. Ponadto, łącząc te obserwacje z pomiarami kompetencji analitycznych oraz przekonań merytorycznych badaczy jako zmiennych wyjaśniających, oczekiwaliśmy głębszego zrozumienia uzyskanych rezultatów, a przede wszystkim ustalenia, które decyzje mają kluczowy wpływ na końcowe wyniki badań.

 

Metody

 

Główni badacze (Principal Investigators – PI) skoordynowali pracę 161 naukowców zorganizowanych w 73 zespoły, którym powierzono identyczne zadanie: niezależne przetestowanie hipotezy stanowiącej jeden z fundamentów „obszernego dorobku naukowego”⁽¹⁹⁾ w naukach społecznych, że imigracja zmniejsza poparcie społeczeństwa dla polityki socjalnej.* Cały, w pełni odtwarzalny przebieg naszego badania został udostępniony publicznie w internetowym repozytorium projektu.† Zadanie postawione uczestnikom było typowe dla badań nad społeczeństwami ludzkimi, w których kluczowe pojęcia i analizowane zjawiska pozostawiają szerokie pole do interpretacji i niejednoznaczności^{(20, 21)}. Przykładowo, w klasycznych badaniach z zakresu ekonomii politycznej Alberto Alesina i Edward Glaeser^{(22, 23)} postawili hipotezę, że różnice między systemami zabezpieczenia społecznego w Ameryce Północnej i Europie wynikają z obecności lub braku zróżnicowania etnicznego wywołanego imigracją. W nowszych badaniach inni autorzy postrzegają kryzysy migracyjne i uchodźcze jako czynnik prowadzący do ograniczania systemów zabezpieczenia społecznego w Europie Zachodniej oraz w innych częściach świata. Innymi słowy, wybrano właśnie tę hipotezę, ponieważ jest ona wpływowa, od wielu lat obecna w literaturze oraz reprezentatywna dla współczesnych badań z zakresu nauk politycznych, socjologii, ekonomii, geografii i innych nauk społecznych^(24–29).

Uczestników rekrutowano poprzez rozpowszechnienie zaproszenia w akademickich sieciach kontaktów, mediach społecznościowych oraz oficjalnych kanałach komunikacyjnych stowarzyszeń naukowych zrzeszających badaczy nauk społecznych (Dodatek SI, Projekt badania). Chociaż zainteresowanie udziałem wyraziło 106 zespołów, za początkową próbę badawczą uznano 88 zespołów, które wypełniły ankietę poprzedzającą badanie. Ostatecznie badanie ukończyły 73 spośród tych 88 zespołów, obejmujące łącznie 161 badaczy, przy średnio 2,24 badacza na zespół. Spośród uczestników 46% miało wykształcenie socjologiczne, 25% politologiczne, natomiast pozostali reprezentowali ekonomię, nauki o komunikacji, kierunki interdyscyplinarne lub specjalizowali się w metodologii badań. 83% uczestników prowadziło zajęcia z analizy danych, a 70% opublikowało co najmniej jeden artykuł lub rozdział dotyczący tematyki badania bądź zastosowanej metody badawczej (szczegółowe informacje o uczestnikach znajdują się w Dodatku SI, III. Participant Survey Codebook).

Główni badacze (Principal Investigators, PI) udostępnili zespołom dane z International Social Survey Programme (ISSP) prowadzonego od wielu lat, wielkoskalowego, międzynarodowego programu badań ankietowych porównujących postawy polityczne i ekonomiczne, którego dane wykorzystano w ponad 10.000 opublikowanych badań naukowych.‡ ISSP zawiera moduł składający się z sześciu pytań dotyczących roli państwa w zapewnianiu różnych świadczeń społecznych, takich jak emerytury, polityka rynku pracy czy opieka zdrowotna. To właśnie ten moduł został wykorzystany przez Davida Brady’ego i Ryana Finnigana⁽¹⁹⁾ w jednym z najczęściej cytowanych badań analizujących hipotezę, którą uczestnicy mieli zweryfikować. Główni badacze dostarczyli również roczne dane dotyczące poszczególnych państw opisujące zasób imigrantów jako odsetek populacji oraz przepływ imigrantów rozumiany jako zmiana netto tego zasobu. Dane pochodziły z Banku Światowego, Organizacji Narodów Zjednoczonych oraz Organizacji Współpracy Gospodarczej i Rozwoju (OECD). Dostępne były odpowiednie dane ISSP i dane migracyjne dla 31 krajów, głównie wysoko rozwiniętych, ale także kilku państw o średnich dochodach. Obejmowały one maksymalnie pięć fal badań z lat 1985, 1990, 1996, 2006 i 2016. Wszystkie wykorzystane dane pochodziły z publicznie dostępnych źródeł.

Aby wyeliminować bodźce mogące prowadzić do stronniczości, wszystkim badaczom z zespołów, które ukończyły projekt, zagwarantowano współautorstwo końcowej publikacji niezależnie od uzyskanych wyników. Ponieważ „uczestnikami” byli sami naukowcy, a wszystkie wykonywane przez nich zadania stanowiły standardową działalność badawczą, która teoretycznie uzasadnia współautorstwo publikacji, przed rozpoczęciem badania nie było konieczności uzyskiwania zgody komisji etycznej. Przed rozpoczęciem badań oraz w ich trakcie uczestnicy wypełniali ankiety służące pomiarowi ich kompetencji, przekonań i postaw związanych z tematyką badania. Ponadto uczestniczyli w internetowych dyskusjach prowadzonych zarówno przed rozpoczęciem analiz (losowo wybrana połowa zespołów), jak i po wykonaniu głównych analiz (wszystkie zespoły) (Dodatek SI, III. Participant Survey Codebook).

Aby zapoznać badaczy z udostępnionymi danymi, pierwszym zadaniem było numeryczne odtworzenie wyników uzyskanych przez Brady’ego i Finnigana⁽¹⁹⁾ na części danych ISSP. Następnie poproszono zespoły o opracowanie własnych ich zdaniem optymalnych modeli służących do przetestowania tej samej hipotezy z wykorzystaniem potencjalnie całego dostarczonego zbioru danych, przy czym plan analizy musiał zostać złożony przed uruchomieniem modeli statystycznych. Aby zwiększyć realizm badania, zespołom pozwolono korzystać z dodatkowych źródeł danych do pomiaru zmiennych niezależnych. Następnie każdy zespół miał przeprowadzić własną analizę i przedstawić standaryzowane względem zmiennej zależnej oszacowania efektu, odpowiadające zmianie preferencji wobec polityki społecznej (wyrażonej w jednostkach odchylenia standardowego) przewidywanej przez jednostkową zmianę odpowiedniej zmiennej opisującej imigrację. Poproszono również badaczy o sformułowanie jednego z trzech końcowych wniosków: czy ich wyniki potwierdzają hipotezę, że imigracja zmniejsza społeczne poparcie dla polityki socjalnej, obalają tę hipotezę, czy też uznają, że na podstawie dostępnych danych hipotezy tej nie da się wiarygodnie przetestować.

Spośród 73 zespołów jeden przeprowadził wstępne testy dotyczące sposobu pomiaru analizowanych zmiennych, po czym uznał, że hipotezy nie można wiarygodnie zweryfikować i w konsekwencji nie zaprojektował ani nie przeprowadził dalszych analiz. Oznaczało to, że pozostałe 72 zespoły przedstawiły łącznie 1261 modeli statystycznych. W przypadku jednego zespołu modele zgłoszone wcześniej w przed rejestracji nie osiągnęły zbieżności obliczeniowej (failed to converge), dlatego nie uzyskano żadnych wyników liczbowych. Ostatecznie analizie poddano wyniki 71 zespołów, obejmujące 1253 modele statystyczne. Przy formułowaniu końcowych wniosków 16 zespołów uznało, że dwie zastosowane miary imigracji należy traktować jako dwa niezależne testy hipotezy, w związku z czym przedstawiły odrębne wnioski dla każdej z nich. W efekcie podstawową jednostką analizy dla wniosków jakościowych nie było już 73, lecz 89 wniosków na poziomie zespołów.

Wśród 71 zespołów, które przedstawiły wyniki liczbowe, średnia liczba opracowanych modeli wyniosła 17,5 modelu na zespół, przy czym poszczególne zespoły przygotowały od 1 do 124 modeli. Większość zespołów przedstawiła co najmniej 12 modeli, ponieważ każdą z sześciu pytań modułu ISSP traktowano jako oddzielną zmienną zależną i analizowano ją dwukrotnie, osobno dla każdej z dwóch miar imigracji (zasobu imigrantów i przepływu imigrantów). Kilka zespołów przedstawiło 18 modeli, wykonując dodatkowo sześć analiz uwzględniających jednocześnie obie zmienne opisujące imigrację.

Zespoły często uwzględniały hierarchiczną strukturę danych, modelując zmienność na poziomie osób, krajów, lat oraz kombinacji kraj–rok. Część badaczy nie stosowała jednak modeli wielopoziomowych, natomiast inni korygowali błędy standardowe poprzez grupowanie (clustering) na poziomie krajów, fal badania lub kombinacji kraj–fala badania. Niektóre zespoły wykorzystywały interakcje zmiennych zero-jedynkowych, na przykład między wskaźnikami regionów świata (takich jak Europa Wschodnia) lub preferencjami politycznymi a zmiennymi dotyczącymi imigracji, co prowadziło do nieliniowych wartości przewidywanych przez modele. Inni badacze stosowali alternatywne metody estymacji, oparte na metodzie największej wiarygodności (maximum likelihood) lub wnioskowaniu bayesowskim, zamiast klasycznej metody najmniejszych kwadratów (ordinary least squares, OLS) (najczęściej stosowane decyzje dotyczące modelowania przedstawiono w Dodatku SI, Tabela S3). Łącznie decyzje metodologiczne badaczy odzwierciedlały szeroką różnorodność podobnych, lecz technicznie odmiennych podejść stosowanych we współczesnych badaniach naukowych.

Kod każdego zespołu został sprawdzony przez głównych badaczy, a następnie zanonimizowany przed publicznym udostępnieniem. Część zespołów nie przedstawiła standaryzowanych oszacowań efektów. Ponadto różne sposoby skalowania obu zmiennych opisujących imigrację sprawiały, że wyniki nie zawsze były bezpośrednio porównywalne pod względem rozkładu. Dlatego autorzy dokonali po zakończeniu badania (post hoc) standaryzacji współczynników uzyskanych dla obu miar imigracji, zarówno zasobu, jak i przepływu imigrantów.

Wyniki przekształcono również do postaci średnich efektów krańcowych (Average Marginal Effects, AME), czyli standaryzowanych średnich efektów jednostkowej zmiany danej zmiennej niezależnej (imigracji) na zmienną zależną (poparcie dla polityki społecznej), obliczonych na podstawie prognoz dla każdej obserwacji w zbiorze danych. Zaletą stosowania AME jest możliwość uzyskania jednego porównywalnego oszacowania efektu nawet w przypadku modeli nieliniowych oraz prezentowanie przewidywanych wartości odzwierciedlających rzeczywisty rozkład danych, zamiast opierania się wyłącznie na średnich wartościach zmiennych niezależnych (wyniki przedstawiono na Rycinie 1).

Po przekazaniu własnych wyników, lecz przed zapoznaniem się z rezultatami pozostałych zespołów, każdy uczestnik otrzymywał losowo krótki opis modeli zastosowanych przez cztery lub pięć innych zespołów i był proszony o ocenę ich jakości pod kątem testowania analizowanej hipotezy. Ponieważ każdy zespół został oceniony przez sześciu lub siedmiu uczestników, główni badacze opracowali ranking jakości modeli (Dodatek SI, Model Ranking).

Na każdym etapie po przekazaniu swoich wyników, również po ujawnieniu rezultatów pozostałych zespołów, uczestnicy mogli zmienić preferowany model i ponownie przesłać zarówno wyniki, jak i końcowy wniosek. Żaden zespół dobrowolnie nie skorzystał z tej możliwości. Jednak w części przypadków wyniki i wnioski uległy zmianie po poinformowaniu badaczy przez głównych autorów, że nie byli oni w stanie odtworzyć przedstawionych rezultatów z powodu błędów w kodzie lub rozbieżności między modelem, który zespół zamierzał zastosować, a modelem rzeczywiście zapisanym w przekazanym kodzie.

Następnie przeanalizowaliśmy wszystkie 1261 modeli statystycznych i zidentyfikowaliśmy 166 odrębnych decyzji projektowych, które wiązały się z konstrukcją tych modeli. Przez „decyzję” autorzy rozumieją każdy element dotyczący projektu modelu statystycznego, taki jak: strategia pomiaru zmiennych, wybór estymatora, sposób uwzględnienia hierarchicznej struktury danych, dobór zmiennych niezależnych czy ewentualne ograniczenie analizowanego zbioru danych (subsetting) (Dodatek SI, Tabela S12). Dla uproszczenia termin „decyzja” obejmował również zmienne opisujące same zespoły badawcze, takie jak wykorzystywane oprogramowanie, ogólny poziom znajomości tematu lub metod badawczych oraz wcześniejsze przekonania uczestników zmierzone w ankiecie przeprowadzonej wśród badaczy (Dodatek SI, Tabela S1).

Spośród 166 zidentyfikowanych decyzji, 107 zostało podjętych przez co najmniej trzy zespoły. To właśnie te 107 decyzji wykorzystano jako potencjalne zmienne wyjaśniające zróżnicowanie wyników i końcowych wniosków. Pozostałe 59 decyzji występowało jedynie w jednym lub dwóch zespołach, przez co ich uwzględnienie utrudniałoby analizę statystyczną. Innymi słowy, gdyby pojedyncza zmienna niezależna identyfikowała wyłącznie wyniki jednego lub dwóch zespołów, zakłóciłoby to oszczędne (parsimonious) oszacowanie resztowej, niewyjaśnionej wariancji obliczanej w równaniu drugiego poziomu modelu. Analiza macierzy niepodobieństwa wykazała ponadto, że żadne dwa spośród 1261 modeli nie były w 100% identyczne.

Aby zbadać źródła zmienności uzyskiwanych wyników, autorzy przeprowadzili analizę regresji, w której zarówno liczbowe oszacowania efektów, jak i subiektywne wnioski zespołów wyjaśniano za pomocą wszystkich możliwych kombinacji oraz interakcji między wspomnianymi 107 decyzjami badawczymi. W przypadku wyników liczbowych zastosowano modele regresji wielopoziomowej, co pozwoliło uwzględnić fakt, że poszczególne modele statystyczne były zagnieżdżone w zespołach badawczych oraz oddzielnie oszacować całkowitą zmienność, zmienność wewnątrz zespołów i zmienność między zespołami. Natomiast do analizy subiektywnych wniosków wykorzystano wielomianową regresję logistyczną, przewidującą prawdopodobieństwo, że dany zespół: (1) poprze badaną hipotezę, (2) ją odrzuci lub (3) uzna, że nie można jej wiarygodnie przetestować na podstawie dostępnych danych. Analizy prowadzono etapami. Na każdym etapie testowano kolejne zmienne oraz ich interakcje, a do następnego etapu przechodziły wyłącznie te elementy, które wyjaśniały największą część zmienności przy możliwie najmniejszej liczbie stopni swobody (lub najmniejszej dewiancji w przypadku analiz dotyczących subiektywnych wniosków).

Analiza zmienności wyników wiąże się jednak z ryzykiem przeuczenia modelu (overfitting). Z punktu widzenia statystyki niewłaściwe byłoby wykorzystanie 107 zmiennych wyjaśniających, dysponując jedynie 87 przypadkami analitycznymi (pochodzącymi od 71 zespołów, które uzyskały wyniki liczbowe). Dlatego autorzy wprowadzali zmienne stopniowo, w grupach, zachowując z każdej grupy wyłącznie te, które zwiększały stopień wyjaśnienia zmienności wyników bez pogorszenia dopasowania modelu, ocenianego za pomocą kryterium informacyjnego Akaikego (AIC) oraz logarytmu funkcji wiarygodności (log likelihood).

Analizę rozpoczęto od decyzji dotyczących projektu badania, obejmujących między innymi wybór jednego z sześciu pytań ankiety jako zmiennej zależnej oraz zmienne zero-jedynkowe reprezentujące dwa losowo przydzielone warianty eksperymentalne (wprowadzone do badania, lecz niezwiązane z głównym zadaniem modelowania). Następnie dodano decyzje dotyczące pomiaru, obejmujące wybór miary imigracji oraz sposób kodowania zmiennej zależnej (jako zmiennej dychotomicznej, porządkowej, wielokategorialnej lub ciągłej). W kolejnych etapach dołączano decyzje związane z danymi i doborem próby (data and sample), następnie z konstrukcją modelu, a na końcu uwzględniono również cechy samych badaczy (Repozytorium projektu, 04_CRI_Main_Analyses).

Autorzy ponownie przeprowadzili całą analizę etapową oddzielnie dla każdego z sześciu pytań ankiety wykorzystywanych przez zespoły jako zmienne zależne (Repozytorium projektu, 07_CRI_DVspecific_Analyses) (Dodatek SI, Tabele S4 oraz S9–S11). Dokładny wykaz zmiennych wykorzystanych w końcowej analizie, a także modeli prowadzących do ostatecznego rozwiązania, znajduje się w Dodatku SI, Tabele S5 i S7. Rycina 2 przedstawia część zmienności wyników wyjaśnioną przez preferowany przez autorów model oznaczony jako m13.

Aby sprawdzić odporność (robustness) przyjętej strategii etapowego doboru zmiennych, autorzy wykorzystali algorytm analizujący wszystkie możliwe kombinacje głównych zmiennych będących przedmiotem zainteresowania, czyli tych, które w analizach podstawowych wykazywały choćby niewielką zdolność wyjaśniania zmienności wyników (Repozytorium projektu, 06_CRI_Multiverse).

Analiza ta doprowadziła do uzyskania modelu nieco różniącego się od preferowanego wcześniej modelu m13. Nowy model oznaczono jako Auto_1 (Dodatek SI, Tabela S10).

Choć model Auto_1 charakteryzował się niższą wartością AIC, a więc lepszym dopasowaniem statystycznym oraz wyjaśniał nieco większą część zmienności na poziomie pojedynczych modeli, nie był w stanie wyjaśnić tak dużej części całkowitej zmienności wyników, jak model m13.

W kolejnym kroku autorzy połączyli wszystkie zmienne występujące zarówno w modelu m13, jak i w modelu Auto_1, tworząc nowy model oznaczony jako Auto_1_m13.

Chociaż nowy model wyjaśniał większą część zmienności i osiągał jeszcze niższą wartość AIC, autorzy świadomie zachowali ostrożność, aby nie dopuścić do przeuczenia modelu (overfitting). Model Auto_1_m13 zawierał bowiem 22 zmienne, podczas gdy modele m13 i Auto_1 obejmowały odpowiednio 18 i 15 zmiennych.

Następnie, w odpowiedzi na uwagi recenzentów PNAS, autorzy wygenerowali listę wszystkich możliwych par interakcji pomiędzy wszystkimi 107 zmiennymi uwzględnionymi w analizie. Łącznie otrzymano 5565 interakcji, z których 2637 charakteryzowało się niezerową wariancją i mogło zostać wykorzystanych w analizie regresji bez automatycznego usunięcia z modelu.

Uwzględnienie ośmiu lub większej liczby zmiennych interakcyjnych, wraz z odpowiadającymi im efektami głównymi (czyli łącznie co najmniej 24 zmiennych, z których wiele stanowiło interakcje między poziomami modelu), prowadziło do problemów ze zbieżnością modeli lub ich nadmierną identyfikacją. Dysponując jedynie 87 przypadkami na drugim poziomie modelu, oznaczało to około cztery przypadki na jedną zmienną.

Autorzy zwracają uwagę, że przeglądy badań opartych na symulacjach wskazują, iż minimalnym akceptowalnym poziomem jest około 10 przypadków na jedną zmienną, natomiast optymalnie powinno ich przypadać około 50⁽³⁰⁾. Z tego względu przyjęto, że absolutnym maksimum będzie wykorzystanie siedmiu zmiennych interakcyjnych, co odpowiada 21 zmiennym po uwzględnieniu efektów głównych każdej interakcji.

Następnie losowo wybrano 1000 zestawów po siedem zmiennych z pełnej listy interakcji i dla każdego zestawu algorytm przetestował wszystkie możliwe ich kombinacje. W rezultacie oszacowano nieco ponad milion modeli statystycznych.

Spośród każdej z 1000 iteracji wybrano dwa modele o najniższej wartości kryterium AIC, a następnie zebrano wszystkie zmienne występujące w tych modelach. Łącznie wśród 2000 najlepiej dopasowanych modeli zidentyfikowano 19 unikalnych zmiennych, które ponownie poddano analizie z wykorzystaniem tej samej procedury losowego doboru siedmiu zmiennych (random-seven).

Najlepiej dopasowane modele uzyskane w drugim etapie pozostawiły cztery zmienne interakcyjne jako potencjalnych kandydatów do dalszego zwiększenia stopnia wyjaśnienia zmienności wyników przy jednoczesnym zachowaniu prostoty modelu i uniknięciu przeuczenia, na co wskazywały wartości AIC.

Każdą z tych czterech zmiennych autorzy dodawali osobno do modelu uzyskanego wcześniej przez algorytm. Żaden z tak skonstruowanych modeli nie wyjaśniał większej części zmienności wyników badań niż modele m13 lub Auto_1_m13 (Dodatek SI, Tabela S10, modele Auto_2–Auto_5).

 

Główne wyniki

 

Rycina 1 przedstawia znaczne zróżnicowanie wyników liczbowych uzyskanych przez 71 zespołów badawczych, które analizowały ten sam zbiór danych. Otrzymane wyniki były silnie rozproszone. Nieco ponad połowa przedstawionych oszacowań nie różniła się istotnie od zera przy 95-procentowym przedziale ufności. Około jedna czwarta wyników była istotnie statystycznie ujemna, natomiast 16,9% stanowiły wyniki istotnie statystycznie dodatnie. Ten sam wzorzec rozbieżności obserwowano również wtedy, gdy analizowano subiektywne wnioski zespołów, zamiast samych wyników statystycznych.

Łącznie 13,5% (12 z 89) końcowych wniosków zespołów stwierdzało, że na podstawie dostępnych danych nie można wiarygodnie przetestować analizowanej hipotezy. 60,7% (54 z 89) uznało, że hipotezę należy odrzucić. Natomiast 28,5% (23 z 89) stwierdziło, że uzyskane wyniki wspierają badaną hipotezę (Dodatek SI, Rysunki S5, S9 oraz S10).§

Autorzy stwierdzili również, że kompetencje badaczy ani potencjalny błąd konfirmacyjny nie wyjaśniają dużego zróżnicowania uzyskanych wyników. Cechy samych badaczy nie wykazywały statystycznie istotnego związku ani z uzyskiwanymi wynikami liczbowymi, ani z formułowanymi przez nich wnioskami merytorycznymi (Rycina 3).

Oznacza to, że uzyskane dane nie potwierdzają przypuszczenia, iż zróżnicowanie wyników można wyjaśnić jedynie niewystarczającą wiedzą części uczestników lub wcześniej ukształtowanymi preferencjami prowadzącymi do oczekiwania określonych rezultatów.

 

Zasadniczo zróżnicowanie uzyskiwanych wyników powinno odzwierciedlać wcześniejsze decyzje podejmowane przez badaczy. Jednak Rysunek 2 pokazuje, że 107 zidentyfikowanych punktów decyzyjnych wyjaśnia jedynie niewielką część obserwowanej zmienności. Główne kategorie zidentyfikowanych decyzji badaczy wyjaśniają mniej niż jedną czwartą zmienności w czterech analizowanych miarach wyników badań. Większość zmienności pozostaje również niewyjaśniona po uwzględnieniu cech badaczy lub przypisania ich do jednego z niewielkich eksperymentów (nieopisywanych w tej publikacji; „przydzielone warunki” na Ryc. 2). Analizując całkowitą zmienność wyników liczbowych (górny słupek), zidentyfikowane elementy projektu badawczego wyjaśniają 2,6% zmienności (zielony segment), natomiast cechy badaczy odpowiadają maksymalnie za 1,2% obserwowanej zmienności (fioletowy segment). Innymi słowy, 95,2% całkowitej zmienności wyników pozostaje niewyjaśnione, co sugeruje, że ogromne różnice w raportowanych wynikach wynikały z indywidualnych, specyficznych dla poszczególnych badaczy decyzji podejmowanych podczas procesu analizy danych.

Odsetek wyjaśnionej zmienności jest nieco większy, gdy analizuje się różnice między zespołami badawczymi (drugi słupek), jednak nawet wtedy 82,4% zmienności pozostaje niewyjaśnione. Zmienność nadal w przeważającej mierze pozostaje niewyjaśniona również wtedy, gdy odejdziemy od samych wyników liczbowych i przeanalizujemy merytoryczne wnioski badaczy (dolny słupek; 80,1% niewyjaśnionej zmienności). Na szczególną uwagę zasługuje fakt, że nawet odsetek wyników testów statystycznych w obrębie danego zespołu, które wspierały jego końcowe wnioski, wyjaśnia jedynie około jednej trzeciej różnic pomiędzy wyciąganymi wnioskami (łososiowy segment dolnego słupka). Wskazuje to, że różni badacze potrafią odmiennie interpretować dokładnie ten sam zestaw wyników liczbowych. Ogólnie rzecz biorąc, złożoność procesu analizy danych prowadzi do powstawania zmienności, której nie da się łatwo wyjaśnić, nawet po szczegółowym uwzględnieniu cech badaczy oraz podejmowanych przez nich decyzji badawczych.

Na zakończenie autorzy, nawiązując do wcześniejszych badań typu wielu analityków/wiele zespołów badawczych(31), stworzyli punkt odniesienia dla uzyskanych wyników, wykorzystując symulację „multiverse” obejmującą możliwe specyfikacje modeli statystycznych. Zastosowanie tego samego podejścia wykazało, że 23 decyzje analityczne mogły wyjaśnić nieco ponad 16% zmienności wyników liczbowych wśród 2 304 symulowanych modeli (Aneks SI, Tabela S8). W przeciwieństwie do tego symulowanego scenariusza, nasze badanie – prowadzone w rzeczywistych warunkach i obserwujące faktyczne zachowania badaczy – osiągnęło łączny poziom wyjaśnionej zmienności niższy o niemal 12 punktów procentowych od tej wartości wynoszącej 16%. Co więcej, nawet przy wykorzystaniu algorytmu generującego wszystkie możliwe kombinacje zmiennych nadal brakowało ponad 11 punktów procentowych do osiągnięcia tego poziomu wyjaśnionej zmienności.

 

Dyskusja

 

Wyniki uzyskane w ramach naszego kontrolowanego projektu badawczego, przeprowadzonego jako zakrojone na szeroką skalę badanie typu crowdsourcingowego z udziałem 73 zespołów badawczych, pokazują, że analiza tej samej hipotezy przy użyciu tego samego zbioru danych może prowadzić do znacznych różnic zarówno w oszacowaniach statystycznych, jak i we wnioskach merytorycznych.

Co więcej, żadne dwa zespoły nie uzyskały identycznego zestawu wyników liczbowych ani nie podjęły tego samego zestawu kluczowych decyzji podczas analizy danych.

Zaobserwowana przez nas zmienność wyników jest zgodna z rezultatami niedawnych badań typu wielu analityków, prowadzonych w różnych dyscyplinach naukowych. Opisywane tutaj badanie różni się jednak od wcześniejszych przedsięwzięć tym, że próbowaliśmy zidentyfikować i skatalogować każdą decyzję podejmowaną w procesie badawczym przez każdy zespół, a następnie wykorzystać te decyzje oraz modele predykcyjne do wyjaśnienia, dlaczego zmienność uzyskiwanych wyników jest tak duża.

Pomimo tak szczegółowego rozłożenia procesu analitycznego na czynniki pierwsze udało się wyjaśnić mniej niż 2,6% całkowitej zmienności wyników liczbowych. Sprawdziliśmy również, czy wiedza ekspercka, przekonania i postawy badaczy wpływały na uzyskiwane wyniki. Okazało się jednak, że wyjaśniały one jedynie niewielką część obserwowanej zmienności. Nawet wysoce wykwalifikowani naukowcy, których celem było uzyskanie możliwie najbardziej trafnych wyników, dochodzili do znacząco różnych rezultatów, mimo że dysponowali tym samym zbiorem danych oraz testowali dokładnie tę samą hipotezę.

Tradycyjny sposób prezentowania i interpretowania wyników badań naukowych nie ujawnia całokształtu decyzji podejmowanych podczas procesu badawczego. Nasz wniosek jest następujący: udało nam się uchwycić istnienie ukrytego świata indywidualnej zmienności badaczy. To odkrycie było możliwe dzięki zastosowaniu projektu badawczego typu wielu analityków jako metody prowadzenia badań naukowych.

Niektórzy badacze proponowali wcześniej wykorzystanie analizy typu multiverse, która symuluje decyzje analityczne podejmowane przez różnych badaczy⁽³¹⁾. Metoda ta pozwala wygenerować zestaw wyników odpowiadający badaniu typu wielu analityków, bez konieczności angażowania ogromnej liczby naukowców oraz koordynowania ich pracy.

Wadą podejścia opartego na symulacji jest jednak to, że zostaje ono skonstruowane na podstawie pojedynczego schematu analizy danych opracowanego przez jeden zespół badawczy. W rezultacie może ono nie odzwierciedlać złożonej rzeczywistości różnych procesów badawczych realizowanych przez odmienne zespoły pracujące w różnych kontekstach.

W przedstawionym badaniu obserwowaliśmy pracę badaczy w kontrolowanych, lecz jednocześnie odpowiadających rzeczywistym warunkom środowiska badawczego. Dzięki temu udało się ujawnić ukryty świat decyzji o istotnym znaczeniu oraz czynników kontekstowych różniących poszczególnych badaczy, elementów których dotychczasowe symulacje nie są w stanie uchwycić.

 

Implikacje

 

Badacze muszą podejmować decyzje analityczne tak drobne, że często nawet nie uświadamiają sobie, iż są to decyzje. Zamiast być świadomie rozważane, pozostają niezauważone jako automatyczne działania wynikające z pozornie standardowych procedur postępowania. Nasze badanie pokazuje jednak, że gdy setki takich decyzji rozpatruje się łącznie, ich wpływ okazuje się daleki od błahości. Zrozumienie tego zjawiska było możliwe wyłącznie dzięki temu, że każdy z 1253 modeli przeanalizowanych w niniejszym badaniu był unikalny.

Nasze wyniki sugerują, że zgodność wyników pomiędzy badaczami może pozostawać niska nawet wtedy, gdy ich motywacja do uzyskania poprawnych wyników jest bardzo wysoka, a wszelkie bodźce mogące prowadzić do stronniczości zostały wyeliminowane. Również wyższy poziom kompetencji metodologicznych, często wskazywany jako sposób ograniczenia rozbieżności między badaczami, nie doprowadził do zmniejszenia obserwowanej zmienności wyników.

W konsekwencji pozostaje nam przyjąć, że indywidualna, specyficzna dla poszczególnych badaczy niepewność (idiosynkratyczna niepewność) stanowi fundamentalną cechę procesu naukowego, której nie da się łatwo wyjaśnić ani typowymi cechami badaczy, ani obserwowanymi decyzjami analitycznymi.

Uzyskane wyniki wnoszą nową perspektywę do dyskusji prowadzonej w ramach metanauki (metascience), podkreślając znaczenie niepewności, obok szeroko dyskutowanego problemu stronniczości.

Wiele prac z zakresu metanauki, które powstały w następstwie „kryzysu replikacji” w psychologii i innych dziedzinach nauki, prowadziło do wniosku, że publikowane wyniki badań są bardziej obciążone różnego rodzaju błędami i stronniczością, niż wcześniej przypuszczano.

Natomiast wniosek płynący z naszego badania oraz z innych podobnych prac jest taki, że publikowane wyniki badań naukowych są również znacznie bardziej niepewne, niż dotychczas sądzono.

Jako badacze ponosimy odpowiedzialność nie tylko za jak najwierniejsze opisywanie i wyjaśnianie rzeczywistości, lecz również za rzetelne komunikowanie poziomu niepewności związanego z formułowanymi przez nas twierdzeniami naukowymi.

Choć system akademicki znacznie bardziej premiuje innowacyjność niż replikację badań, dostarczenie nowej odpowiedzi na pytanie badawcze jest równie ważne, jak poinformowanie odbiorców, jak duże zaufanie można pokładać w tej odpowiedzi.

Nasze badanie pokazało, że aby w pełni ocenić i zrozumieć skalę niepewności, same badania replikacyjne są wartościowe, lecz niewystarczające. Dopiero duża liczba niezależnych analiz może pokazać, czy w danej dziedzinie niezależni badacze konsekwentnie dochodzą do podobnych wniosków, a tym samym wzmacniać lub osłabiać nasze zaufanie do określonych twierdzeń naukowych.

Uważamy, że poważne uwzględnienie indywidualnej (idiosynkratycznej) zmienności wyników badań niesie ze sobą co najmniej cztery istotne konsekwencje dla sposobu prezentowania i interpretowania dowodów empirycznych.

Po pierwsze, świadomość, że wyniki mogłyby znacząco się różnić, gdyby to samo badanie zostało przeprowadzone przez inny zespół badaczy lub nawet przez ten sam zespół, ale w innym czasie, powinna skłaniać do epistemicznej pokory przy wyciąganiu wniosków na podstawie pozornie obiektywnych procedur ilościowych.

Po drugie, uzyskane wyniki przypominają, jak ważne jest dokładne dokumentowanie każdego etapu procesu badawczego, ponieważ nawet najbardziej pozornie błahe decyzje — rozpatrywane łącznie — mogą skierować wyniki badań w zupełnie różnych kierunkach. Dopiero świadomość tych drobnych decyzji może prowadzić do owocnych dyskusji teoretycznych lub empirycznej oceny zasadności ich podejmowania.

Po trzecie, wbrew pesymistycznemu spojrzeniu na naukę, nasze badanie pomaga lepiej docenić wartość wiedzy zgromadzonej w tych obszarach, w których naukowcy rzeczywiście osiągają szeroki konsensus ekspercki — na przykład w kwestii wpływu człowieka na globalny klimat czy wyraźnego wzrostu polaryzacji politycznej w Stanach Zjednoczonych w ciągu ostatnich dziesięcioleci.

Po czwarte, nasze wyniki sugerują, że gdyby udało się uwolnić naukowców od stronniczości wynikającej z „perwersyjnych bodźców” wpisanych w instytucjonalny system nauki, ich własne wcześniejsze przekonania i uprzedzenia mogłyby mieć znacznie mniejszy wpływ na uzyskiwane wyniki, niż obawiają się niektórzy krytycy.

Należy jednak uczciwie zaznaczyć, że zespoły badawcze już na początku badania deklarowały, jakie modele statystyczne zamierzają zastosować. Choć mogły je w dowolnym momencie modyfikować lub zastępować innymi, można przypuszczać, że procedura ta ograniczyła potencjalny wpływ efektu potwierdzenia (confirmation bias).

 

Ograniczenia badania i kierunki dalszych badań

 

Nasze badanie posiada pewne ograniczenia, które wymagają omówienia. Po pierwsze, nie wiemy, w jakim stopniu uzyskane wyniki można uogólnić na inne zagadnienia badawcze, dyscypliny naukowe czy nawet inne zbiory danych. Znaczna część nauk społecznych opiera się na danych ankietowych, dlatego nasze wyniki odnoszą się przede wszystkim do tego rodzaju badań. W badaniach eksperymentalnych model generujący dane jest często znacznie lepiej określony lub wymaga podjęcia mniejszej liczby decyzji analitycznych.

Ponadto w naukach społecznych nie dysponujemy odpowiednikami praw Newtona ani jednoznacznie określonymi rozkładami prawdopodobieństwa znanymi z fizyki kwantowej, co sugeruje, że nasze badanie może nawet przeszacowywać skalę zmienności wyników w porównaniu z naukami przyrodniczymi. Z drugiej strony dane pochodzące z funkcjonalnego rezonansu magnetycznego (fMRI), badań genomicznych czy obserwacji wykonywanych przez teleskopy kosmiczne są znacznie bardziej złożone niż dane wykorzystywane w badaniach ankietowych nauk społecznych. W konsekwencji procesy analizy danych w tych dziedzinach są odpowiednio bardziej skomplikowane. Jednocześnie możliwe jest, że większa liczba decyzji analitycznych pozwala wyjaśnić większą część zmienności uzyskiwanych wyników badawczych.

Uważamy, że liczba punktów decyzyjnych występujących podczas analizy danych oraz stopień, w jakim badacze rozumieją proces generowania danych, mogą w dużej mierze decydować o skali zmienności wyników w danej dyscyplinie naukowej.

Pozostaje jednak otwartym pytaniem, czy i w jakim stopniu decyzje dotyczące projektu badawczego odgrywają większą lub mniejszą rolę w różnych dziedzinach nauki.

Po drugie, choć liczyliśmy na uzyskanie głębszego wglądu w analizowaną hipotezę merytoryczną, nie znaleźliśmy dowodów, które pozwalałyby przesunąć wnioski w jakimkolwiek kierunku. Ta obserwacja, w połączeniu z faktem, że znaczna część uczestników uznała badaną hipotezę za niemożliwą do przetestowania przy użyciu udostępnionych danych, stanowi potencjalne wyjaśnienie, dlaczego hipoteza ta od lat pozostaje przedmiotem sporów w naukach społecznych^{(19, 24, 32).}

Patrząc w przyszłość, uważamy, że fakt, iż 13,5% analityków biorących udział w badaniu uznało badaną hipotezę za „niemożliwą do przetestowania” na podstawie dostarczonych danych, stanowi ważne przypomnienie o znaczeniu odpowiedniego projektu badawczego oraz jednoznacznego formułowania hipotez.

Podkreśla to również znaczenie precyzyjnego definiowania sensu wyciąganych wniosków. W naszym badaniu „potwierdzenie” hipotezy oznaczało zazwyczaj odrzucenie hipotezy zerowej, natomiast „odrzucenie” hipotezy oznaczało zgodność wyników z hipotezą zerową lub uzyskanie wyników niejednoznacznych.

Zespoły badawcze samodzielnie decydowały, co uznają za potwierdzenie hipotezy, dowód przeciwko niej lub podstawę do stwierdzenia, że nie da się jej przetestować. Już sam ten fakt wprowadzał dodatkowy poziom nieokreśloności do procesu badawczego.

Ogólnie rzecz biorąc, obserwacje te wskazują na potrzebę poświęcenia większej uwagi przejrzystości pojęciowej, przyczynowej i teoretycznej w naukach społecznych, a także na konieczność gromadzenia nowych danych w sytuacjach, gdy dalsze analizy przestają wnosić istotny postęp do rozwoju danej dziedziny badań^{(20, 21)}.

Wyniki te sugerują również, że jeżeli chcemy w pełni wykorzystać korzyści poznawcze płynące z obecnego zwrotu w kierunku otwartej nauki (open science), musimy świadomie uzupełniać przejrzystość metodologiczną równie wysokim poziomem przejrzystości teoretycznej.

Na zakończenie chcielibyśmy zwrócić uwagę, że wnioski przedstawione w niniejszym badaniu również zostały wyprowadzone na podstawie ogromnej liczby pozornie drobnych decyzji (meta)analitycznych, podobnych do tych, które zaobserwowaliśmy u analizowanych przez nas badaczy.

Dlatego zachęcamy czytelników do krytycznej analizy naszego procesu badawczego, korzystając z Aneksu SI, plików umożliwiających odtworzenie wszystkich analiz oraz internetowej aplikacji interaktywnej, które pozwalają w prosty sposób prześledzić i zbadać wszystkie dane stanowiące podstawę niniejszego badania.

Zobacz na: Badania recenzowane – Święty Graal prawdy?
Dlaczego większość opublikowanych wyników badań jest fałszywa – prof. John Ioannidis
O stronniczości badań i publikacji finansowanych przez przemysł farmaceutyczny
Metafizyka Arystotelesa: Materia, Forma i Przyczynowość