Oi! Psichologiniame moksle vis dėlto nėra „pakartojamumo krizės“

Turėdami mokslinių tyrimų projektą „Atviras mokslo bendradarbiavimas“ (OSC), kuriame dalyvauja 270 mokslininkų, dirbančių su proveržio mokslu, tikitės, kad kai kurie pagrindai bus teisingi. Kaip ir sukurti atsitiktinių imčių tyrimą, kuris būtų metodologiškai pagrįstas ir galėtų atsilaikyti prieš jų bendraamžių patikrinimą.

Tačiau atrodo, kad 2015 m. Rugpjūčio mėnesį 44 tyrėjų paskelbtas novatoriškas straipsnis „Psichologijos mokslo atkartojamumo įvertinimas“ (Nosek ir kt., 2015), atrodo, turėjo keletą reikšmingų trūkumų. Naujas straipsnis rodo, kad iš tikrųjų psichologijoje nėra „pakartojamumo krizės“.

Keturi mokslininkai iš Harvardo universiteto ir Virdžinijos universiteto (Gilbert et al., 2016) paskelbė savo išvadas Mokslas (jų psichologijos replikacijų svetainėje yra visi duomenys ir medžiaga). Jie mano, kad pradiniame tyrime rado tris pagrindines statistines klaidas, kurios kelia rimtų abejonių dėl išvadų. Naujieji tyrėjai teigia: „Iš tiesų įrodymai atitinka priešingą išvadą - kad psichologinio mokslo atkuriamumas yra gana aukštas ir, tiesą sakant, statistiškai neatskiriamas nuo 100%“.

Oi.

Originaliame tyrime (Nosek et al., 2015) bandyta atkartoti 100 eksperimentų, paskelbtų 2008 m. Trijuose aukšto rango psichologijos žurnaluose, išvadas. Pirmoji tyrimo kritika yra ta, kad tai nebuvo atsitiktinės atrankos psichologijos studijos. Vietoj to, „Nosek“ grupė apsiribojo tik trijų žurnalų, atstovaujančių menkoms dviem psichologijos disciplinoms, pasirinkimu, palikdama tokias pagrindines sritis kaip vystymosi ir klinikinė psichologija. Tada Nosekas ir kt. dirbo sudėtingu savavališkų taisyklių ir kriterijų rinkiniu, kuris iš tikrųjų atmetė daugiau nei 77 procentus tyrimų iš trijų jų nagrinėtų žurnalų.

Tyrimai, kurie prasideda šališku pavyzdžiu, turi problemų. Nepradėdami atsitiktinės imties, tyrėjai jau padėjo nustatyti jų nuviliančių išvadų etapą.

Pakeiskime (reikšmingai) tyrimus, kuriuos kartojame

Dar blogiau, nei pradėti nuo šališkos, neatsitiktinės imties, buvo tai, kaip tyrėjai iš tikrųjų atliko replikacijas. Pirma, mokslininkai pakvietė „tam tikras komandas pakartoti tam tikrus tyrimus arba leido komandoms pasirinkti tyrimus, kuriuos jie norėjo pakartoti“. Užuot atsitiktinai priskyrę tyrėjus tyrimams, kurie turi būti pakartoti, jie leido tyrėjams pasirinkti - įnešdami kiekvieno tyrėjo šališkumą, galbūt norėdami pasirinkti tyrimus, kurie, jų manymu, greičiausiai bus pakartoti.

Nauji tyrimai kartais gerokai skyrėsi nuo senų tyrimų, kuriuos bandė pakartoti. Štai tik vienas (iš bent keliolikos) pavyzdžių, kaip pakartotas tyrimas sukėlė reikšmingų komplikacijų:

Kito tyrimo metu Stanfordo universiteto baltieji studentai žiūrėjo vaizdo įrašą, kuriame dar keturi Stanfordo studentai aptarė priėmimo politiką savo universitete (Crosby, Monin ir Richardson, 2008). Trys diskusijos dalyviai buvo balti ir vienas juodas. Diskusijos metu vienas iš baltų studentų pateikė įžeidžiančius komentarus apie teigiamus veiksmus, o mokslininkai nustatė, kad stebėtojai žymiai ilgiau žiūrėjo į juodaodį studentą, kai tikėjo, kad jis girdi kitų komentarus, nei tada, kai jis negalėjo. Nors replikacijos tyrimo dalyviai buvo Amsterdamo universiteto studentai, jie žiūrėjo tą patį vaizdo įrašą, kuriame Stanfordo studentai kalbėjo (anglų kalba!) Apie Stanfordo priėmimo politiką.

Ar Amsterdamo universiteto studentai galėtų iš tikrųjų suprasti, koks buvo teigiamas veiksmas Amerikoje, atsižvelgiant į reikšmingus kultūrinius skirtumus tarp Amerikos ir Amsterdamo visuomenės? Stebina tai, kad replikaciją atlikę mokslininkai teigė, kad tyrimai buvo „praktiškai identiški“ (ir, žinoma, jie yra šališki taip sakydami, nes jų tyrimas). Vis dėlto pradiniai tyrėjai, pripažinę reikšmingus kultūrinius skirtumus abiejose populiacijose, nepritarė naujam replikacijos tyrimui.

Gilbertas ir jo kolegos nustatė tokio pobūdžio problemą ne tik viename, bet ir daugelyje replikacijos tyrimų. Atrodo keista, kad Nosekas ir kt. jautė, kad tokie nenuoseklumai neturės įtakos tyrimo kokybei (arba „ištikimybei“, kaip tai teigia tyrėjai). Tačiau akivaizdu, kad tai yra reikšmingi kokybiniai skirtumai, kurie, be abejo, turės įtakos tyrimo pakartojamumui.

Mums reikia daugiau energijos!

Tyrimas gali stovėti arba nukristi į jo dizainą. Pagrindinė tyrimo tyrimo dalis yra jos galia. Replikacijos tyrime buvo naudojamas dizainas, kuris greičiausiai buvo pasmerktas žlugti nuo pat pradžių. Mažos galios projektai negali pasirinkti efektų dydžių, kuriuos gali atlikti didesnės galios tyrimai. Pasirinkdami mažos galios dizainą, Nosekas ir jo kolegos praktiškai užtikrino savo neigiamas išvadas, kol nesurinko vieno duomenų taško.

Nosekas ir jo kolegos pateikė keletą šiaudų argumentų dėl dizaino pasirinkimo, kuriuos Gilbertas ir kt. nusišovė vienas po kito savo atsakyme. Gilberto ir jo kolegų išvada?

Apibendrinant galima teigti, kad nė vienas [replikacijos tyrinėtojų] argumentas neginčija fakto, kad [naujojo tyrimo] autoriai naudojo mažai galingą dizainą ir kad (kaip rodo mūsų ML2014 duomenų analizės) tai greičiausiai lėmė bendrą nuvertinti tikrąjį jų duomenų replikacijos greitį.

Kiti psichologijos tyrinėtojai dar 2014 m. Atliko panašų replikacijos eksperimentą (Klein ir kt., 2014). Naudodami didelės galios dizainą, jie nustatė, kad dauguma jų ištirtų psichologijos tyrimų buvo pakartoti - 11 iš 13 eksperimentų buvo pakartoti. Norėdami išbandyti Nosek ir kt. Mažesnio galingumo dizaino poveikį, Gilbert ir kt. apskaičiuota, kad 2014 m. tyrimo replikacijos rodiklis sumažėjo nuo 85 iki 34 proc. Reikšmingas ir daug pasakantis skirtumas.

Taigi, ką mes iš tikrųjų žinome apie psichologinio mokslo atkuriamumą?

Daugiau nei mes manėme. Atsižvelgiant į Gilberto ir kt. Kritiką ir baisų pirminių tyrėjų atsakymą, labiau tikėtina, kad Nosekas ir kt. tyrimas buvo kritiškai ydingas.

Atrodo, kad psichologinį mokslą galima atkurti labiau, nei manėme - geros naujienos tiek mokslui, tiek psichologijai.

Nuorodos

Gilbert, D., King, G., Pettigrew, S. & Wilson, T. (2016). Komentuokite „Psichologijos mokslo atkuriamumo įvertinimas“. Mokslas, 351, 1037a – 1037b.

Gilbert ir kt. (2016). Atsakymas į mūsų techninio komentaro „Psichologijos mokslo atkartojamumo įvertinimas“ atsakymą.

Klein, RA, Ratliff, M Vianello, RB Adams Jr, Š Bahník, MJ Bernstein ir kt. (2014). Pakartojamumo variantų tyrimas: „Daug laboratorijų“ replikacijos projektas. Socialinė psichologija, 45 m. 142-152

Nosekas ir kt. & Atviras mokslo bendradarbiavimas. (2015). Įvertinant psichologinio mokslo atkuriamumą. Mokslas, 349. DOI: 10.1126 / mokslas.aac4716

Nosekas ir kt. (2016). Atsakymas į komentarą „Psichologijos mokslo atkuriamumo įvertinimas“. Mokslas, 351, 1037. DOI: 10.1126 / mokslas.aad9163