Ką reiškia reprodukcijos trūkumas atliekant psichologinius tyrimus?

Praėjusią savaitę buvo pasiekta didžiausių pasaulyje pastangų atkurti psichologijos tyrimų rezultatus rezultatų. Briano Noseko „Reproducibility Project“ apžvelgė 100 psichologijos eksperimentų rezultatų, paskelbtų 2008 m., Tik iš trijų pagrindinių psichologijos žurnalų. Ji bandė atkurti tyrimą, kad sužinotų, kokius rezultatus jie gaus.

Idealiame pasaulyje galima pagalvoti, kad kažkas, atlikus 75 ar net 80 procentų tyrimų, turėjo atkurti panašius rezultatus, tiesa? Nes naujus tyrimus tyrėjai, kurie atidžiai sekė originalius tyrėjų metodus, tiesiog dar kartą atliko su kita populiacija. Daugeliu atvejų tyrėjai taip pat palaikė tiesioginius ryšius ir bendradarbiavo su pradiniais tyrėjais.

Tačiau radinys suko keliolika skirtingų būdų, nei paskelbta praėjusią savaitę Mokslas žurnale, Projektas nepasiekė beveik 75 proc. Tik 36 procentai pakartojimų davė reikšmingų rezultatų, palyginti su 97 procentais iš 100 pradinių tyrimų.

Ką tai reiškia psichologijai?

Nepaisant to, kad kai kurie bandė pasukti šią išvadą kaip netikėtą ar „ne taip blogą, kaip galėjo būti“, tai psichologiniam mokslui nieko gero nežada. Kiekvieną mėnesį paskelbiama šimtai naujų psichologijos studijų. Trumpai tariant, ši išvada reiškia, kad daugumos tų tyrimų išvadomis negalima pasitikėti. Iš tikrųjų jie yra melagingi.

Nuo Atlanto aprėptis:

„Sėkmės procentas yra mažesnis, nei manyčiau“, - sako Johnas Ioannidis iš Stanfordo universiteto, kurio klasikinis teorinis darbas Kodėl dauguma paskelbtų tyrimų išvadų yra klaidingos buvo žaibolaidis atkuriamam judėjimui.

„Jaučiuosi blogai matydamas, kad kai kurios mano prognozės pasitvirtino. Norėčiau, kad būtų įrodyta, jog jie neteisingi “.

Kita bloga naujojo tyrimo išvada yra ta, kad išmatuoti efektų dydžiai paprastai buvo 50 procentų mažesni nei nustatė pirminiai tyrėjai. Tai reiškia, kad net kai naujieji tyrėjai atkartojo rezultatus, tiriamų kintamųjų poveikis nebuvo beveik toks svarbus, kaip manyta iš pradžių.

Blogos reprodukcijos priežastys atliekant psichologinius tyrimus

Psichologiniai tyrimai rodo keliolika skirtingų šio prasto rodymo priežasčių. Tačiau prieš peržiūrint kai kuriuos iš jų, tai yra šaltas realybės vandens purslas, atsižvelgiant į vieno tyrimo rezultatus ir iš jų apibendrinant. Arba dar blogiau - tikėti kažkuo yra tiesa, kai tai dar turi įrodyti ne vienas tyrimas.

Jei tyrimas nėra dvigubai aklas - kaip dauguma jų nebuvo - pačių tyrėjų šališkumas gali subtiliai paveikti duomenų rinkimą ar analizavimą. Jei tyrėjas ką tik praleido 8 ar 18 mėnesių rinkdamas duomenis tik tam, kad nerastų reikšmingų rezultatų, jie gali vykti į duomenų žvejybos ekspediciją, kad surastų kokį nors kitą duomenų ryšį, kurį gali paskelbti. 1 Tyrėjai tada pakeičia savo pradines hipotezes, kad atitiktų duomenis iš tikrųjų rasta (kadangi dauguma tyrinėtojų vis dar iš anksto neregistruoja savo tyrimų stebėjimo tarnyboje - nors tai pamažu keičiasi).

Kiti teigė, kad galbūt „netikėtumas“ yra dar vienas paaiškinimas - kad žurnalai šiandien daugiausia dėmesio skiria stebėtinų išvadų paskelbimui, nes jie yra populiaresni ir įdomesni skaitytojams. Pridėjus regresijos galimybę prie vidurkio - kad kintamieji gali būti kraštutiniausi pirmą kartą matuojant, bet mažiau ekstremalūs, kai matuojami antrą ar trečią kartą, siūloma, kad šie du veiksniai kartu skatintų skelbti savaime sunkius tyrimus atgaminti.

Ką tai reiškia psichologiniam mokslui?

Žmogaus prigimtis yra be galo sudėtinga. Psichologinis mokslas bando dekonstruoti žmogaus elgesį ir emocijas į mažus gabalėlius, kad geriau suprastų visumą. Tačiau jei tyrimais nepavyksta atkurti mokslinių tyrimų, tai rodo, kad didžiąja dalimi to, ką ši sritis kasmet skelbia, taip pat negalima pasitikėti.

Tačiau mes taip pat nežinome daugumos mokslo reprodukcinės statistikos, nes nieko panašaus į Atkuriamumo projektą niekada nebuvo bandyta atlikti kitose srityse. Gali būti, kad tai yda, kurią patyrė dauguma mokslų, arba ji gali būti ta, kuri labiau nei kiti mokslai veikia socialinius mokslus.

Tačiau trumpuoju laikotarpiu tai pabrėžia tai, ką visada sakiau - psichologinio mokslo atradimas nėra tas, ant kurio galima pakabinti skrybėlę, kol jo nepadarys kitas tyrėjas. Teigiama, kad radiniai, kuriuos galima atkurti, yra „tvirti“, todėl jais pasitikima.

Tokios informacijos ieškokite vertindami ar skaitydami naujienų straipsnius, pagrįstus nauju tyrimu. Nors tyrimai nėra tokie seksualūs, kaip nauji, „stebinantys“ atradimai, tyrimai, kurie patvirtina arba kelia abejonių tuo, ką jau manome žinantys, yra tokie pat svarbūs.

Daugiau informacijos…

Atlantas: kiek patikimi yra psichologijos tyrimai?

„The Guardian“: tyrimas pateikia niūrų sprendimą dėl psichologinių eksperimentų rezultatų pagrįstumo

Mindhacksas: Nevadink to sugrįžimu

Nuoroda

Atviras mokslo bendradarbiavimas. (2015). Įvertinant psichologinio mokslo atkuriamumą. Mokslas, 28.

Atkuriamumo projektas: psichologija - pirminiai duomenys

Išnašos:

1. Kitu atveju visas laikas ir pinigai buvo švaistomi, nes nedaugelis tyrinėtojų gali arba nori paskelbti niekinius rezultatus. [↩]
2. Tai iš tikrųjų kelia abejonių dėl plačių autorių apibendrinimų apie jų išvadų pritaikomumą, rasti beveik kiekviename naujausių psichologijos tyrimų skyriuje Diskusijos. [↩]