Kokiais tyrimais galite patikėti?
Kas tik skaito Psichologijos pasaulis reguliariai jau žino apie problemas daugelyje pramonės finansuojamų tyrimų. Tačiau šiame straipsnyje teigiama, kad problemos, susijusios su recenzuojamais tyrimais, yra kur kas gilesnės nei paprastas šališkumas siekiant pelno. Mokslininkai yra šališki daugeliu ir daugeliu būdų (ne tik dėl piniginės naudos). Ir šis šališkumas neišvengiamai pasireiškia jų atliekamame darbe - moksliniuose tyrimuose.
Tai nėra naujas manęs mušamas būgnas - aš kalbėjau apie tyrėjų šališkumą 2007 m. Ir apie tai, kaip tyrėjai kuria tyrimus, norėdami rasti konkrečius rezultatus (šiame pavyzdyje dalyvavo tyrėjai, kurie ieškodami savižudybės metodų rado savižudiškų metodų svetaines). „Google“). Mes pastebėjome, kaip praktiškai kiekvienas tyrimas žurnaluose, pvz Psichologinis mokslas pasikliaukite beveik vien kolegijų studentais, surinktais iš vieno miestelio kaip subjektais - reikšmingas apribojimas, retai minimas pačiuose tyrimuose.
Tačiau čia yra tikrasis nerimą keliantis aspektas - tokio pobūdžio šališki tyrimai pasirodo įvairiausiuose žurnaluose. JAMA, NEJM ir BMJ nėra apsaugota nuo neskelbiamų, ydingų medicinos ir psichologijos tyrimų paskelbimo. Mes galvojame apie žurnalo „garbingumą“ kaip apie tam tikrą vartų srities vaidmens ženklą - kad tyrimai, pasirodantys prestižiškiausiuose žurnaluose, turi būti iš esmės pagrįsti.
Bet tai tiesiog netiesa. Imperatorius yra ne tik nuogas - jo pavaldiniai paslėpė drabužius, kad galėtų tęsti savo karjerą.
Publikuotų šališkų tyrimų klausimas pirmą kartą atsidūrė dar 2004 m., Kai valstybės generaliniai prokurorai pateikė ieškinį „GlaxoSmithKline“ dėl „Paxil“ tyrimų duomenų slėpimo. Nuo to laiko paaiškėjo dešimtys tyrimų, o vėliau buvo paskelbti kiti tyrimai, rodantys, kaip farmacijos kompanijos reguliariai slėpė atitinkamus tyrimų duomenis. Šie duomenys paprastai rodo, kad tiriamas vaistas, palyginti su cukraus tabletėmis, nebuvo veiksmingas gydant bet kokį sutrikimą, kuriam jis buvo skirtas. (Tokiuose dienoraščiuose kaip Klinikinė psichologija ir psichiatrija: iš arčiau ir Carlat psichiatrijos tinklaraštyje pateikiama daugiau informacijos apie šiuos tyrimus.)
Bet kaip dėl kitų rūšių šališkumo? Ar mus domina tik tyrimai, kuriuose šališkumas yra toks akivaizdus, ar neturėtume jaudintis dėl bet kokio šališkumo, kuris gali turėti įtakos rezultatų patikimumui?
Atsakymas, žinoma, turėtume domėtis visomis šališkumo formomis. Viskas, kas gali turėti įtakos galutiniams tyrimo rezultatams, reiškia, kad gali kilti abejonių dėl tyrimo išvadų.
Johannas Ioannidis, Joaninos universiteto profesorius, susidomėjo šiuo klausimu atliekant medicininius tyrimus. Taigi jis subūrė ekspertų grupę iš tyrėjų ir statistikų, kad įsigilintų ir pamatytų, kokia bloga buvo problema. Tai, ką jis rado, nestebino tyrinėtojų, tačiau nustebins daugumą pasauliečių -
Neapsikentęs jis pradėjo ieškoti konkrečių būdų, kuriais studijos klostėsi neteisingai. Neilgai trukus jis atrado, kad padarytų klaidų asortimentas stebina: nuo kokių klausimų iškėlė tyrėjai, iki to, kaip jie sudarė tyrimus, kuriems pacientams jie priėmė tyrimus, kuriems matavimams ir kaip analizavo duomenis , kaip jie pristatė savo rezultatus, kaip tam tikri tyrimai turėjo būti paskelbti medicinos žurnaluose. […]
„Studijos buvo šališkos“, - sako jis. „Kartais jie buvo atvirai šališki. Kartais buvo sunku įžvelgti šališkumą, bet jis buvo “. Mokslininkai ėmėsi studijų, norėdami tam tikrų rezultatų, ir, štai, jie juos gaudavo. Mes manome, kad mokslinis procesas yra objektyvus, griežtas ir net negailestingas atskiriant tai, kas yra tiesa, nuo to, ko mes tik norime būti tikri, tačiau iš tikrųjų lengva manipuliuoti rezultatais, net ir netyčia ar nesąmoningai.
„Kiekviename proceso etape yra kur iškraipyti rezultatus, būdas pareikšti tvirtesnę pretenziją arba pasirinkti, kas bus daroma“, - sako Ioannidis. „Kyla intelektinis interesų konfliktas, kuris spaudžia tyrėjus rasti viską, kas greičiausiai juos finansuos.“
Ioannadis sudarė sudėtingą matematinį modelį, kuris, remiantis visais šiais kintamaisiais, numatytų, kiek tyrimų gali būti trūkumų. Jo modelis numatė, kad „80 procentų neatsitiktinių imčių tyrimų (neabejotinai labiausiai paplitusio tipo [ypač psichologinių tyrimų metu]) [pasirodys] neteisingi, kaip ir 25 procentai tariamai aukso standarto atsitiktinių imčių tyrimų ir net 10 procentų platinos standarto didelių atsitiktinių imčių tyrimų “.
Tada jis išbandė šį modelį su 49 tyrimais, kurių metu per pastaruosius 13 metų buvo atlikta labiausiai įvertinta medicininių tyrimų išvados. Tai buvo dažniausiai cituojamuose medicinos žurnaluose ir jie patys buvo dažniausiai cituojami straipsniai.
Iš 49 straipsnių 45 teigė, kad atskleidė veiksmingas intervencijas. Trisdešimt keturi iš šių teiginių buvo iš naujo išbandyti, o 14 iš jų arba 41 proc. Buvo įtikinamai įrodyta, kad jie yra neteisingi arba gerokai perdėti. Jei tarp trečdalio ir pusės populiariausių medicinos tyrimų pasirodė nepatikimi, problemos mastas ir poveikis buvo neginčijami. […]
Iš tų 45 cituojamų tyrimų, į kuriuos daugiausia dėmesio skyrė Ioannidis, 11 niekada nebuvo pakartotinai išbandyti. Galbūt dar blogiau, Ioannidis nustatė, kad net ir tada, kai tyrimo klaida išlieka, ji paprastai išlieka metus ar net dešimtmečius. Jis apžvelgė tris žinomus devintojo ir dešimto dešimtmečių sveikatos tyrimus, kurie vėliau buvo pagrįstai paneigti, ir atrado, kad tyrėjai toliau originalius rezultatus nurodė kaip teisingus dažniau nei kaip ydingus - vienu atveju mažiausiai 12 metų po rezultatų diskreditavimo .
Tiek apie mokslininkus, kurie iš naujo patikrina kitų paskelbtus rezultatus - tai vienintelis galutinis būdas kovoti su šališkumu. Kaip beveik 25 procentai dažniausiai cituojamų medicinos tyrimų per pastaruosius 13 metų niekada nebuvo iš naujo patikrinti? Stulbinantis.
Daugelio iš mūsų rezultatas yra tas, kad beveik neįmanoma niekam pasakyti, ar tam tikri tyrimai tikrai rodo teigiamus, naujus ir tvirtus rezultatus. Neišsamiai analizuojant tyrimą - ir visus tyrimo pirmtakus - naujų tyrimų įtraukimas į kontekstą yra ilgas ir sunkus uždavinys. Be to, Ioannidžio modelis rodo, kad didžioji dauguma psichologinių tyrimų - galbūt net 80 procentų - greičiausiai yra neteisingi. Čia tikrai nėra sidabrinio pamušalo.
Išskyrus galbūt tai, kad dirba tokios tyrimų grupės kaip Ioannidis, kurios siekia parodyti, kaip šališkumas gali prasiskverbti net į „aukso standarto“ tyrimus.
Pokyčiai čia labai priklauso nuo to, ar atskiri tyrėjai sužino apie šias tendencijas ir daug daugiau dirba, kad užtikrintų, jog jų nėra. Tačiau nė vienam vartų vartininkui tikrinant tyrimo plano ar statistinių metodų, nėra daug paskatų keistis. Finansinės ir karjeros paskatos mokslininkams ir toliau skelbti taip, kaip jie tradiciškai turi, kad išlaikytų savo akademinę ir profesinę reputaciją, tebėra nepaprastai stipri.
Visas straipsnis yra vertas jūsų laiko: melas, prakeiktas melas ir medicinos mokslas
Nors tai nėra idealu, čia yra mūsų prieš keletą metų buvęs pradininkas apie tai, kaip pastebėti abejotinus tyrimus.
