Tegul duomenys kalba? Ne, ne visada
Gerbiamas Ajovos universiteto profesorius ir tyrėjas Frankas L. Schmidtas šeštadienį 20-ajame Psichologijos mokslo asociacijos posėdyje skaitė pranešimą apie tai, kaip gali meluoti moksliniai duomenys. Taip, teisingi, empiriniai duomenys - net ir tie, kurie skelbiami gerbiamuose recenzuojamuose žurnaluose - reguliariai nesako tiesos.
Schmidto pokalbis buvo gerai lankomas vienoje didžiausių „Sheraton Hotel and Towers“ salių Čikagoje, kur vyksta suvažiavimas. Nors pristatymas nevienodas, Schmidto pagrindiniai dalykai pasitaikė.
Vienas iš jų yra tas, kad naivus kelių duomenų rinkinių aiškinimas dažnai yra teisingiausias - „Occam“ skustuvas („paprasčiausias sprendimas dažniausiai yra geriausias atsakymas“). Schmidtas teigia, kad atliekant gerus tyrimus randama paprasta struktūra, pagrįsta sudėtingais duomenimis.
Jis apibendrino, kad yra dvi pagrindinės priežastys, kodėl duomenys gali „meluoti“ tyrimuose - imčių klaidos ir matavimo klaidos.
Didžiausia Schmidto kritika buvo nukreipta į psichologinio mokslo fetišą su reikšmingumo testais - pvz., Statistiniu reikšmingumu. Jis nori, kad psichologija nutoltų nuo savo priklausomybės ir susižavėjimo statistiniu reikšmingumu, nes tai yra silpna, šališkas matas, iš esmės mažai pasakantis apie pagrindinius duomenis ar hipotezę.
Schmidtas aprašė šešis reikšmingumo testavimo mitus. Vienas mitas buvo tas, kad gera p reikšmė yra reikšmingumo rodiklis, kai tai iš tikrųjų tik rodo tyrimo galios lygį. Kitas dalykas buvo tas, kad jei nebuvo rasta reikšmingumo, tai reiškia, kad tarp kintamųjų nebuvo rasta ryšio (tiesą sakant, tai gali reikšti paprasčiausiai tai, kad tyrimui nepakako galios).
Schmidto sprendimai yra paprasti - pranešti apie efektų dydžius (taškų įvertinimus) ir pasikliautinus intervalus, o reikšmingumo testavimas apskritai neakcentuojamas.
Jis baigė naujai atrastą metaanalizių akcentavimą atliekant psichologinius tyrimus, specialiai iškviesdamas žurnalą Psichologinis biuletenis. Dar nepaskelbtame tyrime jis ir kiti tyrėjai išnagrinėjo visas metaanalizes, paskelbtas Psichologinis biuletenis nuo 1978-2006 m. - iš viso 199 studijos.
Tyrėjai nustatė, kad 65% šių tirtų tyrimų metaanalizei naudojo „fiksuoto poveikio“ modelį. Schmidtas teigė, kad fiksuoto poveikio modeliuose duomenų ryšiai yra nepakankamai įvertinti (net 50%) ir kad tyrėjai pervertina, kiek jie tikslūs (kiek mažai to įvertinimo klaidų). Vietoj to, Schmidtas teikia pirmenybę „atsitiktinių efektų“ modeliams, kurie geriau atspindi šiuos variantus.
Jis taip pat pažymėjo, kad 90% ištirtų tyrimų nebuvo atlikta matavimo klaidų korekcija - viena iš pagrindinių priežasčių, dėl kurios jis nurodo, kad psichologiniuose tyrimuose duomenys gali „meluoti“.
Atsižvelgdamas į šią analizę, Schmidtas siūlo, kad labai daug metaanalizių, paskelbtų recenzuojamuose žurnaluose, padarytų neteisingas ar klaidingas išvadas.
Deja, vargu ar ši padėtis greitai pasikeis. Nors daugelis psichologinių žurnalų priėmė griežtesnius mokslinių tyrimų skelbimo standartus, kurie geriau laikosi Schmidto pasiūlymų, daugelis vis dar neketina ir, atrodo, neketina keistis.
Paprastam žmogui tai reiškia, kad negalima pasitikėti kiekvienu paskelbtu tyrimu vien todėl, kad jis pateikiamas recenzuojamame žurnale, kuris žiniasklaidoje paskelbiamas kaip faktas per pranešimą spaudai. Tokie faktai yra kalieji, kintantys ir klaidingi. Tik atidžiai perskaitę ir išanalizavę tokius tyrimus galime suprasti jų pateikiamų duomenų vertę.
