Ar mokslas miręs? Žodžiu: Ne
Tačiau Lehreris nepastebėjo, kad dauguma tyrinėtojų jau žino apie jo aprašytus trūkumus ir kruopščiai stengiasi sumažinti šių problemų poveikį.
Mokslinis metodas nėra sulaužytas. Tai, ką apibūdina Lehreris, yra tiesiog mokslas darbe - ir darbas.
Geriausias atsakymas į šį rašinį yra „ScienceBlogs“ rašytojo PZ Myerso teigimu, Mokslas nėra miręs. Šiame paneigime Myersas nurodo pagrindines mokslo problemas, kai jis negali pakartoti ankstesnių išvadų:
- Regresija į vidurkį: didėjant duomenų taškų skaičiui, mes tikimės, kad vidutinės vertės sugrįš į tikrąją vidurkį ... ir kadangi dažnai pradinis darbas atliekamas remiantis daug žadančiais ankstyvais rezultatais, tikimės, kad daugiau duomenų atsitiktinai išlygins reikšmingas ankstyvas rezultatas.
- Failo stalčiaus efektas: nereikšmingus rezultatus sunku paskelbti ir jie gali būti laikomi spintelėje. Tačiau dėl to įsigalėjus priešingi rezultatai tampa įdomesni ir skelbiami.
- Tyrėjo šališkumas: sunku išlaikyti mokslinę aistrą. Mes visi norėtume, kad mūsų hipotezės būtų patvirtintos, todėl esame linkę sąmoningai ar nesąmoningai pasirinkti rezultatus, kurie palaiko mūsų pažiūras.
- Komercinis šališkumas: vaistų kompanijos nori užsidirbti pinigų. Jie gali užsidirbti pinigų iš placebo, jei tam yra tam tikra statistinė parama; neabejotinai yra tendencija išnaudoti statistinius rodiklius siekiant pelno.
- Populiacijos skirtumai: Sėkmė gerai apibrėžtoje populiacijos dalyje gali sukelti šiokį tokį šliaužimą: jei vaistas padeda šiai grupei su aiškiai apibrėžtais simptomais, galbūt turėtume išbandyti tai kitai grupei su ribiniais simptomais. Ir ne ... bet šie skaičiai vis tiek bus naudojami vertinant bendrą jo efektyvumą.
- Paprastas šansas: tai sunku rasti žmonėms. Bet jei kažkas yra reikšmingas p = 0,05 lygiu, tai vis tiek reiškia, kad 1 iš 20 eksperimentų su visiškai nenaudingu vaistu vis tiek turės reikšmingą poveikį.
- Statistinė žvejyba: aš nekenčiu šio ir matau visą laiką. Suplanuotas eksperimentas reikšmingų rezultatų neparodė, todėl duomenys yra pervarstomi, bet kokia reikšminga koreliacija paimama ir paskelbiama taip, lyg būtų numatyta. Žr. Ankstesnį paaiškinimą. Jei duomenų rinkinys yra pakankamai sudėtingas, visada atsitiktinai kažkur rasite koreliaciją.
Skaičius 1 paaiškina daugybę problemų, kurias šiandien randame moksle, ypač psichologijoje. Jūs žinote daugumą tų eksperimentų, apie kuriuos skaitėte Psichologinis mokslas, pavyzdinį psichologų mokslo asociacijos leidinį? Jie šūdas. Tai yra N = 20 eksperimentų, atliktų su mažais, vienalyčiais pavyzdžiais, daugiausia iš vidurio vakarų universitetų Kaukazo kolegijų studentų. Dauguma jų niekada nėra pakartojami, o vis dar mažiau pakartojama imties dydžiais, kurie, tikėtina, parodytų, kad pirminiai rezultatai buvo ne kas kita, o tik statistiniai duomenys.
Tyrėjai tai jau žino, bet gyvena pagal visai kitokį taisyklių rinkinį nei jūs ar aš. Jų pragyvenimas priklauso nuo to, ar jie tęs gerus, publikuotinus tyrimus. Jei jie nustos atlikti šį tyrimą (arba negalės jo paskelbti recenzuojamame žurnale), jiems gresia didesnė rizika prarasti darbą. Akademijoje tai vadinama „paskelbti ar žūti“, ir tai yra reali motyvacija skelbti bet kokius tyrimus, net jei žinote, kad greičiausiai jų rezultatai nebus pakartojami. Žr. 3 numerį aukščiau.
Galiausiai, aš matau tiek daug 7 apžvalgų tyrimų, kuriuos apžvelgiu, tai beveik gėda. Mokslinis metodas gerai ir patikimai veikia tik tada, kai iš anksto suformuluojate hipotezes, palenkiate subjektus rinkti duomenis ir tada analizuojate tuos duomenis pagal pradėtas hipotezes. Jei nuspręsite pradėti keisti hipotezę, kad ji atitiktų duomenis, arba atliktumėte statistinius testus, į kuriuos nebesitikėjote, sutepate savo išvadas. Pradedate žvejybos ekspediciją, kurią atliko kiekvienas tyrėjas. Bet vien todėl, kad visi tai padarė, reiškia, kad tai yra geras ar etiškas elgesys.
Problema ta, kad tyrimai yra daug laiko reikalaujantys ir dažnai brangūs. Jei bandymo metu tiesiog paleidote 100 tiriamųjų ir neradote nieko reikšmingo (pagal jūsų hipotezes), vargu ar tikėtina, kad tas tyrimas bus paskelbtas, bet jūs tiesiog iššvaistėte mėnesius (ar net metus) savo profesinio gyvenimo ir $ X nuo jūsų visada ribotas tyrimų biudžetas.
Jei nematote, kaip tai gali sukelti mažiau optimalių tyrimų rezultatų paskelbimą, galite būti šiek tiek akli pagrindinei žmogaus psichologijai ir motyvacijai. Kadangi tyrėjai nėra superžmonės - jie turi tuos pačius trūkumus, šališkumą ir motyvaciją kaip ir visi kiti. Mokslinis metodas, kai jo griežtai laikomasi, turėtų tai atspindėti. Problema ta, kad niekas iš tikrųjų nestebi tyrėjų, kad užtikrintų, jog jie ja vadovaujasi, ir nėra jokios paskatos tai daryti.
Baigsiu šiuo pastebėjimu, kurį vėl pateikė PZ Myersas,
Viskas, ką šis šurmulys iš tikrųjų sako [- s] kartais hipotezės yra neteisingos, ir kartais, jei hipotezės palaikymas pagrįstas silpnais įrodymais arba labai išvestine sudėtingo duomenų rinkinio interpretacija, gali prireikti daug laiko teisingas atsakymas. Taigi? Tai nėra mokslo nesėkmė, nebent kažkaip tikiesi visko patenkinimo ar kiekvienos puoselėtos idėjos patvirtinimo.
Amen.
Kito nuomonė apie Lehrerio esė
Mokslas nėra miręs - PZ Myersas
Pagiriant mokslo klaidą - George'as Musseris
Ar mokslinio metodo problema yra žmonėms? - Čarlis Petitas
Tiesa, mes abejosime: ar „nuosmukio efektas“ reiškia, kad visas mokslas yra „tiesa“? - Johnas Horganas
Paslaptingo nuosmukio efektas - Jonah Lehrer
