Mechaninis turkas gelbėti psichologijos tyrimus?
Tai yra tikra problema, nes, kaip pastebėjau dar 2010 m. Rugpjūčio mėn., Tiesiogine prasme yra tūkstančiai psichologijos studijų, pagrįstų ne daugiau kaip krūva kolegijų studentų iš vieno universiteto universiteto JAV. Nors jauni suaugusieji, lankantys koledžą, gali iš tikrųjų padėkite mums suprasti kai kuriuos žmogaus elgesio aspektus, jūs negalite tik manyti, kad elgesys, kurį pastebėjote tuose tyrimuose, taip pat taikomas ir 60 metų moterims ir vyrams.
Įeikite į „Amazon.com“ teikiamą „Mechanical Turk“ paslaugą. Ar technologijos gali padėti išspręsti problemą - surasti pakankamai žmonių, kurie labiau reprezentuotų gyventojus, ir tai padaryti ekonomiškai efektyviu būdu?
Pirmiausia tai gali padėti suprasti, kas yra „Mechanical Turk“. Tai internetinė prekyvietė, leidžianti pardavėjams pirkti žmogaus darbą už labai nebrangias išlaidas atliekant tam tikras internetines užduotis. „Svetainėje puikuojasi didelė ir įvairi darbo jėga, kurią sudaro daugiau nei 100 000 vartotojų iš daugiau nei 100 šalių ir kurie kasdien atlieka dešimtis tūkstančių užduočių“, - pažymi tyrėjai. Šie darbuotojai už kiekvieną užduotį moka po truputį, kartais net 1 centą. Užduotys gali skirtis ir gali būti įvairios, pradedant naršymu svetainėje ieškant klaidų, baigiant apklausomis.
Ak taip, pildyti apklausas. Daugybė psichologijos tyrimų yra pagrįsti žmonių apklausomis. Ar nebūtų malonu, jei galėtume priversti žmones - žmones, kurie nebuvo studentai, tai padaryti už mažiau nei 10 USD už apklausą ... Tarkim, 10 centų?
Buhrmester ir kt. (2011) nusprendė išsiaiškinti, ar tokie „Mechanical Turk“ žmonės užpildys apklausas tokiu būdu, kuris atitiktų žmones, kurių galite paprašyti padaryti ką nors panašaus akis į akį.
Pirmiausia tyrėjai ištyrė 3 006 „Mechanical Turk“ dalyvių demografinius rodiklius ir palygino juos su dideliu interneto pavyzdžiu, gautu ne iš „Mechanical Turk“. Jie nustatė, kad „Mechanical Turk“ (MTurk) dalyviai buvo įvairesni nei interneto, ir standartinės kolegijos studentų populiacijos.
Tada jie patikrino skirtingus kainų taškus (2, 10 ir 50 centų), kad užpildytų apklausų rinkinį, kuris užtruko skirtingą laiką (5, 10 ir 30 minučių). Tai, ką jie rado, neturėtų nustebinti tiems, kurie vartojo MTurk:
Šios analizės rodo, kad dalyvius galima įdarbinti greitai ir nebrangiai. Dalyvavimo rodikliai priklauso nuo kompensacijų sumų ir laiko įsipareigojimų, tačiau mūsų išvados rodo, kad per MTurk už paprastus dolerius įmanoma surinkti tinkamo dydžio mėginius. Net siūlydami tik 2 centus už 30 minučių užduotį, mes sukaupėme 25 dalyvius (maždaug per 5 valandas paskelbimo laiko). Be to, šiek tiek padidinę kompensaciją (pvz., Iki 50 centų), per mažiau nei 2 valandas paskelbimo pavyko gauti tokį patį dalyvių skaičių.
Tačiau ko verta pigi darbo jėga, jei ji nėra kokybiška ir neatitinka psichologijos metrikų, kurių reikia psichologijos tyrinėtojams?
Tyrėjai nustatė, kad net ir esant mažiausiam 2 centų kompensacijos lygiui, mokėjimo lygiai neturi įtakos duomenų kokybei. Tyrėjai gali sumokėti centus už tai, kad apklausos būtų baigtos, ir patikimai gauti geros kokybės duomenis.
Tyrėjai apskaičiavo vidutinius alfa patikimumo balus visais kompensavimo lygiais už šešis asmenybės klausimynus, kuriuos jie administravo internete. Jie nustatė, kad MTurk alfa balai buvo per dvi šimtąsias taškų, palyginti su tradicinio mėginio alfų tašku. Jie taip pat išbandė bandymų ir pakartotinių bandymų patikimumo balus ir nustatė, kad vidutinis r = 0,88, kai pakartotinis bandymas baigtas 60 procentų. Tai visi labai geri skaičiai ir juos galima palyginti su tradiciniais metodais.
Šio tyrimo rezultatas rodo, kad „Mechanical Turk“ yra patikima alternatyva kolegijų gyventojų naudojimui apklausos duomenims gauti - ir netgi gali būti geresnė alternatyva nei tradicinės interneto apklausos. Už tik centus žmonės užpildys net ilgus klausimynus, stengdamiesi padėti kitiems įgyvendinti savo projektus ir tyrimus. Nors norint patvirtinti šias išvadas reikia atlikti daugiau tyrimų, MTurk atrodo, kad tai yra rinka, į kurią turėtų atsižvelgti daugiau psichologijos tyrinėtojų rengiant kitą tyrimą.
Nuoroda
Buhrmesteris, M., Kwangas, T. ir Goslingas, S. D. (2011). „Amazon's Mechanical Turk“: naujas nebrangių, tačiau kokybiškų duomenų šaltinis? Psichologinio mokslo perspektyvos, 6 (1), 3-5.
Šiame straipsnyje pateikiamos partnerių nuorodos į „Amazon.com“, kur „Psych Central“ sumokama nedidelė komisinė suma, jei įsigyjama knyga. Dėkojame už palaikymą „Psych Central“!
