Vakarėlių ir mokyklų reitingai yra šališkas, save vykdantis pranašavimas?
Prinstono apžvalga skelbia kasmetinius „Best of…“ kolegijų sąrašus, pagrįstus dabar kiekvienos kolegijos studentų apklausa internete. Tyrimo procesą jie apibūdina taip:
„Princeton Review“ apklausa studentams užduoda 80 klausimų apie jų mokyklos akademiką / administraciją, miestelio gyvenimą, studentų organizaciją ir save. Šio leidimo reitingų „Tallies“ duomenys pagrįsti 120 000 mokinių (apie 325 viename miestelyje) apklausomis 366 knygoje esančiose mokyklose (ne visose tautos mokyklose) 2006–2007 ir (arba) dvejus ankstesnius mokslo metus.
Viskas skamba gerai ir gerai, kol neperskaitysite smulkmenos:
Mūsų tyrimas yra kokybinis ir anekdotinis, o ne kiekybinis. Siekdami apsisaugoti nuo nerašymo, neatitinkančio konkretaus koledžo, mes kiekvienai mokyklai siunčiame savo administracinį kontaktą profilio, kurį ketiname paskelbti, kopiją su plačia galimybe atsakyti pataisymais, komentarais ir (arba) tiesioginiais žodžiais. prieštaravimai. Kiekvienu atveju, kai gauname prašymus dėl pakeitimų, imamės kruopščių priemonių, kad peržiūrėtume mokyklos pasiūlymus pagal surinktus mokinių apklausos duomenis ir prireikus atliktume atitinkamus pakeitimus.
Mums patraukliausia tai, kiek reprezentatyvūs yra mūsų tyrimo rezultatai: Mes prašome studentų, dalyvavusių apklausoje, ją baigus, peržiūrėti informaciją, kurią mes paskelbėme apie jų mokyklą praėjusiais metais, ir įvertinti, ar ji tiksliai ir teisingai. galiojimas. Metai po metų sulaukėme aukštų įvertinimų: Šiemet 81 proc. Studentų teigė, kad buvome teisūs.
Taigi iš esmės jie pripažįsta savo apklausos duomenis, kad pateiktų subjektyvų, pasakojamą kolegijų vaizdą - ne tai, iš ko galite semtis plačių apibendrinimų. Ir vis dėlto būtent tai Prinstono apžvalga gauna iš savo duomenų - iš savo apklausų semkitės plačių apibendrinimų ir kiekybiškai įvertinkite kolegijas. Patys kolegijos gali daryti nežinomą papildomą įtaką tam, ar jų mokykla patenka į nurodytą sąrašą.Jei reitingavimo procesas atrodo ne toks skaidrus ir apgaubtas paslapties, tai tyčia.
Kaip tyrėjai anekdotinius duomenis gali paversti kiekybiniais duomenimis? Na, moksliškai to negalima (pvz., Nėra jokios tyrimais pagrįstos procedūros, nes tai yra pažodžiui obuolių ar apelsinų palyginimas). Kai tokia organizacija daro kažką tokio pobūdžio, galite pateikti argumentą, kad bet kokie tokie reitingai yra tik sąrašą sudariusių žmonių nuomonė, paremta kitų žmonių nuomone, tų, kurie iš tikrųjų lankė mokyklą.
Visa tai būtų puiku, išskyrus tai, kad Apžvalga visa tai įtraukia į sąrašus, kurie rodo, kad jie turi apibendrinamą reikšmę, kai to neturi. „20 geriausių vakarėlių mokyklų“ sąrašas yra ne kas kita, kaip kai kurių žmonių nuomonė, pagrįsta „apklausos klausimų, susijusių su alkoholio ir narkotikų vartojimu, kiekvienos dienos studijų valandomis ir Graikijos sistemos populiarumu, deriniu“. Jie galėjo lygiai taip pat lengvai pasirinkti kitokį atsakymų rinkinį, kuris skirtingai pakreiptų mokyklų reitingus.
Mažai tikėtina, kad didesnės mokyklos, turinčios didesnį studentų skaičių, reikšmingai nesiskirs pagal graikiškos sistemos dydį (didelę) ir įvairias socialines ir kitas neakademines galimybes, kurias jos siūlo savo mokiniams (dėl to kiekvieną dieną mokosi mažiau valandų). . Ar tai daro didesnę tikimybę, kad tokia mokykla bus „vakarėlių mokykla“, kai žiūrima į tai, ką studentai sako, kiek jie geria? Žinoma ne. Tai gali reikšti, kad mokykla yra puiki vieta mokytis ir bendrauti.
Praėjusį savaitgalį APS pristatytas plakatas pavadinimu „Išsipildančios pranašystės ir Prinstono apžvalga: alkoholio vartojimo aprašymai ar receptai kolegijoje?“ įdėti į galvą pasiūlymą, kad priemonės kaip Prinstono apžvalga turi tam tikrą abejotiną galiojimą. Mokslininkai apžvelgė faktinius vieno vidutinio dydžio universiteto, esančio Niujorko vakaruose, duomenis per dešimtmetį ir palygino juos su įvairiais susijusiais reitingais Prinstono apžvalga. Jie rado reitingą Prinstono apžvalga neturi sisteminės koreliacijos su jokiais jų nagrinėtais alkoholio vartojimo duomenimis. Jie pastebėjo, kad alkoholio vartojimo duomenys koreliuoja su paskelbtais reitingais po to, kai jie buvo paskelbti, o tai rodo savaime išsipildančią pranašystę.
Tyrėjai pažymėjo, kad kadangi jų tyrimas buvo atliktas tik viename universitete, tyrimą reikės pakartoti kituose kolegijose ir universitetuose, kad būtų galima apibendrinti iš išvadų. Tačiau išvadas vis dėlto įdomu pastebėti.
Nuoroda:
Clarkas, C.D. et. al. (2008). Savaime išsipildanti pranašystė ir „Princeton Review“: aprašymai ar receptai, kaip gerti kolegijoje? Plakatas pristatytas 20-ajame kasmetiniame Psichologijos mokslo asociacijos suvažiavime, Čikagoje, IL, gegužės 24 d.
