Emocinis užkratas „Facebook“? Labiau panašūs į blogus tyrimų metodus

Neseniai buvo paskelbtas tyrimas (Kramer ir kt., 2014), kuris kažką parodė stebina - žmonės pakeitė savo emocijas ir nuotaiką, atsižvelgdami į kitų žmonių teigiamų (ir neigiamų) nuotaikų buvimą ar nebuvimą, išreikštą „Facebook“ būsenos atnaujinimuose. Tyrėjai šį poveikį pavadino „emociniu užkratu“, nes jie norėjo parodyti, kad mūsų draugų žodžiai mūsų „Facebook“ naujienų sraute tiesiogiai paveikė mūsų pačių nuotaiką.

Niekada nesuprantu, kad tyrėjai iš tikrųjų niekada nevertino niekieno nuotaikos.

Nepamirškime, kad tyrimas turi lemtingą trūkumą. Tai, ko nepastebėjo ir kiti tyrimai, todėl visi šie tyrinėtojai šiek tiek įtariami.

Atmetus juokingą kalbą, naudojamą tokio pobūdžio tyrimuose (iš tikrųjų emocijos plinta kaip „užkratas“?), Tokio tipo tyrimai dažnai daro išvadas atlikdami kalbos analizė ant mažų teksto dalių. „Twitter“ jie tikrai maži - mažiau nei 140 simbolių. „Facebook“ būsenos atnaujinimai retai būna daugiau nei keli sakiniai. Tyrėjai iš tikrųjų nematuoja niekieno nuotaikos.

Taigi, kaip jūs atliekate tokią kalbos analizę, ypač 689 003 būsenos atnaujinimus? Daugelis tyrėjų tam naudojasi automatizuotu įrankiu, vadinamu „Linguistic Enquiry and Word Count“ programa (LIWC 2007). Autoriai šią programinę įrangą apibūdina taip:

Pirmoji LIWC programa buvo sukurta atliekant tiriamąjį kalbos ir informacijos atskleidimo tyrimą (Francis, 1993; Pennebaker, 1993). Kaip aprašyta toliau, antroji versija LIWC2007 yra atnaujinta originalios programos peržiūra.

Atkreipkite dėmesį į tas datas. Ilgą laiką iki socialinių tinklų įkūrimo LIWC buvo sukurtas analizuoti didelius teksto elementus, pvz., Knygą, straipsnį, mokslinį straipsnį, esė, parašytą eksperimento sąlygomis, tinklaraščio įrašus ar terapijos sesijos stenogramą. Atkreipkite dėmesį į tai, kad visi šie dalykai yra bendri - jie yra gero ilgio, mažiausiai 400 žodžių.

Kodėl tyrėjai turėtų naudoti įrankį, kuris nėra skirtas trumpiems teksto fragmentams, kad… analizuotų trumpus teksto fragmentus? Deja, todėl, kad tai yra vienas iš nedaugelio prieinamų įrankių, kuris gana greitai gali apdoroti didelius teksto kiekius.

Kam rūpi, kiek laiko turi būti matuojamas tekstas?

Gali būti, kad tu sėdi, kasosi galvą ir galvoji, kodėl svarbu, kiek laiko tekstą bandai analizuoti naudodamas šį įrankį. Vienas sakinys, 140 simbolių, 140 puslapių ... Kodėl tai reikštų ilgį?

Ilgis yra svarbus, nes iš tikrųjų įrankis nėra labai tinkamas analizuoti tekstą taip, kaip „Twitter“ ir „Facebook“ tyrėjai jį pavedė. Kai paprašysite analizuoti teigiamą ar neigiamą teksto nuotaiką, jis tiesiog skaičiuoja neigiamus ir teigiamus žodžius tiriamame tekste. Straipsnyje, esė ar tinklaraščio įraše tai yra puiku - tai suteiks jums gana tikslią bendrą straipsnio santraukos analizę, nes dauguma straipsnių yra ilgesni nei 400 arba 500 žodžių.

Tačiau „Twitter“ ar būsenos atnaujinimui tai yra siaubingas analizės įrankis, kurį reikia naudoti. Taip yra todėl, kad jis nebuvo skirtas atskirti - ir iš tikrųjų, negali diferencijuoti - neigiamas žodis sakinyje.1

Pažvelkime į du hipotetinius pavyzdžius, kodėl tai svarbu. Čia yra du pavyzdiniai tweetai (arba būsenos atnaujinimai), kurie nėra neįprasti:

"Aš nesu laimingas."

- Man ne puiki diena.

Nepriklausomas vertintojas ar teisėjas įvertintų šiuos du tweetus kaip neigiamus - jie aiškiai išreiškia neigiamą emociją. Tai būtų +2 neigiamoje skalėje ir 0 teigiamoje skalėje.

Tačiau LIWC 2007 įrankis to nemato. Užuot vertinęs šiuos du „tweets“, įvertinęs +2 teigiamais (dėl žodžių „puikus“ ir „laimingas“) ir +2 - neigiamais (dėl žodžio „ne“ abiejuose tekstuose).

Tai didžiulis skirtumas, jei jus domina nešališkas ir tikslus duomenų rinkimas ir analizė.

Kadangi didžioji dalis žmonių bendravimo apima subtilybes, tokias kaip ši - net nesigilinant į sarkazmą, trumpų rankų santrumpas, kurios veikia kaip neigimo žodžius, frazes, paneigiančias ankstesnį sakinį, jaustukus ir pan., Jūs net negalite pasakyti, kiek tikslūs ar netikslūs atlikta šių tyrėjų analizė yra. Kadangi LIWC 2007 ignoruoja šias subtilias neformalaus žmonių bendravimo realijas, taip daro ir tyrėjai.2

Galbūt todėl, kad tyrėjai neįsivaizduoja, kokia iš tikrųjų yra bloga problema. Nes jie tiesiog siunčia visus šiuos „didelius duomenis“ į kalbos analizės variklį, iš tikrųjų nesuprasdami, kaip analizės variklis yra ydingas. Ar 10 procentų visų tweetų yra neigiamas žodis? Arba 50 procentų? Tyrėjai negalėjo jums pasakyti.3

Net jei tai tiesa, tyrimai rodo mažus realiojo pasaulio efektus

Štai kodėl turiu pasakyti, kad net jei jūs tikite, kad šis tyrimas yra nominalus, nepaisant šios didžiulės metodologinės problemos, jums vis tiek lieka tyrimai, rodantys juokingai mažas koreliacijas, kurios paprastiems vartotojams turi mažai ar visai nereiškia.

Pavyzdžiui, Kramer ir kt. (2014) nustatė 0,07% - tai nėra 7 procentai, tai yra 1/15 procento !! - neigiamų žodžių sumažėjimas atnaujinant žmonių būseną, kai sumažėjo neigiamų įrašų jų „Facebook“ naujienų sraute. Ar žinote, kiek žodžių turėtumėte perskaityti ar parašyti prieš parašydami vienu mažiau neigiamą žodį dėl šio efekto? Tikriausiai tūkstančiai.

Tai nėra tiek „efektas“, kiek statistikos blaškymas, neturintis realios prasmės. Patys tyrėjai pripažįsta tiek pat, pažymėdami, kad jų poveikis buvo „mažas (toks mažas kaip d = 0,001). “ Jie mano, kad tai vis dar svarbu, nes „nedidelis poveikis gali turėti didelių apibendrintų pasekmių“, cituodamas „Facebook“ tyrimą dėl politinio balsavimo motyvacijos, kurį atliko vienas iš tų pačių tyrėjų, ir 22 metų senumo psichologinio žurnalo argumentą.

Bet jie prieštarauja sau sakinyje anksčiau, teigdami, kad emocijai „sunku paveikti, atsižvelgiant į kasdienės patirties, turinčios įtakos nuotaikai, spektrą“. Kuris? Ar „Facebook“ būsenos atnaujinimai daro reikšmingą įtaką individo emocijoms, ar emocijoms ne taip lengva daryti tiesiog skaitant kitų žmonių būsenos atnaujinimus ??

Nepaisant visų šių problemų ir apribojimų, nė vienas iš jų netrukdo mokslininkams skelbti: „Šie rezultatai rodo, kad kitų„ Facebook “išreikštos emocijos daro įtaką mūsų pačių emocijoms ir yra eksperimentiniai masinio masto užkrėtimo per socialinius tinklus įrodymai.“ 5 Vėlgi, nesvarbu, kad jie iš tikrųjų ne matavo vieno žmogaus emocijas ar nuotaikos būsenas, o tam pasitelkdami naudojosi klaidinga vertinimo priemone.

Mano nuomone, „Facebook“ tyrėjai aiškiai parodo, kad jie per daug tiki savo naudojamais įrankiais, nesuprasdami ir neaptardami reikšmingų įrankių apribojimų.

Nuoroda

Kramer, ADI, Guillory, JE, Hancock, JT. (2014). Eksperimentiniai masinio masto emocinio užkrėtimo įrodymai per socialinius tinklus. PNAS. www.pnas.org/cgi/doi/10.1073/pnas.1320040111

Išnašos:

1. Tai, pasak paklausimo LIWC kūrėjams, kurie atsakė: „LIWC šiuo metu nežiūri, ar baluose yra neigiamas terminas šalia teigiamo ar neigiamo emocijos termino, ir būtų sunku pateikti veiksmingą algoritmą tai vis tiek “. [↩]
2. Negalėjau paminėti LIWC kaip kalbos analizės priemonės naudojimo apribojimų tikslams, kuriems ji niekada nebuvo skirta ar skirta nei šiame, nei kituose tyrimuose. [↩]
3. Na, jie galėtų jums pasakyti, ar jie iš tikrųjų praleido laiką patvirtindami savo metodą atlikdami bandomąjį tyrimą, kurį palygino su faktinės žmonių nuotaikos matavimu. Tačiau šiems tyrėjams to padaryti nepavyko. [↩]
4. Yra keletas rimtų problemų, susijusių su „Facebook“ balsavimo tyrimu, iš kurių mažiausiai balso elgesio pokyčiai priskiriami vienam koreliaciniam kintamajam, pateikiant ilgą tyrėjų pateiktų prielaidų sąrašą (ir su kuriomis turėtumėte sutikti). [↩]
5. Autorių prašymas paaiškinti ir komentuoti nebuvo grąžintas. [↩]
6. Tai nėra kasinėjimas 2007 m. LIWC, kuris gali būti puiki tyrimo priemonė, kai jis naudojamas tinkamiems tikslams ir tinkamose rankose. [↩]