Udomačena statistika

Študenti statistike pišemo blog.

Kako ubesediti anketno vprašanje, da bo razumljivo za vse anketirance?

2 komentarja

Vsako anketno vprašanje lahko zastavimo na veliko različnih načinov. To preprosto dejstvo je leta 1925 prepričljivo ponazoril ameriški psiholog Albert Poffenberger, ko je skupini 75 izobraženih oseb dal nalogo, naj vsak posamezno sestavi vprašanje, ki bo najboljša mera za ceno, ki jo ljudje navadno plačajo za par nogavic. Niti dve vprašanji nista bili enaki. Eksperiment smo ponovili na študentih pri predmetu Anketna metodologija (Slika 1) in ravno tako dobili različne odgovore.

poffenberger

Slika 1: Naloga za študente Anketne metodologije

Sodelovalo je 22 študentov. Njihova vprašanja so bila dolga od 24 do 187 znakov. Polovica jih je postavila odprta, polovica pa zaprta vprašanja z različnimi razponi ponujenih vrednosti. Posamezna so bila postavljena v pretekliku, spet druga v sedanjiku. Razlike pa niso bile le v strukturi, ampak tudi pri izbiri posameznih izrazov. Namesto plačati, na primer, so bili uporabljeni tudi odštejete, zapravite, porabite in drugi izrazi.

Poraja se seveda vprašanje, kako se odločiti med različnimi možnostmi. Empirične raziskave so pokazale, da različne ubeseditve niso enakovredne, zato ni vseeno, katero obliko izberemo. Za večino dilem glede same strukture in oblike vprašanj lahko odgovore najdemo v učbenikih s področja anketne metodologije. O tipičnih napakah pri sestavljanju anketnih vprašanj smo že pisali tudi na tem blogu (1. del in 2. del)

Manj jasno pa je, kako se odločiti med različnimi izrazi, ki jih lahko uporabimo. Kako se odločiti v situaciji, ko za posamezno besedo ne obstaja nobena pretekla študija, na katero bi se lahko oprli? Eno izmed splošnih priporočil je, naj bo vprašanje zastavljeno tako, da ga bodo vsi anketiranci razumeli na enak način. Vendar v praksi sestavljalci anketnih vprašalnikov pogosto uporabljajo zapleten jezik, ki je lahko težaven za anketirance s skromnejšim besednim zakladom.

V eni izmed raziskav, denimo, zasledimo vprašanje, ali je anketiranec v zadnjih 12 mesecih bojkotiral določene izdelke. Glagol bojkotirati je tujka, ki je morda ne razume vsak anketiranec, zato bi bilo bolje vprašati, ali so namenoma zavračali kupovanje določenih izdelkov. Včasih za tuje besede obstajajo slovenske sopomenke, na primer v vprašanju »Ali ste imeli v zadnjem tednu bolečine v abdominalnem predelu?« tujko lahko zamenjamo s slovenskim izrazom, tj. trebušnem.

Tovrstne težave lahko v veliki meri zaznamo in odpravimo, če vprašalnik pred-testiramo s kognitivnimi intervjuji in drugimi metodami. Poleg tega na Centru za družboslovno informatiko raziskujemo uporabo jezikovnih virov za izboljšavo anketnega vprašalnika. V sodelovanju z Laboratorijem za Umetno Inteligenco na Inštitutu Jožef Stefan razvijamo modul za jezikovni pregled vprašalnika, ki bo vključen v brezplačno orodje za spletno anketiranje En Klik Anketa. Aplikacija bo podala  koeficiente  berljivosti vprašalnika kot celote in na podlagi jezikovnih korpusov preverila pogostost posameznih ubeseditev v jeziku kot indikator težavnosti izrazov.

Pilotno verzijo aplikacije smo preizkusili na primeru vprašalnika za študente Univerze v Ljubljani na mednarodni izmenjavi, tako angleškega izvirnika kot slovenskega prevoda. S pomočjo orodja smo pripravili dve različici obeh vprašalnikov, zapleteno in izboljšano ter izvedli eksperiment z deljenim vzorcem (angl. split-ballot), tako da je polovica anketirancev odgovarjala na zapleteno, polovica pa na izboljšano različico. V izboljšanih različicah je bilo manj prekinitev odgovorov kot v zapletenih, vendar zaradi premajhnega vzorca rezultatov še ne moremo posplošiti (Slika 2).

k1

Slika 2: Delež prekinitev odgovarjanja pri kompleksni in izboljšani različici vprašalnika

 

Eksperiment nameravamo ponoviti še na primerih drugih vprašalnikov in populacij ter na podlagi rezultatov izboljševati in izpopolnjevati aplikacijo za jezikovni pregled vprašalnika. Tako jo bomo vzpostavili kot še eno od tehnik pred-testiranja anketnega vprašalnika, ki se bo lahko uporabljala v kombinacijami z drugimi metodami.

Zapis je bil (v skrajšani prirejeni obliki) izvorno objavljen v decembrski številki mesečnika GfK Orange.

Oba eksperimenta sem opisala tudi v podcast pogovoru za 15. oddajo MetaPHoDcast na spletnem portalu Meta Znanost

Advertisements

Avtor: Dr. Ana Slavec

Svetovalka za statistiko na centru odličnosti InnoRenew CoE. Pred tem je bila sedem let raziskovalka na Fakulteti za družbene vede. Je članica upravnega odbora Društva mlada akademija, urednica bloga Udomačena statistika ter sovoditeljica Meta PHoDcasta. Na Twitterju je @aslavec.

2 thoughts on “Kako ubesediti anketno vprašanje, da bo razumljivo za vse anketirance?

  1. Pingback: Moji vtisi s 6. konference ESRA | Udomačena statistika

  2. Pingback: Štiri anketne napake na primeru predreferendumskih anket | Udomačena statistika

Oddajte komentar

Fill in your details below or click an icon to log in:

WordPress.com Logo

Komentirate prijavljeni s svojim WordPress.com računom. Odjava / Spremeni )

Twitter picture

Komentirate prijavljeni s svojim Twitter računom. Odjava / Spremeni )

Facebook photo

Komentirate prijavljeni s svojim Facebook računom. Odjava / Spremeni )

Google+ photo

Komentirate prijavljeni s svojim Google+ računom. Odjava / Spremeni )

Connecting to %s