Udomačena statistika

Študenti statistike pišemo blog.

Tipične napake pri sestavljanju spletnih anketnih vprašalnikov – 1. del

4 komentarji

Brez podatkov ni statistike in ena izmed najpopularnejših metod zbiranja podatkov v sociologiji in drugih družboslovnih znanostih je anketni vprašalnik. Kljub izraziti vlogi anketnega zbiranja podatkov v znanosti, se v praksi pogosto pozablja na testiranje ter druge postopke, s katerimi odkrivamo in preprečujemo napake. Nadalje smo z razvojem spletnih orodij, ki omogočajo hitro in relativno enostavno izvedbo anketne raziskave, priča porastu naredi-si-sam (do-it-yourself) vprašalnikov. Že tako nizko pripravljenost za sodelovanje v raziskavah tako še dodatno načenja obilica spletnih anket slabe kakovosti.

Med ustvarjalci nekakovostnih vprašalnikov niso samo množice študentov, ki morajo izvesti projektno nalogo, ampak včasih grešijo tudi ugledne institucije, ki sestavljanje merskega instrumenta smatrajo bolj za veščino kot znanost. Pri tem spregledajo empirično podkrepljena priporočila anketnih metodologov, kako se lotiti izdelave vprašalnika v skladu s cilji raziskave ter oceniti morebitno problematičnost tako posameznih vprašanj kot tudi vprašalnika kot celote.

Namen tega prispevka je izpostaviti nekaj primerov napak, ki nastanejo zaradi neustreznega pristopa k anketni raziskavi ter podati smernice, kako jih zaznati oziroma, kako se jim izogniti. Za primer bom vzela dve spletni anketi, na katere sem bila v zadnjem mesecu povabljena k sodelovanju, in sicer raziskavi “The Status of Slovenian Women in Academic Fields of Science, Technology, Engineering and Mathematics” (WIS) in “Pojav podjetniške univerze in sodelovanje akademikov pri prenosu znanja in tehnologij” (PU). V prvem delu objave bom izpostavila štiri napake, ki se tičejo vprašalnika kot celote:

1. Preveliko število vprašanj na stran. Velja načelo, da je vprašanja bolje porazdeliti na več strani (t. i. paging design, npr. anketa PU), kot jih prikazati vsa na eni strani (t. i. scrolling design, npr. anketa WIS). Raziskave namreč kažejo, da je pri tem načinu manj manjkajočih odgovorov, je manj naporen za anketiranca in zahteva nekoliko manj časa. Pri stopnji izpadanja anketirancev (break-off) naj ne bi bilo razlik, vendar imamo pri porazdelitvi na več strani shranjene vsaj delne odgovore, medtem ko jih pri več vprašanjih na strani izgubimo. Pomanjkljivost scrollinga je tudi to, da anketiranec vidi vsa vprašanja, kar ima lahko vpliv na odgovore in otežuje uporabo filtriranja s pogoji (glej točko 3). Scrolling je smiselno uporabljati le v primeru, ko imamo enostaven in kratek vprašalnik, kar vprašalnik WIS nikakor ni.

2. Preveliko število (zahtevnih) vprašanj v celotnem vprašalniku. Na spletu si ne moremo privoščiti tako dolgih vprašalnikov kot pri osebnem terenskem anketiranju, saj imamo manjši nadzor nad procesom anketiranja in se težje izognemo predčasnemu koncu odgovarjanja. Dolžino vprašalnika omejimo že s tem, da ne dodajamo vprašanj le zato, ker se nam zdijo zanimiva, ampak mora biti vsako vprašanje povezano z raziskovalnimi cilji. Izkušnje kažejo, da veliko od vključenih vprašanj sploh nikoli ni analiziranih. Predvsem pa je treba omejiti obseg zahtevnih vprašanj, kot so na primer vprašanja odprtega tipa in matrična vprašanja. Slednjih je v PU vprašalniku kar 71. K skrčenju vprašalnika, vsaj za določene skupine anketirancev, pripomore tudi raba pogojev (glej točko 4).

3. Nesmotrna raba podpornih elementov. Poleg vprašanj in odgovorov spletno anketo navadno sestavljajo še drugi elementi, ki imajo ravno tako vpliv na potek odgovarjanja. Medtem ko je WIS vprašalnik precej minimalističen, v anketi PU dobršen del zaslona zaseda logotip raziskave. S tem jemlje prostor vprašanjem in je moteč za anketiranca, zato bi ga bilo dobro zmanjšati ali premakniti. Opazimo tudi indikator napredka (progress indicator), do česar se ni enostavno opredeliti. Etično ga je imeti, saj anketiranci želijo vedeti, koliko časa bo (še) trajala anketa, poleg tega naj bi zmanjševal izpad iz ankete. Po drugi strani pa raziskave navajajo ravno nasprotne učinke in ga zato nekateri odsvetujejo. Če se ga odločimo uporabiti, je pomembno tudi, da ni zavajajoč, tj. da je hitrost konstantna. V anketi PU na primer ni jasno, kako je napredek izračunan (na podlagi strani/vprašanj?), a občutek imam, da v prvem delu napredek hitreje narašča, v drugem pa počasneje.

4. Neuporaba filtriranja s pogoji. Določena vprašanja niso vsebinsko relevantna za vse anketirance, zato je le-tem treba omogočiti preskok vprašanja. V papirnatih anketah smo anketiranca po vprašalniku usmerjali z navodili, medtem ko pri računalniško podprtih vprašalnikih lahko uporabimo avtomatske pogoje. Določeno vprašanje tako lahko prikažemo le določenim segmentom anketirancev glede na odgovor na prejšnja vprašanja, s čimer jih precej razbremenimo in izboljšamo kvaliteto podatkov. Žal pa je ta možnost v praksi velikokrat spregledana, najbolj očitno pri vprašanjih 10, 20, 21, 22 v vprašalniku WIS (glej sliko spodaj) ter vprašanjih 9, 20 in 21 v vprašalniku PU.

wis9

Vir: The Status of Slovenian Women in Academic Fields of Science, Technology, Engineering and Mathematics (zaslonska slika, 13. 3. 2013)

Filtriranje na podlagi dodatnih vprašanj je koristno tudi pri neupravičenih domnevah, kot je na primer vprašanje 5 na sliki spodaj (PU), ki predpostavlja, da so vsi anketirani že doktorirali, o čemer bi bilo treba najprej vprašati ali dopustiti možnost “nisem še doktoriral” (o izčrpnosti kategorij odgovorov več naslednjič). Neupravičeno domnevo zasledimo tudi pri vprašanjih 25 in 27 v vprašalniku WIS, ki predpostavljata, da ima anketirani svojo pisarno in laboratorij – potrebno bi bilo bodisi dodatno vprašanje, ki bi vprašalo po številu oseb v prostoru bodisi pogoj, da se vprašanje postavi le tistim, ki imajo svojo pisarno/laboratorij.

p03

Vir: Pojav podjetniške univerze in sodelovanje akademikov pri prenosu znanja in tehnologij (zaslonska slika brez logotipa, 13. 3. 2012)

Toliko zaenkrat. Za nadaljnje branje na temo oblikovanja spletnih vprašalnikov priporočam knjigo Micka Couperja iz leta 2008, Designing Effective Web Surveys. Prihodnjič se bom osredotočila na problem oblikovanja posameznih vprašanj v spletnih anketah, in sicer bom obravnavala neustrezno obliko odgovora, težave pri dopuščanju več možnih odgovorov, izčrpnost kategorij odgovorov in večdimenzionalnost vprašanj.

Ana Slavec

Advertisements

Avtor: Ana Slavec

Doktorica statistike in raziskovalka na Arhivu družboslovnih podatkov na Fakulteti za družbene vede. Je članica upravnega odbora Društva mlada akademija, urednica bloga Udomačena statistika ter sovoditeljica Meta PHoDcasta. Na Twitterju je @aslavec.

4 thoughts on “Tipične napake pri sestavljanju spletnih anketnih vprašalnikov – 1. del

  1. Pingback: Tipične napake pri sestavljanju spletnih anketnih vprašalnikov – 2. del | Udomačena statistika

  2. Pingback: Ankete | Podpora

  3. Pingback: Kako ubesediti anketno vprašanje, da bo razumljivo za vse anketirance? | Udomačena statistika

  4. Pingback: Stara družba, nova družba: trendi kvantitativnega raziskovanja s 70. konference AAPOR | Udomačena statistika

Oddajte komentar

Fill in your details below or click an icon to log in:

WordPress.com Logo

Komentirate prijavljeni s svojim WordPress.com računom. Odjava / Spremeni )

Twitter picture

Komentirate prijavljeni s svojim Twitter računom. Odjava / Spremeni )

Facebook photo

Komentirate prijavljeni s svojim Facebook računom. Odjava / Spremeni )

Google+ photo

Komentirate prijavljeni s svojim Google+ računom. Odjava / Spremeni )

Connecting to %s