Udomačena statistika

Študenti statistike pišemo blog.

Tipične napake pri sestavljanju spletnih anketnih vprašalnikov – 2. del

3 komentarji

V svoji prejšnji objavi sem poudarila pomen anketnih podatkov v družboslovni znanosti ter opozorila na naraščajoči obseg nekakovostnih spletnih vprašalnikov. Opisala sem štiri pogoste napake neizkušenih ustvarjalcev spletnih anket: 1. preveliko število vprašanj na stran, 2. preveliko število vprašanj na vprašalnik, 3. nesmotrno rabo podpornih (grafičnih) elementov ter 4. neuporabo filtriranja s pogoji. Nadaljevala bom s predstavitvijo štirih tipičnih težav pri sestavljanju posameznih vprašanj – tudi v tem delu primeri temeljijo na anketah “The Status of Slovenian Women in Academic Fields of Science, Technology, Engineering and Mathematics” (WIS) in “Pojav podjetniške univerze in sodelovanje akademikov pri prenosu znanja in tehnologij” (PU):

5. Neustrezna oblika odgovora. V osnovi ločimo med vprašanji odprtega in zaprtega tipa. Prednost odprtih vprašanj je, da ne vsiljujejo odgovorov in omogočajo pridobitev pomembnih informacij, ki jih ne predvidimo, slabost pa je, da so težavnejša za analizo. Negativno lahko vplivajo tudi na motivacijo anketiranca, zlasti pri prepogosti uporabi – v vprašalniku WIS imamo na primer kar 19 vprašanj odprtega tipa, kar je preveliko breme za anketiranca. Prednost zaprtih vprašanj je, da so manj kompleksna za analizo, a jih je precej težje dobro zastaviti. Odprta vprašanja so pomembna, tudi za dodatno razlago odgovorov na zaprta vprašanja, vendar jih uporabljajmo zmerno.

6. Dopuščanje  več možnih odgovorov, ko so medsebojno izključujoči. Standard v spletnih obrazcih je, da se pri omogočanju največ enega odgovora uporabljajo izbirni gumbi (radio button), pri dovoljevanju izbora več odgovorov pa potrditvena polja (checkbox). Ustvarjalci anket to pogosto kršijo in uporabljajo potrditvena polja tudi v primerih, ko je vsebinsko smiseln samo en odgovor (npr. vprašanja 1, 4, 7, 9, 11, 12, 13 in 23 v vprašalniku WIS). Tako na primer pri vprašanju 12 (slika spodaj) anketiranec lahko odkljuka poljubno število polj, čeprav gre za medsebojno izključujoče možnosti odgovorov.

wis6

Vir: The Status of Slovenian Women in Academic Fields of Science, Technology, Engineering and Mathematics (zaslonska slika, 13. 3. 2013)

Poleg tega se tudi v primerih, ko je lahko smiselnih več možnih odgovorov (vprašanja 14, 15, 16, 17 in 18 v WIS), priporoča uporaba oblike vprašanja, ki zahteva opredelitev oziroma ocenjevanje vsakega odgovora posebej. Kategorije odgovorov pri vprašanju 14 (slika zgoraj) bi, na primer, lahko preoblikovali v trditve in anketirance prosili, naj ocenijo, v kolikšni meri se strinjajo z njimi (npr. na lestvici od 1 do 5). Druga, nekoliko preprostejša možnost, bi bila spraševati le po strinjanju oziroma nestrinjanju z vsako od trditev (odgovora Da/Ne).

7. Kategorije odgovorov niso izčrpne. Ne glede na to, ali omogočimo enega ali več odgovorov, je pri kategorijah odgovorov pomembna izčrpnost. S tega vidika so na primer pomanjkljiva vprašanja, ki vsebujejo neupravičeno domnevo, kar smo obravnavali v točki 4 v prejšnji objavi in predlagali dodatno filter vprašanje. Druga možnost je dodajanje kategorij v okviru obstoječega vprašanja. Tako na primer pri vprašanju 12 (slika zgoraj) problem neupravičene domneve, da nas nadrejeni ocenjuje, lahko rešimo z dodatno kategorijo “I am not evaluated by my supervisor“. V splošnem pa sta oba vprašalnika, WIS in PU, dokaj dosledno zagotavljala izčrpnost s ponujanjem odgovora “drugo” (npr. vprašanje 14 na sliki zgoraj) ter “ne vem” in drugih manjkajočih kategorij. Vendar je to dvorezen meč, saj so taki odgovori zelo vabljivi za anketiranca, a to je zgodba, ki bi si zaslužila posebno obravnavo (morda v kateri od prihodnjih objav).

8. Problem večdimenzionalnosti vprašanj. Ni dobro spraševati po več stvareh hkrati, kot na primer pri vprašanjih 11, 13, 15, 17 in 20 v anketi WIS ter vprašanju 30 v anketi PU. To je zelo izrazito pri vprašanju 13 (slika zgoraj), ki hkrati sprašuje po koristnosti (useful) in zanimanju (interested), kar sta dva različna koncepta, zato bi bilo po njiju treba spraševati ločeno. Pri vprašalniku PU so problematične določene postavke v okviru matričnih vprašanj (18-26). Velikokrat ta problem nakazuje prisotnost veznikov “in” in “ali”, ki se mu je v anketnih vprašanjih bolje izogniti. Na primeru vprašanja 22 (slika spodaj) v taki vlogi nastopa veznik “oziroma”, ki nastopi v več trditvah v obliki “gospodarstvo oz. država”. Od anketiranca tako pričakujejo, da bo odgovoril na vprašanje tako za gospodarstvo kot za državo oziroma, da se bo odločil odgovarjati bodisi glede na gospodarstvo bodisi glede na družbo. Tovrstnih odgovorov v analizi ne moremo jemati enakovredno in njihova veljavnost je vprašljiva. Vir: Pojav podjetniške univerze in sodelovanje akademikov pri prenosu znanja in tehnologij (zaslonska slika 19. 3. 2013)

V sklopu matričnih vprašanj v vprašalniku PU naletimo še na vrsto problematičnih zadev – v mislih imam predvsem nejasnost in zapletenost določenih trditev -, vendar jih zaradi specifičnosti ne tem mestu ne bom obravnavala.

Z osmimi priporočili, ki sem jih navedla v svojih dveh objavah, izpostavljam le nekaj tipičnih napak, na katere pogosto naletimo v (spletnih) vprašalnikih. Lahko bi še kaj napisala o sestavljanju lestvic odgovorov, optimalnem vrstnem redu vprašanj, navigaciji, opomnikih in še številnih drugih temah. O tem si lahko več preberete v literaturi, posebej bi izpostavila naslednja dela s področja oblikovanja anketnega vprašalnika:

V zaključku bi poudarila dve zadevi, ki se mi zdita zelo pomembni in bi morali biti vedno del oblikovanja anketnega vprašalnika. Prva, pregled vprašanj v obstoječih vprašalnikih.  Za veliko konceptov, ki jih želimo meriti, verjetno že obstajajo vprašanja in po možnosti so tudi  preizkušena, v vsakem primeru pa nam omogočajo dragocene primerjave. Druga, vprašalnik je treba vedno predtestirati in to večkrat. Naj se še tako trudimo in sledimo priporočilom iz literature, nikoli ne bomo prišli do vprašalnika, za katerega rezultati predtestiranja ne bi razkrili možnosti dodatnih izboljšav.

Ana Slavec

Advertisements

Avtor: Dr. Ana Slavec

Svetovalka za statistiko na centru odličnosti InnoRenew CoE. Pred tem je bila sedem let raziskovalka na Fakulteti za družbene vede. Je članica upravnega odbora Društva mlada akademija, urednica bloga Udomačena statistika ter sovoditeljica Meta PHoDcasta. Na Twitterju je @aslavec.

3 thoughts on “Tipične napake pri sestavljanju spletnih anketnih vprašalnikov – 2. del

  1. Pingback: Ankete | Podpora

  2. Pingback: Kako ubesediti anketno vprašanje, da bo razumljivo za vse anketirance? | Udomačena statistika

  3. Pingback: Analiza podatkov Evropske družboslovne raziskave z vmesnikom Nesstar | Udomačena statistika

Oddajte komentar

Fill in your details below or click an icon to log in:

WordPress.com Logo

Komentirate prijavljeni s svojim WordPress.com računom. Odjava / Spremeni )

Twitter picture

Komentirate prijavljeni s svojim Twitter računom. Odjava / Spremeni )

Facebook photo

Komentirate prijavljeni s svojim Facebook računom. Odjava / Spremeni )

Google+ photo

Komentirate prijavljeni s svojim Google+ računom. Odjava / Spremeni )

Connecting to %s