Udomačena statistika

Študenti statistike pišemo blog.

Štiri anketne napake na primeru predreferendumskih anket

5 komentarjev

V nedeljo bo potekal zakonodajni referendum, na katerem se bo glasovalo o vprašanju, ali naj se uveljavi Zakon o spremembah in dopolnitvah Zakona o zakonski zvezi in družinskih razmerjih (ZZZDR-D), ki ga je Državni zbor sprejel 3. marca 2015. Glas ZA bo podprl spremembo besedila 3., 12. in 16. člena zakona, kar bo omogočilo, da lahko zakonsko zvezo skleneta tudi osebi istega spola.

IMG_2540

Istospolna poroka v Redwood National Park v Kaliforniji, ki sem ji – povsem po naključju – prisostvovala ob obisku parka maja 2014. V Kaliforniji so istospolne poroke legalne od junija 2008.

Kakšen izid referenduma lahko pričakujemo? Konec novembra sta javnomnenjski anketi časnikov Večer in Delo merili razpoloženje volilnega telesa in ugotovili, da bi približno polovica glasovala ZA in približno polovica PROTI.  V anketi časnika Večer narejeni na vzorcu okrog 500 oseb je bilo 48 % vprašanih ZA, 46 %  PROTI, 6 % pa neodločenih, v anketi časnika Delo na vzorcu okrog 400 ljudi pa je bilo 42 % vprašanih ZA, 41 % PROTI, 17 % pa neodločenih.  Delo je v tem tednu izvedlo še eno anketo, na vzorcu 600 oseb, kjer je bilo med vprašanimi, ki bi se zagotovo udeležili referenduma, 45 % oseb ZA, 47 % PROTI, samo 8 % pa je še neodločenih. Danes je MMC RTV SLO objavil še rezultat ankete, ki jo je za njihovo hišo med 14. in 17. decembrom na vzorcu 700 oseb izvedla Ninamedia: med tistimi, ki udeležbe na referendumu niso popolnoma izključili, je 38 % ZA, 50 % proti, 12 % pa neopredeljenih. Med tistimi, ki se bodo zagotovo udeležili referenduma pa je razlika še večja: 56 % jih je PROTI. Drugih anket nisem zasledila.

Medtem ko ankete Dela in Večera kažejo precej tesen izzid, je anketa Ninamedie torej pokazala, da bo večina glasovala PROTI zakonu. K temu bi dodala, da je treba pri interpretaciji rezultatov anketnih raziskav vedno upoštevati, da imajo te določeno napako. Ta izvira iz različnih virov, od katerih so ključni štirje:

  1. Napaka nepokritja (angl. Coverage error), do katere pride, ker vzorčni okvir, na podlagi katerega vzorčimo, ne pokriva vseh enot populacije. V primeru predreferendumske ankete je vzorčni seznam telefonski imenik, ki pa ne pokriva vseh slovenskih gospodinjstev. Vse več je namreč gospodinjstev brez stacionarnega telefona (t.i. mobile only), mobilne številke v imeniku velikokrat niso objavljene. Z napako nepokritja v telefonskih anketah v Evropi se je podrobneje ukvarjala Anja Mohorko, ki je med drugim ugotovila,  da so “mobile only” predvsem mladi. O napakah telefonskih anket, ki kombinirajo stacionarne in mobilne telefonske številke pa sem sama pisala v diplomski nalogi (2010), v poglavju v knjigi Telephone Surveys in Europe (2012), in nazadnje v poglavju v knjigi Mobile Research Methods (2015).
  2. Napaka vzorčenja (angl. Sampling error) je napaka, ki se ji ne moremo izogniti, kadarkoli o lastnostih populacije sklepamo na podlagi vzorca enot. Izbrani vzorec je namreč le eden izmed vseh možnih vzorcev v populaciji. Ker prave vrednosti ne poznamo, napake ne moremo natančno izmeriti. Lahko pa ocenimo standardno napako, ki je standardni odklon vzorčne porazdelitve statistike. Na tej podlagi izračunamo interval zaupanja, o čemer pa mediji žal ne poročajo. Pogosto opazim, da že same odstotke jemljejo zelo dobesedno in povsem brez potrebe navajajo celo decimalke. Pri opazovanem vzorčnem deležu približno 45 % je pri velikosti vzorca 400 enot je ocena tega intervala v populaciji (pri 5 % tveganju) približno +-5 odstotnih točk. To pomeni, da se prava vrednost s 95 % gotovostjo giblje med 40 in 50 %. Ko vzorec povečamo na 700 enot, se 95 % interval zaupanja zoži, na +- 3.7 odstotne točke od izmerjenega deleža, kar je še vedno premalo natančno za tovrstne sklepe. Vzorčno napako lahko še nadalje zmanjšamo z večanjem vzorca (zakon velikih števil), vendar je to koristno le do določene mere, saj se s tem večajo tudi drugi viri napake.
  3. Napaka neodgovora (angl. Nonresponse error), do katere pride, ko neka enota (v primeru telefonske ankete je to gospodinjstvo) ne odgovori na anketo, bodisi ni dosegljiva, bodisi nezmožna sodelovati,  bodisi zavrne sodelovanje. V telefonskih anketah sta nedosegljivost in neodgovarjanje na klice vse večji problem. Tudi gospodinjstva, ki dvignejo slušalko, v večini primerov sodelovanje zavrnejo. Podatka, kolikšna je stopnja sodelovanja v zgoraj navedenih anketah ni in tudi sama nimam natačnih podatkov o tem, kolikšne so trenutno stopnje sodelovanja na telefonske ankete v Sloveniji. Glede na izkušnje in neuradne informacije pa si upam trditi, da se stopnja sodelovanja giblje nekje med 10 in 20 %. Velika večina enot (gospodinjstev), ki so vključene v vzorec, torej v anketah sploh ne sodeluje. Nadalje je problem še to, da se tisti, ki sodelujejo, razlikujejo od tistih, ki ne sodelujejo. Znano je na primer, da telefonske ankete podcenjujejo deleže desnih strank. O problemu manjkajočih vrednostih v anketnem raziskovanju je na blogu pisala že Marija Paladin.
  4. Merska napaka (angl. Measurement error) je razlika med opazovano (izmerjeno) vrednostjo in pravo vrednostjo (angl. true value). Do merske napake prihaja predvsem zaradi slabo postavljenih vprašanj. Ubeseditev anketnega vprašanja je velikokrat nejasna, dvoumna ali na drug način kognitivno zahtevna za anketiranca. Poleg tega je anketiranec lahko tudi iz drugih razlogov ni motiviran, da svoj odgovor premisli. O referendumski nameri lahko vprašamo na različne načine, bodisi dobesedno citiramo predreferendumsko vprašanje, bodisi ga poenostavimo, bodisi anketiranca direktno vprašamo, ali podpira istospolne poroke. Od oblike vprašanja je odvisno, kakšne odgovore bomo dobili.

Nadalje se je treba zavedati, da z anketnim vprašanjem merimo stališče (oz. bolje rečeno vedenjsko namero) v izbranem trenutku, ki pa se do dne referenduma lahko spremeni. Upoštevati je treba tudi, da se vsi vprašani, tudi opredeljeni, ne bodo udeležili referenduma. Zato izvajalci predreferendumskih anket pogosto vprašajo tudi o tem, kako verjetno se bodo anketiranci referenduma udeležili. Volivci lahko tudi spremenijo mnenje – na primeru parlamentarnih volitev je to proučeval Zenel Batagelj.

Kako natančne so meritve anketnih raziskav bomo ugotovili v nedeljo – do takrat pa je lahko poučen primer referenduma o družinskem zakoniku marca 2012. Anketa Dela (februar 2012) je izmerila, da se bo referenduma udeležilo 44% volivcev  in da jih bo 60 % podprlo družinski zakonik, anketa Ninamedie (marec 2012) pa, da se jih bo 42 % zagotovo udeležilo referendoma, pri čemer je bilo 47 % anketiranih ZA, 40 % PROTI, 12 % pa neodločenih. Na koncu je bila udeležba le 30 %, zakonik pa je podprlo le 45 % volivcev.

Današnja anketa Ninamedia je še dodatno potrdila, da je trenutno v prednosti PROTI stran. Če ste med tistimi, ki podpirajo zakon, se torej referenduma zanesljivo udeležite.

World_laws_pertaining_to_homosexual_relationships_and_expression.svg

Temnomodro obarvane države, kjer se istospolni pari lahko poročijo. Ali bo Slovenija med njimi ostala tudi po 20. decembru 2015? (Vir: Wikipedia)

Opomba: Članek odraža stališče avtorice in ne nujno stališča uredništva bloga.


Nazadnje spremenjeno 19. 12. ob 9:58. Popravljenih nekaj jezikovnih in slogovnih napak, v četrtem odstavku pa pri stališču v oklepaju dodano, da gre bolj za vedenjsko namero.

Nazadnje spremenjeno 23. 12. ob 20:55. Spremenjen zaključek. Odstranjena opredelitev avtorice in geslo “Čas je ZA.”

Advertisements

Avtor: Ana Slavec

Doktorica statistike in raziskovalka na Arhivu družboslovnih podatkov na Fakulteti za družbene vede. Je članica upravnega odbora Društva mlada akademija, urednica bloga Udomačena statistika ter sovoditeljica Meta PHoDcasta. Na Twitterju je @aslavec.

5 thoughts on “Štiri anketne napake na primeru predreferendumskih anket

  1. Spregledala sem še raziskavo Episcentra, ki so jo naredili za TS Media: http://www.siol.net/novice/slovenija/2015/12/referendum_raziskava_javnega_mnenja.aspx

    Po moji objavi, v petek zvečer, pa je svoje (ne)napovedi objavil tudi Zenel Batagelj: https://zenelbatagelj.wordpress.com/2015/12/18/referendumu-nasproti-udelezba-okoli-35-tesno-bo/

  2. Moja pesimistična napoved se je žal uresničila: http://www.dvk-rs.si/index.php/si/

    Pri Valiconu na podlagi migration polla ugotavljajo, da veliko “gotovih” volivcev ni šlo na referendum: https://zenelbatagelj.wordpress.com/2015/12/20/3-velika-presenecenja-referenduma-2015-prispevek-k-razumevanu-refrendumov/

  3. (Kljub temu, da za napovedovanje premalo poznamo referendume) izgleda, da je se najbolj safe, da se pogleda preprosto anketirane, ki imajo kakrsnokoli verjetnost, da se udelezijo, pri cemer je potrebno nekloliko bolj utezit gotove, vendar BISTVENO manj kot je to v primeru DZ volitev. Cez novoletne praznike bomo potegnili vse, kar smo merili v pretekosti in se poigrali s temi strevilkami.

  4. En komentar glede zaključka članka. Glede na to, da gre za blog doktorskih študentov statistike namenjen medijskem poročanju s področja statistike, je informacija o tem, da je avtorica članka podpornica tega zakona popolnoma ne-relevantna. Avtoričina navedba »Čas je ZA« pa propaganda, ki v takšen blog ne sodi. Bilo bi primerneje, da v prihodnje za izražanje osebnih stališč izven področja statistike poiščete temu ustrezen medijski prostor. Statistika se že tako prepogosto zlorablja v takšne in drugačne namene. Z objavljanjem osebnih stališč, ki se ne tičejo statistike, pa ne pripomorete k izboljšanju te situacije. Komu naj potem družba še sploh verjame, ko se govori in piše o različnih statistikah.

    • Ana, hvala za komentar. Kot je navedeno pod člankom, ta odraža stališče mene kot avtorice in ne nujno stališča uredništva bloga.

      Sprejemam mnenje, da navedba ni primerna za blog, kjer pišemo o strokovnih stvareh. Ker gre pa vseeno za blog in ne za strokovno glasilo, sem si vseeno dovolila izraziti osebno stališče. Zakaj? Zaradi transparentnosti in zaradi občutka družbene odgovornosti. Priznam, da moja odločitev ni bila najbolj premišljena in jo obžalujem.

      Žal mi je, da se je moj zapis razumel kot propaganda. To ni bil moj namen. Z objavo nisem želela nikogar prepričevati, da spremeni stališče, ampak le spodbuditi tiste, ki že zavzemajo to stališče, da se udeležijo referenduma.

      Ob tem bi poudarila, da moje osebno stališče nikakor ni vplivalo na vsebino strokovnega dela tega zapisa. Zato zavračam očitek, da gre v tem primeru za zlorabo statistike. Se pa zavedam, da je to spolzek teren, kjer lahko hitro pride do nesporazumov. Zato se bom izražanju osebnih stališč na tem blogu odslej raje izogibala.

Oddajte komentar

Fill in your details below or click an icon to log in:

WordPress.com Logo

Komentirate prijavljeni s svojim WordPress.com računom. Odjava / Spremeni )

Twitter picture

Komentirate prijavljeni s svojim Twitter računom. Odjava / Spremeni )

Facebook photo

Komentirate prijavljeni s svojim Facebook računom. Odjava / Spremeni )

Google+ photo

Komentirate prijavljeni s svojim Google+ računom. Odjava / Spremeni )

Connecting to %s