Udomačena statistika

Študenti statistike pišemo blog.


Komentiraj

Kdaj rečemo, da so rezultati čudni?

Pogosto se srečam z vprašanjem ali mislijo, če je to kar vidim iz podatkov čudno? Za čudno navadno smatram nekaj, česar ne pričakujem, da se bo zgodilo. Denimo, da bom zadel na loteriji, kar bi bil sorodnik čudnega, čudež tako zvani.

V statistiki se srečujemo z razlikami v povprečjih, za kar že tradicionalno uporabljamo t-test (če gre za razliko med dvema skupinama) in sorodne metode. Test je svoje ime dobil po porazdelitvi t, s pomočjo katere ocenimo ali gre za čudno razliko v povprečjih ali ne. Več o tem testu je pisal Črt v prispevku Zakaj je pivo tako dobro ali kdo je Student.

Poglejmo si kako gledamo na razlike v povprečjih s pomočjo praktičnega primera. Denimo, da imamo na voljo kosilnice za travo znamk Fergucon iz Wajdušne in Tomo Ovinkelj iz Raven na Koroškem. Od vsakega podjetja imamo na razpolago petdeset naprav. Predpostavimo, da imajo vse kosilnice enako velik rezervoar za bencin, ki ga napolnimo z enako količino goriva. Kosilnice uporabljamo dokler bencina ne zmanjka in ne ostanemo na travniku kot župniki s Primorske. Za vsako napravo zabeležimo čas obratovanja. Iz teh podatkov za vsako znamko naredimo frekvenčni diagram (število kosilnic, ki je porabila določeno količino goriva), ki bi simbolno prikazan izgledal nekako tako kot prikazuje slika spodaj.

poraba_goriva_velika_razlika

Povprečna poraba goriva kosilnic (o povprečjih več tu) ene in druge znamke je približno 30 in 50 minut, z nekaj odstopanja od povprečja. Drugače povedano je največ kosilnic obratovalo 30 oz. 50 minut, nekaj pa tudi več in manj.

Ali bi rekli, da se povprečna časa obratovanja teh dveh znamk razlikujeta? Na pomoč pri odgovoru nam lahko priskoči t-test. Odgovarja na vprašanje ali lahko, na podlagi števila meritev in razlike v povprečjih ter variance rečemo, da je med povprečji dovolj velika razlika.

Kaj pa če bi dobili takle rezultat? V tem primeru sta povprečja zelo skupaj, razlika v porabi goriva izgleda majhna.

poraba_goriva_majhna_razlika

Bi na podlagi te slike znali kupcu svetovati pri najboljšem nakupu, da bo lahko za sodček bencina kar se da dolgo lahko kosil travnik? Pri zadnjem primeru verjetno ni velikih (signifikantnih) razlik in bi rekli, da je vseeno katero znamko kupi. Seveda predvidevajoč, da gre pri obeh znamkah za primerljive naprave s primerljivo stopnjo udobja sedežev, oblazinjenim volanom, bleščečim kesonom, varnostjo zavor, debelino profila na kolesih, glasnost obratovanja, težavnost vzdrževanja, ipd. Temu rečemo predpostavke, ki so pomemben del v vsakodnevnem delu (in življenju?) statistika.

Kaj pa če bi bila cena bencina astronomsko visoka? Ali bi se splačalo, glede na majhne razlike, priporočiti znamko, ki sem jo na sliki označil z rdečo in ima v povprečju nižjo porabo (in kosi dlje časa)? Naši zaključki bodo odvisni ne samo od naših rezultatov ampak tudi od okoliščin, ki so za nas pomembne (npr. že omenjena cena goriva in velikost površine za košenje).

Še en primer, s katerim se nekateri pogosto srečamo, so različna razmerja , recimo v številu samcev in samic v danem vzorcu (ali npr. v primeru anket, deležev). Ali bi rekli, da je razmerje v populaciji 20 samcev in 20 samic na podlagi  vzorca 40 živali uravnoteženo ali v prid kateremu spolu?

> chisq.test(c(20, 20), p = c(0.5, 0.5))

    Chi-squared test for given probabilities

        data:  c(20, 20)

    X-squared = 0, df = 1, p-value = 1

P-vrednost hi-kvadrat testa nam namiguje, da sta v vzorcu 20 samcev in 20 samic enako zastopana. Tudi intuitivno bi tako rekli. Kaj pa 18 proti 22 v prid samicam?

Hi-kvadrat (𝛘2-kvadrat, angl. chi square, kar izgovorijo “kaj”) test (lahko med drugim) primerja dve števili in ju tehta, če sta si podobni glede na dano hipotezo. V zgornjem primeru sem predpostavljal, da bo razmerje samcev in samic v vzorcu 50:50, metodi “nahranil” podatke in ta mi svetuje, ali je s to metodo ta rezultat glede na značilnosti testa, “čuden”. Če sta si števili relativno podobni glede na dano hipotezo, bo poročal, da med njima ni zaznavne razlike*.

Pred kratkim sem se zamislil, ali je spolno razmerje v vzorcih 18 samcev in 33 samic uravnoteženo, ob predpostavki, da v vzorcih pričakujemo razmerje 50:50. Poglejmo kaj pravi test.

Chi-squared test for given probabilities

    data:  c(18, 33)

X-squared = 4.4118, df = 1, p-value = 0.03569

Test nam namiguje, da je manj verjetno, da bi ob pričakovanem razmerju 50:50 zgolj po naključju bolj težko prišlo do videnega rezultata. Do tega je prišlo zaradi najmanj ene od treh stvari:

  • zgolj po naključju, tudi če je v naravi razmerje 50:50,
  • v naravi razmerje ni 50:50 in je vzorec samo dober odraz stanja v naravi ali
  • vzorec je pristranski (ni bil nabran naključno).

Kako bo to vplivalo na našo odločitev pa je kot v prvem primeru s kosilnicami odvisno od konteksta. Za nekatere namene je tak rezultat lahko dovolj dober, za druge pa nikakor. Zamislimo si, da ste si udarili prst. Če ga pustite, da se pozdravi sam, bo do konca vašega življenja kriv, če pa se odločite za operacijo, pa je verjetnost 1/20 (0.05), da bo operacija za vas smrtna. Ali bi se odločili za operacijo, če je posledica vaše odločitve “le” kriv prst?

Na tviterju je biostatistik Roger D. Peng postavil vprašanje, po koliko metih mu verjamemo, ali ima pristranski ali fer kovanec (H = head/glava, T = tail/številka). Najboljši komentar je postavil Keith Williams, ko je vprašal, kakšna je cena, če se zmotimo. Kot bi rekli ameriški kolegi, “game-set-match”.

twitter_roger

Upam, da sem vas implicitno prepričal, da rezultati niso nikoli čudni, ampak je to stvar naše interpretacije. Odločamo se na podlagi poznavanja pojava in posledic, ki jih naša (ne)odločitev nosi. Statistika nam nam sama po sebi ne odgovori na zastavljeno vprašanje, nam pa pomaga do bolj obveščene odločitve.

Advertisements


5 komentarjev

Štiri anketne napake na primeru predreferendumskih anket

V nedeljo bo potekal zakonodajni referendum, na katerem se bo glasovalo o vprašanju, ali naj se uveljavi Zakon o spremembah in dopolnitvah Zakona o zakonski zvezi in družinskih razmerjih (ZZZDR-D), ki ga je Državni zbor sprejel 3. marca 2015. Glas ZA bo podprl spremembo besedila 3., 12. in 16. člena zakona, kar bo omogočilo, da lahko zakonsko zvezo skleneta tudi osebi istega spola.

IMG_2540

Istospolna poroka v Redwood National Park v Kaliforniji, ki sem ji – povsem po naključju – prisostvovala ob obisku parka maja 2014. V Kaliforniji so istospolne poroke legalne od junija 2008.

Kakšen izid referenduma lahko pričakujemo? Nadaljujte z branjem


3 komentarji

Stara družba, nova družba: trendi kvantitativnega raziskovanja s 70. konference AAPOR

Letošnja konferenca organizacije AAPOR (American Association for Public Opinion Research) se je med 14. in 17. majem odvijala v Hollywoodu – ne v filmski tovarni sanj, temveč v istoimenskem kraju na Floridi. Kot je zapisala Ana v svojem poročilu iz 2013, je ta konferenca eden izmed ključnih vsakoletnih dogodkov za “za vse, ki se ukvarjamo z metodologijo anketnega raziskovanja”. Letos je konferenca praznovala okroglo 70. izvedbo.

Pri tem je potrebno poudariti, da je AAPOR prerasel svoje ameriške okvirje – člani prihajajo iz različnih koncev sveta in predstavitve na tej konferenci so bile dokaj geografsko razgibane za organizacijo, katere ime se začne z “American”. Še pomembneje, udeleženci prihajajo iz raznolikih sektorjev. Člani akademskih institucij smo predstavljali 30% vseh prijavljenih udeležencev, 26% jih je prišlo iz zasebnega sektorja, 12% pa iz neprofitnega (vir). Med drugim so bili na letošnjem AAPOR-ju zastopani Google, Facebook, Microsoft, CNN in Nielsen, če omenim samo nekaj najbolj znanih imen. Nadaljujte z branjem


Komentiraj

Politična usmerjenost slovenskih volivcev

Tako, dobil sem vašo pozornost. Kot se že razbere iz naslova, bo govora o politiki. V času volitev in referendumov se pogosto razvname debata o politični usmerjenosti volivcev in se poskuša napovedati izid glede na trenutno vzdušje. Politični analitiki so včasih tako pametni, da jim že škodi (poglejmo primer zadnjega napovedovanja izida volitev v Veliki Britaniji in dejanski rezultat), zato potrebujemo konkretne, nepristranske podatke. Več o tem v eni od prihodnjih objav, kjer bomo pod drobnogled vzeli anketo, ki je bila izvedena za potrebe plebiscita leta 1990. Nadaljujte z branjem


1 komentar

Kako prešteti slovenske blogerje?

Pisala nam je bralka Nina, ki jo je zanimalo, kako priti do statističnih podatkov, kot so število blogerjev v Sloveniji, kako je število naraščalo/padalo v zadnjih štirih letih ter kdo piše bloge (spol, starost, tema, demografski podatki). Vprašanje je veliko bolj zahtevno, kot se zdi na prvi pogled. Zanj se ji zahvaljujemo in odgovor objavljamo na blogu.  Nadaljujte z branjem


7 komentarjev

Krasne nove metode ali Kdaj bodo ankete izumrle?

Ob opazovanju zmožnosti pridobivanja in analize podatkov, ki nam ga omogoča nagel razvoj informacijsko-komunikacijskih tehnologij, si nemalo kdo postavlja vprašanje, ali za pridobivanje kvantitativnih podatkov sploh še potrebujemo anketno raziskovanje. Imamo sisteme, ki omogočajo beleženje vrste podatkov, od nakupov v trgovinah do sledenja mobilnim napravam. Za razliko od 20 in več let nazaj, so podatki dandanes torej relativno poceni dobrina. Dodatna prednost je, da je veliko od teh podatkov možno analizirati v realnem času, od Google iskalnih trendov (npr. gripa ali razne trenutno vroče teme) do ekonomskih indeksov na podlagi cen v spletnih trgovinah.

Na področju družboslovja je opazno predvsem navdušenje nad zmožnostmi procesiranja podatkov s spletnih socialnih omrežij, kot sta Facebook in Twitter – nekateri govorijo celo o novi vedi, tviterologiji. Razloge za entuziazem odlično ponazori Nicholas A. Christakis (NY Times, 24 Jun 2011): »If you had asked social scientist even 20 years ago what powers they dreamed of acquiring, they might have cited the capacity to incospicuosly track the behaviors, purchases, movements, interactions and thoughts of whole cities of people, in real time.« Nadaljujte z branjem