Udomačena statistika

Študenti statistike pišemo blog.


Komentiraj

Simbolna analiza podatkov in analiza mešanic: statistika in geometrija, 1. del

Slika 1

Edwin Diday, ki je skupaj z Lynne Billard začetnik simbolne analize podatkov (Vir: modulad.fr)

V prispevku, ki je moj prvi na Udomačeni statistiki, želim kratko predstaviti dve metodi, s katerima sem se srečal v prvem letniku doktorskega študija statistike in se “zaljubil” vanju. Prvo, analizo simbolnih podatkov (angl. symbolic data analysis) sem spoznal pri predavanjih predmeta Sodobni statistični pristopi, kjer nam je o njej predavala doc. dr. Simona Korenjak Černe z Ekonomske fakultete. Drugo, analizo mešanic (angl. compositional data analysis) pa, zanimivo, bolj po naključju prek običajnega dnevnega statističnega in ekonometričnega brskanja po internetu. Najprej sem odkril, da je zanjo velik specialist tudi sedanji predsednik Statističnega društva Slovenije, prof. dr. Matevž Bren. Nato pa še večje presenečenje: da je na tem področju mednarodna referenca (kolikor mi je to znano) prof. dr. Tim Fry, ekonometrik in dekan Šole za ekonomijo, finance in marketing na RMIT v Melbournu (eni najboljših avstralskih univerz) ter odgovorni za organizacijo konference svetovnega združenja kulturnih ekonomistov ACEI drugo leto v Melbournu, pri kateri sem tudi sam v programskem znanstvenem odboru (kot nekdo, ki že več kot desetletje zelo aktivno deluje tudi na področju kulturne ekonomike). S prof. Fryjem pripravljava članek o uporabi metode analize mešanic pri analizi mednarodne menjave s kulturnimi dobrinami za nekatere statistične probleme, ki niso povsem običajno rešljivi z najbolj enostavnimi pristopi analize mešanic.

Namen tega prispevka seveda ni predstaviti podrobnosti obeh metod, pač pa prikazati njune osnovne značilnosti. Povedal bom tudi, zakaj se mi zdita pomembni za delo v sodobni statistiki. Zato bom izpustil mnoge podrobnosti, ki jih lahko najdete v literaturi s teh področij.

Pričnimo s simbolno analizo podatkov. Ko smo s kolegi na Ekonomski fakulteti in Inštitutu za ekonomska raziskovanja, pripravili neformalne ekonometrične seminarje, so bili mnogi navdušeni nad možnostmi, ki sta jih na prvih dveh seminarjih odlično prikazala izr. prof. dr. Anže Burger (o analizi kavzalnosti v ekonometriji) in doc. dr. Martin Žnidaršič (o strojnem učenju in uporabi v ekonomiji). Analiza kavzalnosti je “klasična”, ko govorimo o ekonometriji, čeprav  še vedno odpira velikanske možnosti novih raziskovanj. Posebej druga, strojno učenje, pa zaseda trenutno veliko prostora v razpravah o statistiki in se vedno pogosteje pojavlja tudi na področju ekonomije. Kolegom, s katerimi pripravljamo seminarje (Gibanje za ekonomsko pluralnost, GEP), sem v kratki napovedi seminarja povedal, da je simbolna analiza podatkov zame še bistveno bolj vznemirljivo področje od predhodnih dveh.

Zakaj? Ker gre pri simbolni analizi podatkov, katere začetnika sta bila predvsem matematika Edwin Diday in Lynne Billard[1], za povsem nov konceptualen pogled na statistiko. V njem spremenljivke niso več le številke, pač pa so dejansko lahko kar koli.  Povedano v jeziku matematike je “točka” v analizi simbolnih podatkov hiperkocka v p-dimenzionalnem prostoru ali pa kartezijski produkt porazdelitev. Na tak način vrednosti v simbolnih podatkih niso več omejene na številke z le eno numerično vrednostjo. V današnjem stanju simbolne analize podatkov ločimo naslednje tipe takšnih spremenljivk: intervalne, ko je spremenljivka dejansko interval vrednosti, omejen spodaj in zgoraj (denimo krvni tlak, telesna teža); večvrednostne/kategorialne, ki so sestavljene iz vrednosti po kategorijah spremenljivke (denimo vrsta bolezni, vrsta avtomobila); ter modalne, ki so spremenljivke z več stanji (angl. multistate), ki imajo vsaka svojo frekvenco, verjetnost ali utež (denimo kumulativna porazdelitev neke spremenljivke po izbranih kvantilih).

Tak tip podatkov seveda zahteva povsem drugačen pristop k analizi v smislu matematičnih in statističnih formulacij. Že izračun osnovnih opisnih uni- in bivariatnih statistik, kot so povprečje, standardni odklon, korelacija in kovarianca, je povsem drugačen (Več o tem v omenjenem temeljnem članku tega področja). Zaenkrat bi lahko dejali, da je področje še precej nerazvito, vsaj v luči ogromno možnosti, ki jih verjetno ponuja.

Naj povedano ilustriram s primerom iz omenjenega članka Billardove in Didayja. Denimo, da nas zanimajo vsi živeči v Bostonu, hkrati pa imamo podatke o številu otrok, ki jih ima vsak posameznik v vzorcu (z vrednostmi 0, 1, 2 ter 3 ali več otrok). Iz tega izhajajoča simbolna (modalna) spremenljivka je število otrok za živeče v Bostonu, ki je sestavljena iz štirih vrednosti, ki opisujejo relativne frekvence za vse tiste z nič, enim, dvema ter tremi ali več otroki. Pri nadaljnji analizi ne uporabljamo več osnovne “točkovne” spremenljivke števila otrok, pač pa novo, simbolno spremenljivko, ki je sestavljena iz štirih vrednosti in je ne moremo več opisati v preprostem kartezijanskem prostoru (glej sliko spodaj).

Slika 2

Od standardnih podatkovnih tabel do podatkovnih tabel simbolnih podatkov (Vir: Diday 2014, slide 7/62)

Kratko omenimo nekatere znane uporabe in razvite metode na področju. Cazes idr. (1997) ter Chouakria (1998) so razvili metodo glavnih komponent za simbolne podatke (intervalne spremenljivke). Faktorsko analizo za intervalne spremenljivke so razvili Cheira, Brito in Duarte Silva (2015). Metodo glavnih komponent za trismerne podatke (angl. three-way data) je oblikoval Ichino (2011). Številne metode so bile razvite za simbolno razvrščanje v skupine, denimo razdruževalne metode, razvite v Michalski, Diday in Stepp (1981) ter Michalski in Stepp (1983) ter aglomerativne, razvite denimo v Diday (1987) in Brito (1994, 1995). Med regresijskimi modeli naj omenim ločitev na modele za intervalne podatke (denimo Billard in Diday, 2000; 2002; 2006; Lima Neto in De Carvalho, 2008; 2010; ter Ahn idr., 2012) ter histogramske/modalne spremenljivke (tu obstajajo trije osrednji modeli, razviti v prispevkih Billard in Diday, 2006; Dias in Brito, 2015; ter Irpino in Verde, 2015).

Eden izmed pomembnejših dogodkov na področju je vsakoletna delavnica, ki je v letošnjem letu potekala tudi v Ljubljani, kjer so bile prisotne tako rekoč vse vodilne osebe na področju, vključno s prof. dr. Didayjem in prof. dr. Billardovo.

Treba je povedati, da smo na področju zelo aktivni tudi slovenski raziskovalci: v prvi meri skupina prof. dr. Vladimirja Batagelja, v kateri zelo aktivno delujeta predvsem že omenjena doc. dr. Simona Korenjak Černe in dr. Nataša Kejžar. Vsi navedeni so močno povezani tudi s študijem statistike pri nas, prva dva kot predavatelja, Nataša pa kot ena prvih doktorandk statistike na študiju v Sloveniji. Intervju z njo ste v preteklih letih lahko prebrali tudi na tem blogu.

[1] Billard, L. in  Diday, E. (2003). From the Statistics of Data to the Statistics of Knowledge: Symbolic Data Analysis. JASA. Journal of the American Statistical Association. June, Vol. 98, N° 462; in Billard, L. in Diday, E. (2006). Symbolic Data Analysis: Conceptual Statistics and Data Mining. Hoboken, New Jersey: John Wiley and Sons.

Advertisements


Komentiraj

Kdaj rečemo, da so rezultati čudni?

Pogosto se srečam z vprašanjem ali mislijo, če je to kar vidim iz podatkov čudno? Za čudno navadno smatram nekaj, česar ne pričakujem, da se bo zgodilo. Denimo, da bom zadel na loteriji, kar bi bil sorodnik čudnega, čudež tako zvani.

V statistiki se srečujemo z razlikami v povprečjih, za kar že tradicionalno uporabljamo t-test (če gre za razliko med dvema skupinama) in sorodne metode. Test je svoje ime dobil po porazdelitvi t, s pomočjo katere ocenimo ali gre za čudno razliko v povprečjih ali ne. Več o tem testu je pisal Črt v prispevku Zakaj je pivo tako dobro ali kdo je Student.

Poglejmo si kako gledamo na razlike v povprečjih s pomočjo praktičnega primera. Denimo, da imamo na voljo kosilnice za travo znamk Fergucon iz Wajdušne in Tomo Ovinkelj iz Raven na Koroškem. Od vsakega podjetja imamo na razpolago petdeset naprav. Predpostavimo, da imajo vse kosilnice enako velik rezervoar za bencin, ki ga napolnimo z enako količino goriva. Kosilnice uporabljamo dokler bencina ne zmanjka in ne ostanemo na travniku kot župniki s Primorske. Za vsako napravo zabeležimo čas obratovanja. Iz teh podatkov za vsako znamko naredimo frekvenčni diagram (število kosilnic, ki je porabila določeno količino goriva), ki bi simbolno prikazan izgledal nekako tako kot prikazuje slika spodaj.

poraba_goriva_velika_razlika

Povprečna poraba goriva kosilnic (o povprečjih več tu) ene in druge znamke je približno 30 in 50 minut, z nekaj odstopanja od povprečja. Drugače povedano je največ kosilnic obratovalo 30 oz. 50 minut, nekaj pa tudi več in manj.

Ali bi rekli, da se povprečna časa obratovanja teh dveh znamk razlikujeta? Na pomoč pri odgovoru nam lahko priskoči t-test. Odgovarja na vprašanje ali lahko, na podlagi števila meritev in razlike v povprečjih ter variance rečemo, da je med povprečji dovolj velika razlika.

Kaj pa če bi dobili takle rezultat? V tem primeru sta povprečja zelo skupaj, razlika v porabi goriva izgleda majhna.

poraba_goriva_majhna_razlika

Bi na podlagi te slike znali kupcu svetovati pri najboljšem nakupu, da bo lahko za sodček bencina kar se da dolgo lahko kosil travnik? Pri zadnjem primeru verjetno ni velikih (signifikantnih) razlik in bi rekli, da je vseeno katero znamko kupi. Seveda predvidevajoč, da gre pri obeh znamkah za primerljive naprave s primerljivo stopnjo udobja sedežev, oblazinjenim volanom, bleščečim kesonom, varnostjo zavor, debelino profila na kolesih, glasnost obratovanja, težavnost vzdrževanja, ipd. Temu rečemo predpostavke, ki so pomemben del v vsakodnevnem delu (in življenju?) statistika.

Kaj pa če bi bila cena bencina astronomsko visoka? Ali bi se splačalo, glede na majhne razlike, priporočiti znamko, ki sem jo na sliki označil z rdečo in ima v povprečju nižjo porabo (in kosi dlje časa)? Naši zaključki bodo odvisni ne samo od naših rezultatov ampak tudi od okoliščin, ki so za nas pomembne (npr. že omenjena cena goriva in velikost površine za košenje).

Še en primer, s katerim se nekateri pogosto srečamo, so različna razmerja , recimo v številu samcev in samic v danem vzorcu (ali npr. v primeru anket, deležev). Ali bi rekli, da je razmerje v populaciji 20 samcev in 20 samic na podlagi  vzorca 40 živali uravnoteženo ali v prid kateremu spolu?

> chisq.test(c(20, 20), p = c(0.5, 0.5))

    Chi-squared test for given probabilities

        data:  c(20, 20)

    X-squared = 0, df = 1, p-value = 1

P-vrednost hi-kvadrat testa nam namiguje, da sta v vzorcu 20 samcev in 20 samic enako zastopana. Tudi intuitivno bi tako rekli. Kaj pa 18 proti 22 v prid samicam?

Hi-kvadrat (𝛘2-kvadrat, angl. chi square, kar izgovorijo “kaj”) test (lahko med drugim) primerja dve števili in ju tehta, če sta si podobni glede na dano hipotezo. V zgornjem primeru sem predpostavljal, da bo razmerje samcev in samic v vzorcu 50:50, metodi “nahranil” podatke in ta mi svetuje, ali je s to metodo ta rezultat glede na značilnosti testa, “čuden”. Če sta si števili relativno podobni glede na dano hipotezo, bo poročal, da med njima ni zaznavne razlike*.

Pred kratkim sem se zamislil, ali je spolno razmerje v vzorcih 18 samcev in 33 samic uravnoteženo, ob predpostavki, da v vzorcih pričakujemo razmerje 50:50. Poglejmo kaj pravi test.

Chi-squared test for given probabilities

    data:  c(18, 33)

X-squared = 4.4118, df = 1, p-value = 0.03569

Test nam namiguje, da je manj verjetno, da bi ob pričakovanem razmerju 50:50 zgolj po naključju bolj težko prišlo do videnega rezultata. Do tega je prišlo zaradi najmanj ene od treh stvari:

  • zgolj po naključju, tudi če je v naravi razmerje 50:50,
  • v naravi razmerje ni 50:50 in je vzorec samo dober odraz stanja v naravi ali
  • vzorec je pristranski (ni bil nabran naključno).

Kako bo to vplivalo na našo odločitev pa je kot v prvem primeru s kosilnicami odvisno od konteksta. Za nekatere namene je tak rezultat lahko dovolj dober, za druge pa nikakor. Zamislimo si, da ste si udarili prst. Če ga pustite, da se pozdravi sam, bo do konca vašega življenja kriv, če pa se odločite za operacijo, pa je verjetnost 1/20 (0.05), da bo operacija za vas smrtna. Ali bi se odločili za operacijo, če je posledica vaše odločitve “le” kriv prst?

Na tviterju je biostatistik Roger D. Peng postavil vprašanje, po koliko metih mu verjamemo, ali ima pristranski ali fer kovanec (H = head/glava, T = tail/številka). Najboljši komentar je postavil Keith Williams, ko je vprašal, kakšna je cena, če se zmotimo. Kot bi rekli ameriški kolegi, “game-set-match”.

twitter_roger

Upam, da sem vas implicitno prepričal, da rezultati niso nikoli čudni, ampak je to stvar naše interpretacije. Odločamo se na podlagi poznavanja pojava in posledic, ki jih naša (ne)odločitev nosi. Statistika nam nam sama po sebi ne odgovori na zastavljeno vprašanje, nam pa pomaga do bolj obveščene odločitve.


1 komentar

Sam po SURSu, se sprehajam, grafe rišem, deklica ti

Še pomnite tovariši, ko nas je v večjem delu Slovenije prizadela ujma, ki je živi spomin ne pomni? Govorim seveda o februarskem žledu leta 2014. Posledic še danes nismo uspeli odpraviti v celoti, kar z vidika organizmov v gozdu seveda ni problem.

V prvih dneh po ujmi je bil del Slovenije odrezan od sveta, saj je bilo veliko gospodinjstev brez električne energije. Takrat sem postavil hipotezo, da bo to super čas za negledanje televizije (pomežik pomežik, dreg s komolcem) in bo po gestacijski dobi značilni za človeka (to je doba devetih mesecev, ko se zarodek razvija v materi) mogoče zaznati povečano število rojstev. V letu 2016 je to s pomočjo statističnih podatkov, ki jih vodi Statistični urad republike Slovenije (v nadaljevanju: SURS), moč preveriti.

S strani o Prebivalstvu sem posnel podatke o rojstvih po mesecih za zadnja štiri leta. Če 10.2.2014 prištejemo 240 dni (kolikor časa v povprečju traja nosečnost), dobimo kot rezultat 8.10.2014. Poglejmo število rojstev v septembru in novembru, predvsem pa oktobru. Nadaljujte z branjem


5 komentarjev

Štiri anketne napake na primeru predreferendumskih anket

V nedeljo bo potekal zakonodajni referendum, na katerem se bo glasovalo o vprašanju, ali naj se uveljavi Zakon o spremembah in dopolnitvah Zakona o zakonski zvezi in družinskih razmerjih (ZZZDR-D), ki ga je Državni zbor sprejel 3. marca 2015. Glas ZA bo podprl spremembo besedila 3., 12. in 16. člena zakona, kar bo omogočilo, da lahko zakonsko zvezo skleneta tudi osebi istega spola.

IMG_2540

Istospolna poroka v Redwood National Park v Kaliforniji, ki sem ji – povsem po naključju – prisostvovala ob obisku parka maja 2014. V Kaliforniji so istospolne poroke legalne od junija 2008.

Kakšen izid referenduma lahko pričakujemo? Nadaljujte z branjem


1 komentar

Ob mednarodnem dnevu za odpravo nasilja nad ženskami

Leta 1981 je bil na prvi feministični konferenci Latinske Amerike in Karibov v Bogoti 25. november razglašen za mednarodni dan za odpravo nasilja nad nad ženskami in sicer v spomin na sestre Mirabal, ki so bile brutalno umorjene v času Trujillove diktature v Dominikanski republiki leta 1960.

Nasilje nad ženskami je ena od najbolj razširjenih in skritih oblik kršitev človekovih pravic. Temelji na neenakovrednih družbenih odnosih med spoloma, izvira iz neenakomerne porazdelitve zasebne in družbene moči med spoloma, iz kulturnega okolja in sistema vzgoje. Nasilno vedenje je največkrat naučeno in se prenaša iz generacije v generacijo. Na svetovni ravni podatki, ki so jih zbrali Združeni narodi in druge mednarodne institucije med leti 2011-2014 (UN Women, Facts and Figures: Ending Violence against Women), kažejo, da Nadaljujte z branjem


2 komentarja

Vzorec ni le modna muha

Poletje se je poslovilo, prišli so hladnejši dnevi. In, vsaj za večino ženske populacije, to pomeni prevetritev omar in zamenjavo poletnih vzorcev za toplejše in bolj umirjene zimske. Vzorci imajo v modi posebno mesto: za različne priložnosti in postave se priporočajo različni vzorci. Kot je pisala že Ana, imajo vzorci posebno mesto tudi v statistiki – celo tako pomembno, da se jim posveča prav posebna veja statistike – inferenčna statistika.

AtticPatchwork

Tako kot je vzorec blaga kos blaga, s katerim želimo čim bolje predstaviti celotno tkanino, je vzorec v statistiki del populacije, s katerim želimo čim bolje predstaviti celotno populacijo. (Vir slike: Attic24)

Zakaj pravzaprav potrebujemo vzorce v statističnem preučevanju? No, vsekakor ne gre za modno muho. Vsaka raziskava je osnovana na raziskovalnem problemu, s katerim proučujemo neko populacijo – to je naša ciljna populacija. Velikokrat ciljne populacije pri raziskovanju ne moremo zajeti v celoti. Nadaljujte z branjem


Komentiraj

Pogovor s Tino Zupanič

Statistike v Sloveniji ni možno študirati le na 3. stopnji, ampak na tudi na 2. bolonjski stopnji. Magistrski študijski program Uporabna statistika se izvaja od leta 2013/2014, že pred tem pa je obstajal stari magistrski program, ki se je izvajal od leta 2002/2003. V rubriki Pogovori, se bomo lotili tudi alumnov magistrskega programa. Na njem je leta 2011 magistrirala naša naslednja sogovornica, Tina Zupanič.

tinaz

Tina Zupanič (vir: osebni arhiv)

Mag. Tina Zupanič je bila po diplomi najprej zaposlena na kot raziskovalka na Centru za metodologijo in informatiko na FDV (v podcentru, ki je sedaj Center za družboslovno informatiko), kjer se je ukvarjala z raziskovanjem rabe interneta v Sloveniji, mobilno rabo internetamobilno telefonijo, spletno obiskanostjo, pa tudi z bolj statističnimi temami, kot na primer napaka zaradi neodgovorov v anketah in uteževanje podatkov. Leta 2007 se je zaposlila na na takratnem Inštitutu za varovanje Zdravja (sedaj Nacionalni inštitut za javno zdravje), kjer je zaposlena še danes, in v tem času tudi magistrirala na temo neodgovorov v raziskavah, povezanih z zdravjem.

Na FDV sva kratek bili sodelavki, julija letos pa sva se srečali na konferenci ESRA, kjer sta s sodelavko Darjo Lavtar predstavljali na temo učinka spodbud respondentom na stopnje odgovorov v zdravstveni anketi CINDI ter o primerjavi zdravja nerespondentov in respondentov v treh slovenskih zdravstvenih anketah. Prosila sem jo, da za blog odgovori na nekaj vprašanj Nadaljujte z branjem