Vir: xkcd
Čeprav lahko znanost definiramo na mnogo načinov, je zagotovo eden njenih temeljev vzročno sklepanje, torej sklepanje o razmerjih med opaženimi pojavi. Iz statistike je dobro znana krilatica “korelacija ne pomeni kavzalnosti”, ki je dejansko eden začetkov, kjer lahko pričnemo našo zgodbo. Verjetno je prav zaradi zmožnosti preučevanja in dokazovanja povezav med pojavi statistika neločljiv del tako rekoč vsakega znanstvenega raziskovanja. Nadaljujte z branjem
Vir: Revolution Analytics
Ko sem se sam med mojim prvim doktorskim študijem, študijem ekonomije, srečeval z ekonometrijo, je bilo eno zanimivejših branj in poslušanj vezano na poletne inštitute NBER. Slednji so se pričeli s pregledom stanja v sodobni ekonometriji, ki sta ga izvedla dva izmed trenutno vodilnih svetovnih ekonometrikov, Guido Imbens in Jeffrey Wooldridge (vse prezentacije in odlična gradiva so še vedno dostopna tukaj). V naslednjem letu je sledil kot poseben del še: “pregled stanja v sodobni ekonometriji – časovne vrste” (tudi ta gradiva v celoti najdete tukaj), ki sta ga izvedla James Stock in Mark Watson.
Časovne vrste imajo torej že dolgo prav posebno mesto v statistiki, in še bolj specifično, ekonometriji. Pogosto niso del običajnih učbenikov oziroma se slednji velikokrat delijo na mikroekonometrijo (ki zajema tudi ekonometrijo panelnih podatkov, ki je sicer križanec presečnih podatkov in časovnih vrst) in ekonometrijo časovnih vrst. Še danes so le redki poskusi križanj, le počasi se tako denimo v ospredje prebijajo modeli panelne vektorske avtoregresije (t.i. panelni VAR oziroma PVAR).
Slika 1: John Aitchison (Vir: Wikipedia)
V drugem prispevku o simbolni analizi podatkov bomo govorili o sorodni metodi – analizi mešanic (angl. compositional data analysis, velikokrat boste srečali tudi kratico CoDa). Metodo analize mešanic je v statistiki utemeljil in razvil nedavno preminuli škotski statistik John Aitchison, ki je za delo na tem področju leta 1988 prejel tudi srebrno Guyjevo medaljo britanskega Kraljevega statističnega društva, ki velja za eno najprestižnejših statističnih priznanj na svetu.
Edwin Diday, ki je skupaj z Lynne Billard začetnik simbolne analize podatkov (Vir: modulad.fr)
V prispevku, ki je moj prvi na Udomačeni statistiki, želim kratko predstaviti dve metodi, s katerima sem se srečal v prvem letniku doktorskega študija statistike in se “zaljubil” vanju. Prvo, analizo simbolnih podatkov (angl. symbolic data analysis) sem spoznal pri predavanjih predmeta Sodobni statistični pristopi, kjer nam je o njej predavala doc. dr. Simona Korenjak Černe z Ekonomske fakultete. Drugo, analizo mešanic (angl. compositional data analysis) pa, zanimivo, bolj po naključju prek običajnega dnevnega statističnega in ekonometričnega brskanja po internetu. Najprej sem odkril, da je zanjo velik specialist tudi sedanji predsednik Statističnega društva Slovenije, prof. dr. Matevž Bren. Nato pa še večje presenečenje: da je na tem področju mednarodna referenca (kolikor mi je to znano) prof. dr. Tim Fry, ekonometrik in dekan Šole za ekonomijo, finance in marketing na RMIT v Melbournu (eni najboljših avstralskih univerz) ter odgovorni za organizacijo konference svetovnega združenja kulturnih ekonomistov ACEI drugo leto v Melbournu, pri kateri sem tudi sam v programskem znanstvenem odboru (kot nekdo, ki že več kot desetletje zelo aktivno deluje tudi na področju kulturne ekonomike). S prof. Fryjem pripravljava članek o uporabi metode analize mešanic pri analizi mednarodne menjave s kulturnimi dobrinami za nekatere statistične probleme, ki niso povsem običajno rešljivi z najbolj enostavnimi pristopi analize mešanic.
Pogosto se srečam z vprašanjem ali mislijo, če je to kar vidim iz podatkov čudno? Za čudno navadno smatram nekaj, česar ne pričakujem, da se bo zgodilo. Denimo, da bom zadel na loteriji, kar bi bil sorodnik čudnega, čudež tako zvani.
V statistiki se srečujemo z razlikami v povprečjih, za kar že tradicionalno uporabljamo t-test (če gre za razliko med dvema skupinama) in sorodne metode. Test je svoje ime dobil po porazdelitvi t, s pomočjo katere ocenimo ali gre za čudno razliko v povprečjih ali ne. Več o tem testu je pisal Črt v prispevku Zakaj je pivo tako dobro ali kdo je Student.
Poglejmo si kako gledamo na razlike v povprečjih s pomočjo praktičnega primera. Denimo, da imamo na voljo kosilnice za travo znamk Fergucon iz Wajdušne in Tomo Ovinkelj iz Raven na Koroškem. Od vsakega podjetja imamo na razpolago petdeset naprav. Predpostavimo, da imajo vse kosilnice enako velik rezervoar za bencin, ki ga napolnimo z enako količino goriva. Kosilnice uporabljamo dokler bencina ne zmanjka in ne ostanemo na travniku kot župniki s Primorske. Za vsako napravo zabeležimo čas obratovanja. Iz teh podatkov za vsako znamko naredimo frekvenčni diagram (število kosilnic, ki je porabila določeno količino goriva), ki bi simbolno prikazan izgledal nekako tako kot prikazuje slika spodaj.
Povprečna poraba goriva kosilnic (o povprečjih več tu) ene in druge znamke je približno 30 in 50 minut, z nekaj odstopanja od povprečja. Drugače povedano je največ kosilnic obratovalo 30 oz. 50 minut, nekaj pa tudi več in manj.
Ali bi rekli, da se povprečna časa obratovanja teh dveh znamk razlikujeta? Na pomoč pri odgovoru nam lahko priskoči t-test. Odgovarja na vprašanje ali lahko, na podlagi števila meritev in razlike v povprečjih ter variance rečemo, da je med povprečji dovolj velika razlika.
Kaj pa če bi dobili takle rezultat? V tem primeru sta povprečja zelo skupaj, razlika v porabi goriva izgleda majhna.
Bi na podlagi te slike znali kupcu svetovati pri najboljšem nakupu, da bo lahko za sodček bencina kar se da dolgo lahko kosil travnik? Pri zadnjem primeru verjetno ni velikih (signifikantnih) razlik in bi rekli, da je vseeno katero znamko kupi. Seveda predvidevajoč, da gre pri obeh znamkah za primerljive naprave s primerljivo stopnjo udobja sedežev, oblazinjenim volanom, bleščečim kesonom, varnostjo zavor, debelino profila na kolesih, glasnost obratovanja, težavnost vzdrževanja, ipd. Temu rečemo predpostavke, ki so pomemben del v vsakodnevnem delu (in življenju?) statistika.
Kaj pa če bi bila cena bencina astronomsko visoka? Ali bi se splačalo, glede na majhne razlike, priporočiti znamko, ki sem jo na sliki označil z rdečo in ima v povprečju nižjo porabo (in kosi dlje časa)? Naši zaključki bodo odvisni ne samo od naših rezultatov ampak tudi od okoliščin, ki so za nas pomembne (npr. že omenjena cena goriva in velikost površine za košenje).
Še en primer, s katerim se nekateri pogosto srečamo, so različna razmerja , recimo v številu samcev in samic v danem vzorcu (ali npr. v primeru anket, deležev). Ali bi rekli, da je razmerje v populaciji 20 samcev in 20 samic na podlagi vzorca 40 živali uravnoteženo ali v prid kateremu spolu?
> chisq.test(c(20, 20), p = c(0.5, 0.5)) Chi-squared test for given probabilities data: c(20, 20) X-squared = 0, df = 1, p-value = 1
P-vrednost hi-kvadrat testa nam namiguje, da sta v vzorcu 20 samcev in 20 samic enako zastopana. Tudi intuitivno bi tako rekli. Kaj pa 18 proti 22 v prid samicam?
Hi-kvadrat (𝛘2-kvadrat, angl. chi square, kar izgovorijo “kaj”) test (lahko med drugim) primerja dve števili in ju tehta, če sta si podobni glede na dano hipotezo. V zgornjem primeru sem predpostavljal, da bo razmerje samcev in samic v vzorcu 50:50, metodi “nahranil” podatke in ta mi svetuje, ali je s to metodo ta rezultat glede na značilnosti testa, “čuden”. Če sta si števili relativno podobni glede na dano hipotezo, bo poročal, da med njima ni zaznavne razlike*.
Pred kratkim sem se zamislil, ali je spolno razmerje v vzorcih 18 samcev in 33 samic uravnoteženo, ob predpostavki, da v vzorcih pričakujemo razmerje 50:50. Poglejmo kaj pravi test.
Chi-squared test for given probabilities data: c(18, 33) X-squared = 4.4118, df = 1, p-value = 0.03569
Test nam namiguje, da je manj verjetno, da bi ob pričakovanem razmerju 50:50 zgolj po naključju bolj težko prišlo do videnega rezultata. Do tega je prišlo zaradi najmanj ene od treh stvari:
Kako bo to vplivalo na našo odločitev pa je kot v prvem primeru s kosilnicami odvisno od konteksta. Za nekatere namene je tak rezultat lahko dovolj dober, za druge pa nikakor. Zamislimo si, da ste si udarili prst. Če ga pustite, da se pozdravi sam, bo do konca vašega življenja kriv, če pa se odločite za operacijo, pa je verjetnost 1/20 (0.05), da bo operacija za vas smrtna. Ali bi se odločili za operacijo, če je posledica vaše odločitve “le” kriv prst?
Na tviterju je biostatistik Roger D. Peng postavil vprašanje, po koliko metih mu verjamemo, ali ima pristranski ali fer kovanec (H = head/glava, T = tail/številka). Najboljši komentar je postavil Keith Williams, ko je vprašal, kakšna je cena, če se zmotimo. Kot bi rekli ameriški kolegi, “game-set-match”.
Upam, da sem vas implicitno prepričal, da rezultati niso nikoli čudni, ampak je to stvar naše interpretacije. Odločamo se na podlagi poznavanja pojava in posledic, ki jih naša (ne)odločitev nosi. Statistika nam nam sama po sebi ne odgovori na zastavljeno vprašanje, nam pa pomaga do bolj obveščene odločitve.
“Kdaj lahko rešeš, da imaš “big data”? Ko je datoteka tako velika, da je ne moreš odpreti na svojem računalniku.” Nekako takole smo se, malo za hec malo za res, do masivnih podatkov (slovenski izraz za “big data”) opredelili na večerji s kolegom, ki dela na Googlu, ko je pred letom ali dvema obiskal naš raziskovalni center. “Big data” v marsikaterih krogih velja za modno muho (“buzzword”), saj se zadnje čase uporablja vsevprek – bil je na primer ena izmed glavnih tem na lanskih konferencah AAPOR in Webdatanet ter tudi osrednja tema Statističnega dne. Sicer pa imajo masivni podatki že več desetletno zgodovino in za marsikoga, ki se ukvarja z obdelavo podatkov in statistiko, taka podatkovja, niso nič novega. Res pa je, da tako velikost kot obseg tovrstnih podatkov vse hitreje naraščata.
Masivni podati pomenijo številne priložnosti za praktično uporabo na več področjih – o tem je na primer govori Kennet Cukier (urednik pri reviji The Economist) v TED videu ‘Big data is better data’ – v tej objavi pa nas nasprotno zanimajo predvsem izzivi, ki jih prinašajo za delo nas, statistikov. Čeprav masivni podatki zaradi kompleksnosti in velikosti zahtevajo drugačne pristope k analizi, ti pristopi še vedno stojijo na starih temeljih, so ugotavljali na okrogli mizi na lanskem Statističnem dnevu. Pa tudi zbiranje podatkov s spraševanjem bo še dolgo relevantno.
Kakšna pa je v dobi masivnih podatkov vloga vzorčenja, tj. izbiranja enot iz populacije v vzorec? Zakaj se zadovoljiti le z vzorcem enot, če lahko dostopamo do celotne populacije? En razlog je seveda to, da je včasih manj več – bolj kot velikost podatkovja je namreč pomembno to, da podatki koneceptualno ustrezajo temu, kar želimo meriti. Toda tudi v primeru, da masovovni podatki niso pristranski, se v praksi še vedno uporablja vzorčenje. Zakaj? Če se vrnem k večerji, s katero sem začela ta prispevek. Kolega z Googla nam je povedal zgodbo, kako je od statistika na sosednjem oddelku potreboval določeno poizvedbo in bil presenečen, da je ta ni pognal na celotni bazi, ampak le na vzorcu podatkov. Podatkovna baza je bila namreč tako masivna, da jih niti z najboljšimi računalniki ne zmorejo učinkovito obdelati.
Na to anekdoto sem se spomnila lani, med gledanjem tretje sezone ameriške nadaljevanke House of cards. Doug Stamper (Michael Kelly), išče Rachel Posner (Rachel Brosnahan), ki bi lahko bila pomembna priča v morebitnem procesu proti predsedniku Franku Underwoodu (Kevin Spacey). Obrne se na hekerja Gavina Orsaya (Jimmi Simpson), ki je zaposlen na FBI oddelku za kibernetski kriminal. Gavinu uspe dostop do posnetkov prometnih kamer, v katerih potem išče njen obraz. Vendar je podatkov veliko preveč, da bi zmogel obdelati vse, zato s tehnologijo zaznavanja obraza pregleduje samo slučajno izbran vzorec 10% posnetkov. Vzorca ne more povečati, saj bi to sprožilo varnostne alarme.
Če še kdo ni gledal tretje sezone serije in se želi izogniti kvarnikom, naj ta odstavek preskoči. Za optimizacijo iskanja Gavin potrebuje dodatne informacije o Rachel, zato se spoprijatelji z njeno nekdanjo prijateljico Liso Williams (Kate Lyn Sheil). Od dekleta izve, da sta se pogovarjali o pobegu v zvezno državo Nova Mehika. Na podlagi teh podatkov lahko Gavin iskanje omeji na manjši obseg in mu jo uspe izslediti. Kako se zgodba konča, pa si sami poglejte.
Danes se je začela nova sezona nadaljevanke in zanimivo bo videti, ali bo statistika spet imela kakšno posebno vlogo v zgodbi. Ta se v filmih, nadaljevankah in na sploh v popularni kulturi tako redko pojavlja, da smo toliko bolj pozorni še na najmanjšo omembo.
Svet, kjer ne bi potrebovali inferenčne statistike, pa je zaenkrat še domena znanstvene fantastike.
Še pomnite tovariši, ko nas je v večjem delu Slovenije prizadela ujma, ki je živi spomin ne pomni? Govorim seveda o februarskem žledu leta 2014. Posledic še danes nismo uspeli odpraviti v celoti, kar z vidika organizmov v gozdu seveda ni problem.
V prvih dneh po ujmi je bil del Slovenije odrezan od sveta, saj je bilo veliko gospodinjstev brez električne energije. Takrat sem postavil hipotezo, da bo to super čas za negledanje televizije (pomežik pomežik, dreg s komolcem) in bo po gestacijski dobi značilni za človeka (to je doba devetih mesecev, ko se zarodek razvija v materi) mogoče zaznati povečano število rojstev. V letu 2016 je to s pomočjo statističnih podatkov, ki jih vodi Statistični urad republike Slovenije (v nadaljevanju: SURS), moč preveriti.
S strani o Prebivalstvu sem posnel podatke o rojstvih po mesecih za zadnja štiri leta. Če 10.2.2014 prištejemo 240 dni (kolikor časa v povprečju traja nosečnost), dobimo kot rezultat 8.10.2014. Poglejmo število rojstev v septembru in novembru, predvsem pa oktobru. Nadaljujte z branjem
