Podatkovne tabele in urejeni podatki

Podatkovne tabele (angl. Data Frames)

Podatkovne tabele (ali pa v dobesednem prevodu okviri) so pomembna nadgradnja osnovnega tipa seznamov: tabela je pravzaprav predstavljena kot seznam njenih stolpcev (tudi vsak stolpec tabele je seznam). Namenjene so shranjevanju množice podatkov (angl. data set), ki so predmet analize.

Pogosta navada pri analizi podatkov je, da vrstice ustrezajo opazovanim enotam (angl. units). Enote lahko imenujemo tudi primerki oz. primeri (angl. examples). V tem primeru stolpci ustrezajo opazovanim ali izmerjenim lastnostim (angl. attributes) enot, ki jih imenujemo spremenljivke (angl. variables). Spremenljivka torej podaja in tudi vsebuje vse opazovane ali izmerjene vrednosti ustreznega atributa enote.

Poglejmo si primer preproste podatkovne tabele v kateri so enote osebe:

osebe_df = data.frame(
  ime = c("Mojca", "Janez", "Špela", "Vito"),
  spol = factor(c("ž", "m", "ž", "m"), levels=c("m", "ž")),
  starost = c(30, 48, 63, 27)
)
osebe_df

Podatkovna tabela vsebuje podatke o štirih opazovanih enotah (osebah). Vsaka oseba je opisana s tremi lastnostmi, ime, spol in starost, torej podatkovna množica ima tri spremenljivke z istimi imeni, ime, spol in starost.

Domena spremenljivke je množica možnih vrednosti te spremenljivke. Tako je, na primer, domena spremenljivke spol množica {m, ž}, domena spremenljivke starost pa množica naravnih števil. Že takoj je jasno, da so lahko spremenljivke dveh tipov:

• kvantitativne spremenljvike imajo (lahko tudi neskončno) domeno številčnih vrednosti,
• kvalitativne spremenljivke imajo končno domeno, t.j., množico vnaprej znanih vrednosti.

Vrednosti kvantitativnih spremenljivk so tipa integer ali dobule, vrednosti kvalitativnih pa so tipa factor ali string.

Preverimo sedaj kakšnega tipa je podatkovna tabela v R-ju in kakšne so lastnosti tega tipa:

typeof(osebe_df)

[1] "list"

attributes(osebe_df)

$names
[1] "ime"     "spol"    "starost"

$class
[1] "data.frame"

$row.names
[1] 1 2 3 4

Dva pomembna atributa podatkovne tabele sta:

• names je vektor nizov znakov, ki ustrezajo imenom stolpcev.
• row.namesje običajno vektor celih števil oblike 1:n, kjer je n število vrstic v tabeli. Lahko bi bil tudi vektor nizov znakov, kar omogoča poimenovanje vrstic. A običajno se tega ne poslužujemo: če imajo vrstice imena in torej imajo imena nekakšen podatkovni pomen, potem imenom namenimo (prvi) stolpec v tabeli.

Vrednosti teh atributov lahko dobimo s funkcijami rownames in colnames (slednjo lahko zamenjamo z names, a temu se načrtno izogibamo, da bo koda bolj berljiva). Število vrstic in stolpcev dobimo s funkcijama nrow in ncol:

paste("Dimenzije tabele osebe_df:",
    nrow(osebe_df), "vrstice in",
    ncol(osebe_df), "stolpci."
)

[1] "Dimenzije tabele osebe_df: 4 vrstice in 3 stolpci."

rownames(osebe_df)

[1] "1" "2" "3" "4"

colnames(osebe_df)

[1] "ime"     "spol"    "starost"

Stolpci v tabeli so seznami, kar omogoča veliko fleksibilnost pri tipih elementov tabele: vsak element je lahko svojega tipa. Kljub temu, za lažjo analizo in vizualizacijo podatkov se običajno omejimo na take tabele, kjer ima vsak stolpec elemente istega tipa.

Podatkovne tabele tipa tibble

Osnovni podatkovni tip data.frame v R-ju je lahko nadležen, predvsem zato, ker upošteva vse navade R-ja glede prisile in dinamičnega prilagajanja tipov. Tako, na primer, če je rezultat indeksiranja stolpcev v tabeli en sam stolpec, ga bo R avtomatsko spremenil v vektor ali seznam - v primeru dveh ali več stolpcev bo pa rezultat še vedno tabela.

Zato pogosto uporabljamo podatkovne tabele tipa tibble, ki jih implementira istoimenski CRAN paket:

library(tibble)

osebe_dft = as_tibble(osebe_df)
osebe_dft

V nadaljevanju si oglejmo nekaj razlik med tibble in data.frame.

Imena stolpcev v tibble so bolj fleksibilna, kot tista v data.frame, predvsem pa se ne spremenijo kar samodejno brez opozoril:

colnames(data.frame(`1` = c(1,2,3)))

[1] "X1"

colnames(tibble(`1` = c(1,2,3)))

[1] "1"

Pri kreiranju tabele tipa tibble so stolpci, ki vsebujejo nize znakov, samodejno pretvorijo v faktorje, kar je lahko prednost ali slabost. Preverite še enkrat primer tabele zgoraj in opazili boste, da smo za pretvorbo stolpca v faktor poskrbeli sami med ustvarjanjem podatkovne tabele.

Nadalje, podatkovni tip tibble ne omogoča poimenovanje vrstic v tabeli. Kot smo zapisali zgoraj je poimenovanje stolpcev itak nezaželeno.

Nenazadnje, tibble omogoča sklicevanje na prejšnje stolpce pri tvorjenju novih:

starost_v_letih = function(datum_rojstva) {
  as.integer(
    as.numeric(difftime(Sys.Date(), datum_rojstva, units="weeks")) / 52.25
  )
}

osebe_dft = tibble(
  ime = c("Mojca", "Janez", "Špela", "Vito"),
  spol = factor(c("ž", "m", "ž", "m"), levels=c("ž", "m")),
  datum.rojstva = as.Date(c("1991-09-15", "1973-02-04", "1958-07-30", "1995-05-27")),
  starost = starost_v_letih(datum.rojstva)
)
osebe_dft

Analizirajte pozorno funkcijo za izračun starosti osebe v letih na osnovi podanega datuma rojstva.

Indeksiranje podatkovnih tabel

Podatkovne tabele, tako kot matrike, lahko indeksiramo z navajanjem indeksa vrstice i in nato indeksa stolpca j, torej df[i, j]. Če kakšnega izmed teh dveh indeksov pustimo praznega, dobimo kot rezultat vse vrstice oz. stolpce podatkovne tabele. Pozor: rezultat indeksiranja je tabela, le če uporabljamo podatkovne tabele tipa tibble ali pa nastavimo argument drop=FALSE:

osebe_dft[c(1,2), ]

osebe_dft[c(1,1,1,2), ]

osebe_dft[, -3]

osebe_dft[c(1,2), "spol"]

osebe_df[c(1,2), "spol"] # opazuj razliko s prejšnjim rezultatom

[1] ž m
Levels: m ž

osebe_df[c(1,2), "spol", drop=FALSE]

Če drop=FALSE ne nastavimo in je df podatkovna tabela tipa data frame, se bo tip rezultata (prisilno) prilagodil v vektor (če je rezultat indeksiranja ena vrstica ali en stolpec tabele) oziroma skalar (če je rezultat indeksiranja vrednost ene celice v tabeli).

Za indeksiranje podatkovnih tabel lahko uporabljamo vse načine indeksiranja, ki jih poznamo iz indeksiranja vektorjev in seznamov. Če si zraven zapomnimo, da je tabela pravzaprav seznam stolpcev, vemo kako pridemo do vsebine enega stolpca na tri različne načine (najbolj pogosto uporabljamo zadnjega, ki je kratek in hkrati berljiv):

osebe_dft[[1]]

[1] "Mojca" "Janez" "Špela" "Vito" 

osebe_dft[["starost"]]

[1] 31 49 64 27

osebe_dft$datum.rojstva

[1] "1991-09-15" "1973-02-04" "1958-07-30" "1995-05-27"

V nadaljevanju si oglejmo še nekaj načinov indeksiranja, ki jih poznamo še od prej, a tukaj jih ponazorimo na podatkovnih tabelah.

Lahko indeksiramo z logičnim pogojem zato, da dobimo podmnožico vrstic, ki pogoju ustrezajo:

osebe_dft[osebe_dft$starost > 45, ]

osebe_dft$starost > 45 # da ugotovimo zakaj indeksiranje zgoraj pravilno deluje

[1] FALSE  TRUE  TRUE FALSE

Z indeksiranjem si lahko pomagamo tudi pri brisanju stolpcev (ali vrstic) tabele:

osebe_dft1 = osebe_dft[, -3]
osebe_dft1

Z indeksiranjem lahko tudi urejamo vrstice v tabeli v naraščajočem ali padajočem vrstnem redu, tako da v indksu uporabimo funkcijo order:

order(osebe_dft$starost)

[1] 4 1 2 3

osebe_dft[order(osebe_dft$starost), ]

osebe_dft[order(osebe_dft$starost, decreasing = TRUE), ]

osebe_dft[order(osebe_dft$spol), ]

osebe_dft[order(osebe_dft$spol, -osebe_dft$starost), ]

osebe_dft[, order(colnames(osebe_dft))]

Z indeksiranjem tudi enostavno vzorčimo primere s ponavaljanjem ali brez

osebe_dft[sample(nrow(osebe_dft), 2), ]

osebe_dft[sample(nrow(osebe_dft), 10, replace=T), ]

---

Od podatkov do podatkovnih tabel

Podatki o opazovanih enotah lahko zbiramo na različne načine. Lahko jih pripravimo iz lastnih meritev in jih sami vnašamo v R v obliki vektorjev in seznamov. Lahko jih pridobimo v obliki preglednic Excel iz nekega standardnega vira statističnih podatkov, kot je podatkovna baza SiStat Statističnega urada Republike Slovenije ali pa podatkovna baza Eurostat, evropskega statističnega urada. Spletna enciklopedija Wikipedia je tudi bogat vir podatkovnih tabel, kot je na primer tabela s podatki o bruto domačem proizvodu držav.

Kot bomo spoznali v nadaljevanju, R ponuja priročne funkcije za branje podatkov iz datotek s preglednicami Excel ali iz podatkovnih tabel v spletnih enciklopediji Wikipedia. Pridobivanje takih podatkov in njihovo branje oziroma transformacija v R-jevske podatkovne tabele je zato relativno enostavno. Ker se običajno zaplete je, da imajo podatki pridobljeni iz različnih podatkovnih virov različno strukturo.

Struktura in pomen podatkov

Poglejmo si preprosti primer. Denimo, da opazujemo nekaj objektov, pravokotnikov in kvadratov in pri tem merimo njihove dimenzije. Rezultate meritev smo si zapisali v naslednji seznam:

objekti = list(
  o1 = list("kvadrat", 3),
  o2 = list("pravokotnik", c(2, 7)),
  o3 = list("pravokotnik", c(9, 4)),
  o4 = list("kvadrat", 8),
  o5 = list("pravokotnik", c(6, 5))
)

Preden se lotimo analize podatkov o opisanih objektih, bi jih morali pretvoriti v podatkovno tabelo. A podatkovne tabele so lahko različnih oblik, ki jim rečemo tudi podatkovne strukture (angl. data structures) in vsaka ta oblika oziroma struktura bi lahko bila sprejemljiv način zapisa podatkov v podatkovno tabelo. Poglejmo si nekaj primerov podatovnih tabel za podane objekte.

Prva podatkovna tabela umesti objekte v vrstice tabele, tri njihove lastnosti v stolpce:

oblika_objekta = function(o) {
  o[[1]]
}

dimenzija_objekta = function(o) {
  paste0(o[[2]], collapse="-")
}

objekti_df1 = data.frame(
  ime = names(objekti),
  oblika = sapply(objekti, FUN=oblika_objekta),
  dimenzija = sapply(objekti, FUN=dimenzija_objekta)
)
objekti_df1

Ta podatkovna struktura določa tudi pomen podatkov (angl. data semantics): enota opazovanja je objekt, njegove lastnosti merimo s tremi spremenljivkami, ime, oblika in dimenzija.

Predstaviti dimenzijo posameznega objekta kot niz znakov ni ravno dobra popotnica za morebitne nadaljnje izračune pri analizi podatkov. Predstavljajte si, da bi si želeli v naslednjem koraku analize izračunati površino posameznega objekta. Zato bi potrebovali širino in višino objekta posebej. Da to naredimo, bi lahko podatkom pripisali drugo strukturo oziroma podatkovno tabelo:

visina_objekta = function(o) {
  ifelse(length(o[[2]]) == 1, o[[2]], o[[2]][1])
}

sirina_objekta = function(o) {
  ifelse(length(o[[2]]) == 1, o[[2]], o[[2]][2])
}

objekti_df2 = data.frame(
  ime = names(objekti),
  oblika = sapply(objekti, FUN=oblika_objekta),
  visina = sapply(objekti, FUN=visina_objekta),
  sirina = sapply(objekti, FUN=sirina_objekta)
)
objekti_df2

Tako podatkovno tabelo bi po vsej verjetnosti pripravili, če bi uporabljali program Excel. Pomen podatkov v tej podatkovni tabeli je podoben kot pomen v prejšnji, le da tokrat ima vsaka enota štiri lastnosti oziroma spremenljivke ime, oblika, visina in sirina.

Obe podatkovni tabeli pripravljeni zgoraj domnevajo, da so objekti zapisane po vrsticah, kar je običajna domneva pri načrtovanju strukture podatkov: vrstice v tabeli ustrezajo posameznim enotam (objektom). Vsekakor bi pa lahko pripravili podatkovno tabelo, kjer bi objekti bili spravljeni v stolpce, njihove lastnosti pa v vrstice:

objekti_df3 = data.frame(
  "X" = c("ime", "oblika", "visina", "sirina"),
  o1 = c("o1", "kvadrat", 3, 3),
  o2 = c("o2", "pravokotnik", 2, 7),
  o3 = c("o3", "pravokotnik", 9, 4),
  o4 = c("o4", "kvadrat", 8, 8),
  o5 = c("o5", "pravokotnik", 6, 5)
)
objekti_df3

S tem vprašanjem se soočamo na začetku vsakega projekta analize podatkov. Odgovorov na to vprašanje, kot kaže zgornji primer, veliko. Čeprav je primer zelo enostaven. Še več bi jih bilo, če bi obravnavali realističen primer bolj zapletenih podatkov.

Ali obstaja standarden odgovor na to vprašanje? Obstaja. Morebiti ne ravno standard, temveč dogovor, ki mu rečemo urejeni podatki (angl. tidy data). To je dogovor o standardni obliki zapisovanja podatkov v podatkovne tabele, ki omogoča njihovo enostavno analizo s pomočjo funkcij iz zbirke paketov, ki jih vsebuje knjižnica tidyverse.

Urejeni podatki (angl. tidy data)

Dogovor o urejenih podatkih določa tri enostavna pravila za podatkovne tabele.

1. Vsaka spremenljivka tvori stolpec (rečemo lahko tudi ustreza stolpcu).
2. Vsako opazovanje tvori vrstico.
3. Vsak tip opazovane enote tvori tabelo.

Pri načrtovanju naših podatkovnih tabel začnemo s premislekom o tretjem pravilu. Ključno vprašanje pri tem premisleku je Kateri tipi opazovanih enot se pojavljajo v naših podatkih? Glede na to, kakšen je odgovor na to vprašanje, lahko za objekte iz našega primera sestavimo tabele urjenih podatkov na dva načina.

Prvi način: dva tipa opazovanih enot

V našem primeru je očiten tip opazovane enote objekt. A njega opazujemo na dva načina, po eni strani opazujemo kvalitativno lastnost objekta oblika. Drugi način opazovanja je kvantitativna dimenzija objekta, ki jo merimo skozi dva različna vidika širine in višine. Ker imamo dva načina opazovanja objektov, lahko pripravimo dve tabeli:

• tabela oblika bo vsakemu objektu pripisala obliko;
• tabela dimenzija bo vsakemu paru objekta in vidika dimenzije (širine ali višine) pripisala izmerjeno vrednost tega vidika dimenzije.

Tabela oblika ima torej dve kvalitativni spremenljivki:

• objekt, ki določi ime objekta in ima torej domeno {o1, o2, o3, o4 in o5};
• vrednost, ki določi obliko objekta in ima domeno {kvadrat, pravokotnik}.

Med njima obstaja pomembna razlika. Prva je fiksna spremenljivka, katere vrednost določa predmet opazovanja, v našem primeru objekt. Imenujemo jo tudi dimenzijska spremenljivka. Druga je merjena spremenljivka: njeno vrednost določimo z opazovanjem ali merjenjem izbranega predmeta opazovanja, v našem primeru z opazovanjem (ugotavljanjem) oblike objekta. Imenujemo jo tudi vrednostna spremenljivka.

Sestavimo torej prvo tabelo oblika:

oblika_df = data.frame(
  objekt = names(objekti),
  vrednost = sapply(objekti, FUN=oblika_objekta)
)
oblika_df

Druga tabela dimenzija ima dve kvalitativni in eno kvantitativno spremenljivko:

• objekt, ki ima enako domeno kot zgoraj, torej {o1, o2, o3, o4 in o5};
• vidik, ki ima domeno {širina, višina};
• vrednost, ki poda vrednost izbranega vidika dimenzije (višine ali širine) z opazovani objekt.

V tej tabeli sta prvi dve spremenljivki dimenzijski (fiksni), saj njihovi vrednosti določata za kateri objekt in katero meritev opazovanega objekta gre, ne beleži pa vrednosti merjenja. Zadnja spremenljivka je pa merjena (vrednostna), saj beleži vrednosti opravljenih merjenj izbranega vidika dimenzije objekta.

dimenzija_df = expand.grid(
  objekt = names(objekti),
  vidik = c("širina", "višina"),
  vrednost = NA
)
dimenzija_df$vrednost = c(
  sapply(objekti, FUN=sirina_objekta),
  sapply(objekti, FUN=visina_objekta)
)
dimenzija_df

Funkcija expand.grid v kodi zgoraj poskrbi za to, da sestavimo podatkovno tabelo kot kartezični produkt domen dimenzijskih spremenljivk objekt in vidik, kjer so vse vrednosti merjene spremenljivke enake NA. Ker je moč domene spremenljivke objekt enaka 5, moč domene vidik 2, in je moč (začasne) domene merjene spremenljivke vrednost 1, ima podatkovna tabela, ki je rezultat klica funkcije expand.grid 5 * 2 * 1 = 10 vrstic.

Takoj zatem izračunamo še vrednosti zadnje spremenljivke vrednost v tabeli. Pri tem upoštevamo, da se prvih pet vrstic v kartezičnem produktu nanaša na širino, preostalih pet na višino objektov.

Običajni vrstni red stolpcev v tabeli z urejenimi podatki je tak, da dimenzijskim spremenljivkam sledijo merjene. Vrstice so pa običajno urejene po naraščajoči vrednosti prve spremenljivke, nato druge, tretje in tako naprej.

Stolpci v tabeli dimeznija sledijo običajnemu vrstnemu redu, vrstice pa ne. Lahko jih uredimo takole:

dimenzija_df = dimenzija_df[order(dimenzija_df$objekt, dimenzija_df$vidik), ]
dimenzija_df

POZOR! V primeru, ko so podatki razdeljeni v več podatkovnih tabel, moramo poskrbeti, da si te tabele delijo vsaj kakšno dimenzijsko spremenljivko, ki nam bo omogočila, da zberemo podatke o eni opazovani enoti skupaj. V zgornjem primeru je taka spremenljivka objekt, ki nam omogoča da povežemo podatek o obliki objekta (iz tabele oblika) s podatki o njegovih dimenzijah (zapisanimi v tabeli dimenzija).

Drugi način: trije tipi opazovanih enot

Pri sestavljanju tabele z urejenimi podatki dimenzija smo domnevali, da sta širina in višina le dva različna vidika meritve dimenzije objekta. Če bi širino in višino določili kot dva različna tipa opazovanih enot, bi končali s tremi tabelami urejenih podatkov. Prva tabela oblika bi ostala enaka kot prej, tabelo dimenzija bi zamenjali z dvema tabelama sirina in visina. Obe tabeli bi imeli enak nabor dveh spremenljivk objekt in vrednost:

sirina_df = data.frame(
  objekt = names(objekti),
  vrednost = sapply(objekti, FUN=sirina_objekta)
)
sirina_df

visina_df = data.frame(
  objekt = names(objekti),
  vrednost = sapply(objekti, FUN=visina_objekta)
)
visina_df

Za vsako podatkovno tabelo z urejenimi podatki, ki ima \(d+1\) stolpcev, velja, da prvih \(d\) stolpcev ustreza dimenzijskim (fiksnim) spremenljivkam z domenami \(D_1, D_2, \ldots, D_{d}\), zadnji stolpec pa merjeni (vrednostni) spremenljivki z domeno \(D_{d+1}\). Lahko torej rečemo, da urejeni podatki podajo tabelarično definicijo funkcije \(f: D_1 \times D_2 \times \ldots \times D_{d} \to D_{d+1}\). Funkcija \(f\) za podane vrednosti dimenzijskih spremenljivk vrne vrednost merjene spremenljivke.

Naj na koncu omenimo še eno možnost za podatkovne tabele z urejenimi podatki. Če imamo \(m\) tabel z istimi dimenzijskimi spremenljivkami z domenami \(D_1, D_2, \ldots, D_d\), jih lahko združimo v eno podatkovno tabelo z urejenimi podatki, ki ima \(d\) dimenzijskih in \(m\) merjenih spremenljivk. Taka tabela definira funkcijo \(g: D_1 \times D_2 \times \ldots \times D_{d} \to D_{d+1} \times D_{d+2} \times \ldots \times D_{d+m}\), ki za podane vrednosti dimenzijskih spremenljivk vrne vrednosti vseh \(m\)-tih merjenih spremenljivk hkrati.

V zgornjem primeru z objekti, vse tri podatkovne tabele z urejenimi podatki oblika, visina in sirina imajo isto dimenzijsko spremenljivko objekt in jih torej lahko združimo v eno podatkovno tabelo objekti z eno dimenzijsko spremenljivko objekt in tremi merjenimi spremenljivkami oblika, sirina in visina takole:

objekti_df4 = data.frame(
  objekt = names(objekti),
  oblika = sapply(objekti, FUN=oblika_objekta),
  sirina = sapply(objekti, FUN=sirina_objekta),
  visina = sapply(objekti, FUN=visina_objekta)
)
objekti_df4

Ta zadnja različica podatkovne tabele tudi sledi standardom urejenih podatkov tidy data, pri čemer predpostavimo, da imamo opravka z enim tipom opazovane enote objekt, različne načine opazovanja in meritev enot (objektov) pa določimo kot različne lastnosti opazovanih enot oziroma spremenljivke.

Standardi poimenovanj

Imena tabel in spremenljivk (stolpcev) naj bodo zapisane z malimi črkami. Če je ime sestavljeno iz več besed, vmesne presledke zamenjamo z _, na primer ime_in_priimek, ne pa ime in priimek. V imenih tabel in spremenljivk se izogibamo šumnikom: č, š in ž zamenjamo z c, s in z, na primer, zarisce namesto žarišče.

Vrednosti v tabeli zapišemo tako, kot želimo oziroma tako, kot so podane, z velikimi in malimi črkami, s šumniki in presledki. Pri tem moramo biti pozorni na kodiranje znakov, ki ga uporablja R. Preverimo ga lahko s klicem funkcije localeToCharset(): zaželena nastavitev je "UTF-8". Pri branju podatkov iz besedilnih ali Excel-ovih datotek moramo poskrbeti, da se podatkovne vrednosti med uvozom pretvorijo v kodiranje znakov, ki ga uporablja R, sicer bodo šumniki (in kakšni drugi znaki) zapisani napačno.

---

Osnove tidyverse: Uvoz in izvoz podatkovnih tabel

Paket, ki omogoča pripravo in analizo urejenih podatkov, opisanih v prejšnjem poglavju omogoča zbirka paketov, ki jih vsebuje knjižnica tidyverse. V tem poglavju bomo spoznali funkcije za uvoz in izvoz podatkovnih tabel, ki jih ponuja ta knjižnica. Najprej bomo uvozili knjižnico:

library(tidyverse)

Registered S3 methods overwritten by 'dbplyr':
  method         from
  print.tbl_lazy     
  print.tbl_sql      
── Attaching packages ───────────────────────────────────────── tidyverse 1.3.1 ──
✓ ggplot2 3.3.5     ✓ dplyr   1.0.7
✓ tidyr   1.1.4     ✓ stringr 1.4.0
✓ readr   2.1.2     ✓ forcats 0.5.1
✓ purrr   0.3.4     
Warning: package ‘readr’ was built under R version 4.0.5── Conflicts ──────────────────────────────────────────── tidyverse_conflicts() ──
x dplyr::filter() masks stats::filter()
x dplyr::lag()    masks stats::lag()

Format CSV

Datoteka v formatu CSV vsebuje besedilni zapis podatkovne tabele, kjer je vsaka vrstica iz tabele zapisna kot vrstica v datoteki, posamezne vrednosti v stolpcih (celicah) tabele so ločene z vejico ,.

Funkcija, ki omogoča shranjevanje podatkovne tabele v formatu CSV (angl. Comma-Separated Values) je write_csv. Za podano podatkovno tabelo in ime datoteke, funkcija shrani podatke iz podatkovne tabele v datoteko formata CSV s podanim imenom:

write_csv(objekti_df4, "objekti.csv")

Nekaj koristnih argumentov funkcije write_csv:

• na s privzeto vrednostjo "NA" poda niz znakov za zapisovanje neznanih vrednosti.
• append s privzeto vrednostjo FALSE je logična vrednost, ki določi ali naj podatki povozijo prejšnjo vsebino obstoječe datoteke (vrednost FALSE) ali naj se podatki zapišejo v nadaljevanju obstoječih vrstic v datoteki (vrednost TRUE).
• col_names s privzeto vrednostjo !append je logična vrednost, ki določi ali naj se v prvi vrstici datoteke zapišejo imena stolpcev.

Funkcija read_csv prebere podatkovno tabelo iz datoteke podanega imena, kjer so podatki zapisani v formatu CSV. Koristen argument funkcije je col_names s privzeto vrednostjo TRUE, ki določi ali prvi vrsti datoteke vsebuje imena stolpcev.

Drugi pogosto uporabljeni argumenti funkcije read_csv vplivajo na tipe stolpcev v podatkovni tabeli z uvoženimi stolpci. Funkcija namreč samodejno ugotovi katerega tipa so podatki v stolpcu tako, da pregleda prvih 1000 (tisoč) vrstic preglednice. To lahko spremenimo na dva načina, opisana v nadaljevanju.

• Z nastavitvijo argumenta guess_max (privzeta vrednost 1000), ki določi število vrstic, ki jih pregleda funkcija preden se odloči o tipu vrednosti v stolpcu. Če želimo, da funkcija pregleda vse razpoložljive vrednosti, uporabimo guess_max=Inf.

• Z nastavitvijo argumenta col_types, ki lahko povozi samodejno ugotavljanje tipov stolpcev. Vrednost je lahko vektor nizov znakov z naslednjimi vrednostmi:

  • "skip": vrednosti stolpca ne uvažamo;
  • "guess": tip vrednosti določi funkcija samodejno;
  • "list": tip vrednosti v stoplcu se spreminja;
  • "logical", "numeric", "text" ali "date": vrednosti v stolpcu so logične, numerične, nizi znakov ali datumi.

  V primeru, da za vrednost argumenta col_types podamo niz znakov, potem tip posamezne kolone ustreza enemu znaku v nizu. Pomen znakov je - ali _ za skip, ? za guess, n za numeric, c za text in D za datum. Celoten seznam možnih tipov in okrajšav dobimo z ?read_csv in ?readr::cols.

Excel-ove preglednice

V R-ju lahko beremo podatke iz Excel-ovih preglednic z uporabo ukaza read_excel v formatu XLS ali XLSX, ki se določi na osnovi podaljška podanega imena datoteke. Če hočemo ugotoviti kateri listi (angl. sheets) so na voljo v datoteki, uporabimo funkcijo excel_sheets. Obe funkciji kot prvi argument sprejmeta ime datoteke z Excel preglednico.

Nekaj koristnih parametrov funkcije read_excel:

• sheet s privzeto vrednostjo NULL določi list preglednice, ki ga hočemo prebrati. Vrednost je lahko celoštevilčna (podamo pozicijo lista v preglednici) ali niz znakov (podamo ime lista v preglednici). Če podana vrednost ne določi lista, funkcija prebere podatke iz prvega lista preglednice.
• range s privzeto vrednostjo NULL določi obseg celic preglednice, katere vrednosti hočemo uvoziti v R. Uporabljamo Excel-ov način določanja obsega, npr. "A1:C11" ali pa "Rezultati!A1:Q1024". V primeru podanega obsega, funkcija uvozi tudi prazne vrstice in stolpce iz tega obsega.
• col_names, guess_max in col_types imajo isti pomen kot istoimenski argumenti funkcije read_csv opisane v prejšnjem razdelku.

Pregled funkcij za uvoz in izvoz podatkovnih tabel, ki jih ponuja tidyverse, je na voljo v plonk listu Data import with the tidyverse.

---

Naloge

1. Denimo, da smo Alešu, Barbari, Cirilu in Darji izmerili višine v centimetrih (180, 165, 160, 193) in teže v kilogramih (87, 58, 65, 100). Nato smo za vsako osebo izračunali indeks telesne mase (ITM) po formuli \[ \text{ITM} = \frac{\text{teža v kilogramih}}{(\text{višina v metrih})^2}. \] Iz izmerjenih iz izračunanih podatke sestavi podatkovno tabelo z urejenimi podatki tipa tidy data. Pri tem dobro premisli kakšne možnosti imaš na voljo: kaj so tipi enot, spremenljivke in vrstice v tabelah z urejenimi podatki.

2. V datoteki izidi.xlsx je preglednica s podatki o numeričnih izidih uporabe dveh različnih terapij na treh pacientih. Prazne celice ustrezajo neznanim vrednostim izidov. Napiši program v R-ju, ki prebere podatke iz preglednice in iz njih sestavi podatkovno tabelo z urejenimi podatki. Namig: rabiš sestaviti eno tabelo z dvema dimenzijskima in eno merjeno spremenljivko.

3. Profesorica, ki na FMF izvaja dve-semestrski predmet, si je v datoteki rezultati-kolokvijev.xlsx zapisovala rezultate kolokvijev v prvem in drugem semestru. Napiši program v R-ju, ki prebere podatke iz vseh listov preglednice: naj program sam ugotovi koliko listov ima preglednica.

   Nato premisli katere vse enote opazovanja rabimo zato, da profesorici pomagamo korektno pretvoriti podatke o rezultatih kolokvijev v podatkovne tabele z urejenimi podatki tipa tidy data, ki bi ji omogočale boljšo analizo podatkov. Ročno ali s programom v R-ju sestavi te podatkovne tabele.

---

Zvezek sem oktobra 2022 pripravil Ljupčo Todorovski v jeziku R Markdown. Ideje za primere sem si v vekiki meri izposojal iz učbenika (Wickham 2019), vse morebitne napake v primerih so izključno moje.

Več o pravilih urejanja podatkov v podatkovne tabele lahko preberete v članku Wigham, H. (2014) Tidy Data. Jorunal of Statistical Software 59(10): 1-23. DOI: 10.18637/jss.v059.i10.