Fonts de dades¶

Exercici data-sources-annex.pdf · PDF

Els quatre conjunts de dades d'Anscombe et van arribar a la pantalla a punt per usar: nets, minúsculs, ja en una taula. Algú te'ls va posar a la mà.

Ningú no ho farà a la feina. El teu cap et dirà "les vendes són a la base de dades", o et reenviarà un full de càlcul, o t'assenyalarà un lloc web. Les dades hi són. Només que són en un altre lloc, amb una forma determinada, darrere d'una porta. Abans de poder mirar les dades, has d'anar a buscar-les.

Aquesta és l'etapa 1 del cicle de vida de les dades: obtenir. Al joc de fabricació, és cultivar i saquejar. I tots els jugadors coneixen la primera pregunta del saqueig: on és el botí, i què necessito per entrar-hi?

Tres formes de dades¶

Una font de dades és qualsevol lloc d'on provenen les dades: una base de dades, un fitxer, un servei web.

Abans de preguntar on són les dades, pregunta quina forma tenen. Aquí tens els mateixos dos punts del conjunt I d'Anscombe, emmagatzemats de tres maneres:

dataset,x,y
I,10,8.04
I,8,6.95

[
  {"dataset": "I", "x": 10, "y": 8.04},
  {"dataset": "I", "x": 8, "y": 6.95}
]

SELECT * FROM anscombe
WHERE dataset = 'I'
LIMIT 2;

Les mateixes dades, tres embolcalls. Els embolcalls es diferencien en com d'estrictes són amb la forma:

Per què el JSON només és semiestructurat? Perquè un registre pot tenir un camp que el següent no té, i ningú no es queixa:

[
  {"pokemon": "bulbasaur", "type_1": "grass", "type_2": "poison"},
  {"pokemon": "charmander", "type_1": "fire"}
]

En una taula, la segona fila hauria de tenir alguna cosa a la columna type_2. En JSON, simplement l'etiqueta no hi és.

Els gràfics necessiten files i columnes. Per això aquest curs treballa amb dades estructurades, i quan una font et dona una altra cosa, part de la feina és convertir-la primer en una taula.

Sis llocs on viuen les dades¶

Ara, el mapa del saqueig. Aquests són els sis tipus de font que trobaràs en aquest mòdul i en gairebé qualsevol feina. L'última columna és la que més importa.

Sis termes nous en una taula. Un per un:

• Una base de dades relacional emmagatzema les dades en taules que es poden vincular entre elles. S'executa com a programa en un servidor, com ara PostgreSQL o MySQL, i hi parles en un llenguatge anomenat SQL. Escriuràs el teu primer SQL a la pàgina següent.
• El host, el port i el driver són l'adreça, la porta i el traductor que necessites per arribar a una base de dades. Tenen una pàgina sencera: Connectar Superset a una base de dades.
• Una API (application programming interface, interfície de programació d'aplicacions) és una adreça web que respon amb dades en lloc d'una pàgina web. L'aplicació del temps no guarda la previsió: la demana a una API.
• Una clau d'API és una contrasenya per a programes: un codi llarg que et dona el servei perquè sàpiga qui pregunta.
• Un límit de peticions (rate limit) és el nombre màxim de preguntes que una API accepta en un temps determinat. Si preguntes massa sovint, deixa de respondre durant un temps.
• Una llicència és el text que diu què pots fer amb unes dades que algú altre ha publicat.

Qui demana credencials?¶

Les credencials són el que mostres per demostrar qui ets: normalment un nom d'usuari i una contrasenya, o una clau d'API.

flowchart LR
    Q{"La font et demana<br>qui ets?"}
    Q -- "sempre" --> DB["<b>Base de dades relacional</b><br>usuari + contrasenya"]
    Q -- "normalment" --> API["<b>API</b><br>clau d'API"]
    Q -- "mai" --> F["<b>Fitxers</b><br>CSV, Excel, JSON:<br>si tens el fitxer, hi ets dins"]
    Q -- "mai" --> OD["<b>Portal de dades obertes</b><br>públic a propòsit"]

Una base de dades sempre ho demana. Una API normalment ho demana. Un fitxer mai ho demana: qui té el fitxer té les dades. Això és còmode, i també és per això que no envies per correu un fitxer amb dades personals de clients tan alegrement com un mem.

CSV no és Excel¶

Tots dos s'obren en un programa de fulls de càlcul amb un doble clic. Aquí és on comença la confusió.

Un fitxer CSV (comma-separated values, valors separats per comes) és una taula escrita com a text pla: una línia per fila, amb un caràcter entre un valor i el següent.

Aquest caràcter és el separador (també anomenat delimitador). La primera línia sol contenir els noms de les columnes: és la capçalera. Aquest és el començament real de pokemon_df.csv, el conjunt de dades que fem servir en aquesta unitat, abreujat a les vuit primeres columnes:

id,pokemon,species_id,height,weight,base_experience,type_1,type_2
1,bulbasaur,1,0.7,6.9,64,grass,poison
2,ivysaur,2,1,13,142,grass,poison

Res d'amagat. Allò que veus és tot el fitxer.

Un fitxer d'Excel és un altre animal:

La trampa del separador¶

La "C" de CSV promet comes. No sempre compleix la promesa.

A Espanya, com a gran part d'Europa, la marca decimal és una coma: escrivim 6,9 kg. Si el separador també fos una coma, 6,9 semblaria dos valors. Per això els fitxers fets en aquests països sovint fan servir un punt i coma com a separador:

pokemon,height,weight
bulbasaur,0.7,6.9

pokemon;height;weight
bulbasaur;0,7;6,9

Tots dos són fitxers CSV vàlids. Una eina que n'espera un i rep l'altre llegirà cada línia com a una sola columna, o partirà els decimals en dos. El fitxer està bé. A l'eina li han dit el contrari.

Hi ha una segona opció amagada: la codificació, la regla que converteix les lletres en els bytes emmagatzemats al fitxer. Quan una eina l'endevina malament, Calvià apareix com CalviÃ. Si ho veus, les dades no estan trencades: la codificació és errònia.

Així doncs, un hàbit per a tota la vida: abans de carregar un fitxer en cap lloc, obre'l en un editor de text i mira les primeres línies. Estàs comprovant el separador, la marca decimal i la capçalera. Els formats que no quadren són un problema de la UT2, però avui ja els detectes.

Dades obertes: lliures, no sense llei¶

Les dades obertes són dades que una organització publica perquè qualsevol les pugui descarregar, reutilitzar i compartir.

Les administracions públiques publiquen dades obertes: pressupostos, línies d'autobús, platges, matrícula escolar. La comunitat de dades també. Dues fonts que faràs servir aquest any:

El nostre conjunt de dades de Pokémon ve de TidyTuesday. Hi ha més fonts, amb enllaços directes a cada fitxer de classe, a la pàgina de Recursos.

Coneix Apache Superset¶

Sis tipus de font, tres formes, separadors, credencials. Necessites una eina que pugui obrir aquestes portes i mostrar-te què hi ha al darrere.

Apache Superset és una aplicació web per explorar dades: es connecta a bases de dades, et deixa fer-los preguntes en SQL, i converteix les respostes en gràfics i quadres de comandament (dashboards).

Al joc, Superset és el client: la finestra per la qual mires. Recorda-ho per a la pàgina següent, perquè té una conseqüència: Superset no emmagatzema les dades. Es connecta a la base de dades on viuen, pregunta i dibuixa.

flowchart LR
    C["<b>Connectar</b><br>a una base de dades"] --> Q["<b>Consulta</b><br>pregunta en SQL"]
    Q --> V["<b>Gràfic</b><br>dibuixa la resposta"]
    V --> D["<b>Quadre de comandament</b><br>diversos gràfics<br>en una pantalla"]

La seva història és breu. El 2015, en un hackató (un esdeveniment on els programadors construeixen un prototip en pocs dies) dins d'Airbnb, un enginyer anomenat Maxime Beauchemin va crear una eina per tallar i representar ràpidament les dades de l'empresa. Ja havia creat una altra eina de dades coneguda, Apache Airflow. Airbnb va alliberar la nova eina com a codi obert: el seu codi és públic, i qualsevol el pot usar, estudiar i millorar gratuïtament.

És l'eina principal d'aquest mòdul. Cap al final d'aquesta unitat també coneixeràs el seu rival comercial més conegut, Power BI de Microsoft, i compararàs com obtenen les dades les dues eines.

Prova-ho: una caça de dades obertes¶

Necessites un navegador i un editor de text. Cap compte, cap contrasenya.

Ara fes el mateix amb un conjunt de dades que triïs tu, del portal del GOIB o de TidyTuesday, i omple aquesta fitxa:

Guarda aquesta última línia. Una bona pregunta és l'inici de cada gràfic que dibuixaràs aquest any.

Idees clau¶

• Les dades vénen en tres formes: estructurades (files i columnes fixes), semiestructurades (etiquetades, flexibles, com el JSON) i no estructurades (sense camps, com una foto).
• Sis tipus de font de dades: base de dades relacional, CSV, Excel, JSON, API i portal de dades obertes. Per a cadascuna, pregunta't: què necessito per entrar-hi?
• Credencials: una base de dades sempre les demana, una API normalment, un fitxer mai.
• Un CSV és text pla amb un separador; un fitxer d'Excel és un paquet ZIP d'XML. Obre els fitxers en un editor de text abans de carregar-los, i comprova el separador, la marca decimal i la capçalera.
• Les dades obertes es poden reutilitzar lliurement, amb una llicència. Amb CC BY, has de citar la font.
• Apache Superset es connecta a bases de dades, les consulta en SQL i dibuixa gràfics i quadres de comandament. Va néixer a Airbnb el 2015 i és un projecte de primer nivell d'Apache des del 2021.

Comprovació ràpida¶

Ja saps on viuen les dades i què demana cada lloc. Ara toca obrir la porta més difícil de les sis, la base de dades: Connectar Superset a una base de dades.