Fuentes de datos¶

Ejercicio data-sources-annex.pdf · PDF

Los cuatro conjuntos de datos de Anscombe llegaron a tu pantalla listos para usar: limpios, diminutos, ya en una tabla. Alguien te los entregó.

En el trabajo nadie hará eso. Tu jefe te dirá "las ventas están en la base de datos", o te reenviará una hoja de cálculo, o señalará un sitio web. Los datos existen. Simplemente están en otro sitio, con alguna forma, detrás de alguna puerta. Antes de poder mirar los datos, tienes que ir a buscarlos.

Esa es la etapa 1 del ciclo de vida de los datos: obtener. En el juego de crafteo, es cultivar y saquear. Y todo jugador conoce la primera pregunta del saqueo: ¿dónde está el botín y qué necesito para entrar?

Tres formas de datos¶

Una fuente de datos es cualquier lugar de donde provienen los datos: una base de datos, un archivo, un servicio web.

Antes de preguntar dónde están los datos, pregunta qué forma tienen. Aquí tienes los mismos dos puntos del conjunto I de Anscombe, guardados de tres maneras:

dataset,x,y
I,10,8.04
I,8,6.95

[
  {"dataset": "I", "x": 10, "y": 8.04},
  {"dataset": "I", "x": 8, "y": 6.95}
]

SELECT * FROM anscombe
WHERE dataset = 'I'
LIMIT 2;

Los mismos datos, tres envoltorios. Los envoltorios se diferencian en lo estrictos que son con la forma:

¿Por qué JSON es solo semiestructurado? Porque un registro puede tener un campo que al siguiente le falta, y nadie protesta:

[
  {"pokemon": "bulbasaur", "type_1": "grass", "type_2": "poison"},
  {"pokemon": "charmander", "type_1": "fire"}
]

En una tabla, la segunda fila seguiría necesitando algo en la columna type_2. En JSON, la etiqueta simplemente no está.

Los gráficos necesitan filas y columnas. Por eso este curso trabaja con datos estructurados, y cuando una fuente te da otra cosa, parte del trabajo es convertirla primero en una tabla.

Seis lugares donde viven los datos¶

Ahora, el mapa del saqueo. Estos son los seis tipos de fuente que encontrarás en este módulo y en casi cualquier trabajo. La última columna es la que más importa.

Seis términos nuevos en una tabla. Uno a uno:

• Una base de datos relacional guarda los datos en tablas que se pueden enlazar entre sí. Funciona como un programa en un servidor, como PostgreSQL o MySQL, y le hablas en un lenguaje llamado SQL. Escribirás tu primer SQL en la página siguiente.
• El host, el puerto y el driver son la dirección, la puerta y el traductor que necesitas para llegar a una base de datos. Tienen una página entera: Conectar Superset a una base de datos.
• Una API (application programming interface, interfaz de programación de aplicaciones) es una dirección web que responde con datos en lugar de con una página web. Tu app del tiempo no guarda la previsión: se la pide a una API.
• Una clave de API es una contraseña para programas: un código largo que te da el servicio para saber quién pregunta.
• Un límite de peticiones es el número máximo de preguntas que una API acepta en un tiempo dado. Si preguntas demasiado a menudo, deja de responder durante un rato.
• Una licencia es el texto que dice qué puedes hacer con datos que ha publicado otra persona.

¿Quién pide credenciales?¶

Las credenciales son lo que muestras para demostrar quién eres: normalmente un nombre de usuario y una contraseña, o una clave de API.

flowchart LR
    Q{"¿La fuente<br>pregunta quién eres?"}
    Q -- "siempre" --> DB["<b>Base de datos relacional</b><br>usuario + contraseña"]
    Q -- "normalmente" --> API["<b>API</b><br>clave de API"]
    Q -- "nunca" --> F["<b>Archivos</b><br>CSV, Excel, JSON:<br>si tienes el archivo, estás dentro"]
    Q -- "nunca" --> OD["<b>Portal de datos abiertos</b><br>público a propósito"]

Una base de datos pregunta siempre. Una API pregunta normalmente. Un archivo nunca pregunta: quien tiene el archivo tiene los datos. Es cómodo, y también es la razón por la que no mandas por correo un archivo con datos personales de clientes con la misma ligereza que un meme.

CSV no es Excel¶

Los dos se abren en un programa de hojas de cálculo con un doble clic. Ahí empieza la confusión.

Un archivo CSV (comma-separated values, valores separados por comas) es una tabla escrita como texto plano: una línea por fila, con un carácter entre un valor y el siguiente.

Ese carácter es el separador (también llamado delimitador). La primera línea suele contener los nombres de las columnas: es la cabecera. Este es el comienzo real de pokemon_df.csv, el conjunto de datos que usamos en esta unidad, recortado a sus ocho primeras columnas:

id,pokemon,species_id,height,weight,base_experience,type_1,type_2
1,bulbasaur,1,0.7,6.9,64,grass,poison
2,ivysaur,2,1,13,142,grass,poison

Nada oculto. Lo que ves es el archivo entero.

Un archivo de Excel es otra bestia:

La trampa del separador¶

La "C" de CSV promete comas. No siempre cumple la promesa.

En España, como en buena parte de Europa, la marca decimal es una coma: escribimos 6,9 kg. Si el separador también fuera una coma, 6,9 parecería dos valores. Por eso los archivos hechos en estos países suelen usar un punto y coma como separador:

pokemon,height,weight
bulbasaur,0.7,6.9

pokemon;height;weight
bulbasaur;0,7;6,9

Los dos son archivos CSV válidos. Una herramienta que espera uno y recibe el otro leerá cada línea como una sola columna, o partirá tus decimales en dos. El archivo está bien. A la herramienta se le dijo lo que no era.

Hay un segundo ajuste oculto: la codificación, la regla que convierte las letras en los bytes guardados en el archivo. Cuando una herramienta la adivina mal, Calvià aparece como CalviÃ. Si ves eso, los datos no están rotos: la codificación es la equivocada.

Así que, un hábito para toda la vida: antes de cargar un archivo en ningún sitio, ábrelo en un editor de texto y mira las primeras líneas. Estás comprobando el separador, la marca decimal y la cabecera. Los formatos que no coinciden son un problema de UT2, pero hoy ya aprendes a detectarlos.

Datos abiertos: libres, no sin ley¶

Los datos abiertos son datos que una organización publica para que cualquiera pueda descargarlos, reutilizarlos y compartirlos.

Las administraciones publican datos abiertos: presupuestos, líneas de autobús, playas, matrícula escolar. La comunidad de datos también. Dos fuentes que usarás este año:

Nuestro conjunto de datos de Pokémon viene de TidyTuesday. Más fuentes, con enlaces directos a todos los archivos de clase, están en la página de Recursos.

Conoce Apache Superset¶

Seis tipos de fuente, tres formas, separadores, credenciales. Necesitas una herramienta capaz de abrir esas puertas y mostrarte lo que hay detrás.

Apache Superset es una aplicación web para explorar datos: se conecta a bases de datos, te deja hacerles preguntas en SQL y convierte las respuestas en gráficos y cuadros de mando (dashboards).

En el juego, Superset es el cliente: la ventana por la que miras. Recuérdalo para la página siguiente, porque tiene una consecuencia: Superset no guarda tus datos. Se conecta a la base de datos donde viven, pregunta y dibuja.

flowchart LR
    C["<b>Conectar</b><br>a una base de datos"] --> Q["<b>Consultar</b><br>preguntar en SQL"]
    Q --> V["<b>Gráfico</b><br>dibujar la respuesta"]
    V --> D["<b>Cuadro de mando</b><br>varios gráficos<br>en una pantalla"]

Su historia es corta. En 2015, en un hackathon (un evento donde los programadores construyen un prototipo en pocos días) dentro de Airbnb, un ingeniero llamado Maxime Beauchemin construyó una herramienta para trocear y graficar rápidamente los datos de la empresa. Ya había creado otra herramienta de datos muy conocida, Apache Airflow. Airbnb lanzó la nueva herramienta como código abierto (open source): su código es público y cualquiera puede usarlo, estudiarlo y mejorarlo gratis.

Es la herramienta principal de este módulo. Hacia el final de esta unidad conocerás también a su rival comercial más conocido, Power BI de Microsoft, y compararás cómo obtiene cada una sus datos.

Pruébalo: una búsqueda de datos abiertos¶

Necesitas un navegador y un editor de texto. Ni cuenta ni contraseña.

Ahora haz lo mismo con un conjunto de datos que elijas tú, del portal del GOIB o de TidyTuesday, y rellena esta ficha:

Guarda esa última línea. Una buena pregunta es el comienzo de cada gráfico que dibujarás este año.

Ideas clave¶

• Los datos vienen en tres formas: estructurados (filas y columnas fijas), semiestructurados (etiquetados, flexibles, como JSON) y no estructurados (sin campos, como una foto).
• Seis tipos de fuente de datos: base de datos relacional, CSV, Excel, JSON, API y portal de datos abiertos. Para cada una, pregunta: ¿qué necesito para entrar?
• Credenciales: una base de datos siempre las pide, una API normalmente, un archivo nunca.
• Un CSV es texto plano con un separador; un archivo de Excel es un paquete ZIP de XML. Abre los archivos en un editor de texto antes de cargarlos y comprueba separador, marca decimal y cabecera.
• Los datos abiertos son libres de reutilizar, bajo una licencia. Con CC BY, debes citar la fuente.
• Apache Superset se conecta a bases de datos, las consulta en SQL y dibuja gráficos y cuadros de mando. Nació en Airbnb en 2015 y es un proyecto de nivel superior de Apache desde 2021.

Comprobación rápida¶

Ya sabes dónde viven los datos y qué pide cada lugar. Es hora de abrir la puerta más difícil de las seis, la base de datos: Conectar Superset a una base de datos.