Connectar Superset a una base de dades¶

Exercici superset-first-connection-annex.pdf · PDF

La primera vegada que jugues a un joc en línia, et pregunta coses abans de deixar-te entrar. Quin servidor? Quin món? El teu compte? La teva contrasenya? Si t'equivoques en una cosa, et quedes al vestíbul, mirant un missatge d'error.

Una base de dades fa exactament el mateix. A la pàgina anterior has vist que, dels sis tipus de font de dades, la base de dades relacional és la que més demana abans d'obrir-se. Avui aprens què demana, per què, i com llegir l'error quan la porta es queda tancada.

Després, travessaràs aquesta porta: posaràs un conjunt de dades real dins de la base de dades i li faràs la primera pregunta.

Superset no té les teves dades¶

Comença per la imatge, perquè tota la resta en penja.

flowchart LR
    B["<b>El teu navegador</b><br>el que veus i cliques"] -- "pàgina web" --> S["<b>Superset</b><br>(el client del joc)<br>es connecta, pregunta, dibuixa"]
    S -- "SQL, a través<br>del driver" --> D[("<b>PostgreSQL</b><br>(el servidor del joc)<br>on viuen les files")]
    D -- "files" --> S

Aquí hi ha tres jugadors, i són tres programes diferents:

Un servidor de bases de dades és un programa que guarda dades en taules i respon preguntes sobre elles a qualsevol programa que s'hi connecti amb les dades correctes. PostgreSQL és el que fem servir.

Una connexió és el conjunt de dades que necessita un programa per arribar a un servidor de bases de dades i que el deixin entrar.

Superset és un client. Un client de joc sense cap servidor on unir-se només et mostra un menú bonic i res més. Així que la primera feina a Superset sempre és la mateixa: dir-li on és el servidor.

Cinc coses i un traductor¶

Cada connexió a una base de dades, a totes les eines que faràs servir mai, demana les mateixes cinc coses. Aprèn-les una sola vegada.

Tres d'aquestes paraules són noves:

• El host és el nom de xarxa o l'adreça de la màquina on s'executa el servidor de bases de dades.
• Un port és una porta numerada d'una màquina. Una màquina pot executar molts programes que escolten la xarxa, i cadascun espera darrere del seu propi nombre. La porta habitual de PostgreSQL és la 5432. La pàgina web de Superset en fa servir una altra, la 8088: no les confonguis.
• Un servidor de bases de dades pot contenir diverses bases de dades separades, com un servidor de joc que allotja diversos móns. Has de dir quina vols.

I després hi ha una sisena cosa, que cap formulari et demana d'escriure:

Un driver és un petit programari que permet que un programa parli amb un tipus concret de base de dades.

Superset parla SQL. Però PostgreSQL, MySQL i la resta esperen cadascun que aquest SQL arribi per la xarxa a la seva manera. El driver és el traductor. El driver de Superset per a PostgreSQL es diu psycopg2; per a MySQL en necessitaria un altre.

Les cinc en una línia: la cadena de connexió¶

Escriure cinc caselles és una manera de donar les dades. L'altra és una línia de text.

Una cadena de connexió és una sola línia que conté totes les dades d'una connexió, en un ordre fix.

Per a PostgreSQL a Superset té aquest patró:

postgresql://USER:PASSWORD@HOST:PORT/DATABASE

Amb valors inventats, perquè vegis on va cada part:

postgresql://your_user:your_password@db.example.com:5432/shop

Llegeix la puntuació i podràs descodificar qualsevol cadena de connexió: :// després del tipus de base de dades, : entre usuari i contrasenya, @ abans del host, : abans del port, / abans de la base de dades.

On va a Superset¶

A Superset, una connexió es crea una sola vegada i després tothom qui fa servir aquell Superset treballa a través seu. A la teva VM de classe ja existeix, amb el nom Dades classe. Així és com se'n fa una, perquè sàpigues què estàs mirant.

El pas 5 no és una de les cinc opcions. És un permís: un interruptor del costat de Superset que decideix què pot fer la gent a través d'aquesta connexió. Sense ell, ningú no pot carregar un fitxer en aquella base de dades des de Superset.

Així que la llista completa per "configurar l'accés" és: host, port, base de dades, usuari, contrasenya, driver i permisos.

Llegir l'error¶

Les connexions fallen. És normal, i el missatge d'error no és soroll: et diu fins on has arribat.

Quina és la millor notícia: connection refused o contrasenya incorrecta? Contrasenya incorrecta. Vol dir que el host i el port eren correctes i que un servidor ha respost. Ets a una errada de tecleig. Connection refused vol dir que encara no has trobat ni el servidor.

Carregar un CSV a la base de dades¶

A la pàgina anterior has descarregat pokemon_df.csv. Un fitxer al teu disc és botí a la motxilla. Per consultar-lo amb SQL, s'ha de convertir en una taula de la base de dades.

Superset ho pot fer per tu: llegeix el fitxer i crea la taula a PostgreSQL, a través de la connexió.

Dues paraules noves:

• Un esquema (schema) és una carpeta de taules dins d'una base de dades. public és el que et dona PostgreSQL des del principi.
• Un dataset és el nom que dona Superset a "alguna cosa de la qual puc construir gràfics". Aquí és una etiqueta que apunta a la teva taula nova. Coneixeràs els datasets a fons a Datasets i destí.

El pas 6 és on la pàgina anterior dona fruit. Si el teu fitxer fa servir ; entre valors i el formulari encara diu ,, la càrrega "funciona" i obtens una taula amb una sola columna molt ampla. I si els nombres fan servir una coma decimal, posa també File settings → Decimal character a ,.

Una cosa que la càrrega fa en silenci: al nostre fitxer, un valor absent s'escriu amb les dues lletres NA. Superset carrega aquestes cel·les com a NULL, la manera que té la base de dades de dir "aquí no hi ha cap valor". Charmander només té un tipus, així que el seu type_2 és NULL. Aquest és el teu primer tast dels valors absents, el gran tema de la UT2.

Primeres preguntes a SQL Lab¶

SQL (Structured Query Language, llenguatge estructurat de consultes) és el llenguatge per fer preguntes a una base de dades relacional. Una pregunta s'anomena consulta.

SQL Lab és la pàgina de Superset on escrius una consulta, l'executes i en veus la resposta com a taula.

Obre SQL → SQL Lab. A l'esquerra tria la base de dades Dades classe i l'esquema public. Després fes tres preguntes, una a una, prement Run després de cadascuna.

Quantes files hi ha?

SELECT COUNT(*) FROM pokemon;

SELECT vol dir "mostra'm", FROM pokemon diu quina taula, i COUNT(*) compta files. 949 Pokémon: el mateix nombre que has comptat a l'editor de text. Ha arribat tot el fitxer.

Quin aspecte tenen les files?

SELECT * FROM pokemon LIMIT 10;

L'* vol dir "totes les columnes" i LIMIT 10 vol dir "para després de deu files". Obtens 10 files i 22 columnes. Aquestes són les quatre primeres files i algunes de les columnes:

Executa sempre aquesta en una taula que no hagis vist mai. Costa un segon i et mostra els noms de les columnes, el tipus de valor de cadascuna, i sorpreses com aquell NULL.

Quin tipus colpeja més fort?

SELECT type_1, COUNT(*) AS n, ROUND(AVG(attack)) AS avg_attack
FROM pokemon
GROUP BY type_1
ORDER BY avg_attack DESC;

La resposta té 18 files, una per tipus. Les cinc primeres:

Llegeix-ho com una frase: per a cada tipus principal, compta els Pokémon i fes la mitjana del seu atac, i després ordena de la mitjana més alta a la més baixa. Els tipus dragó colpegen més fort, amb un atac mitjà de 109. El tipus més comú, l'aigua, té 126 Pokémon però queda molt avall de la llista amb una mitjana de 75.

No et preocupis si aquesta tercera consulta sembla molt. GROUP BY és l'única idea realment nova que conté, i té la seva pròpia pàgina: SQL Lab: grups.

Fixa't en què acaba de passar. Al joc de fabricació, això ha estat tota l'etapa 1: has trobat el botí (un CSV en un web), l'has portat a casa (la càrrega) i l'has emmagatzemat on hi pots treballar (una taula). I has fet una pregunta que un editor de text mai no podria respondre.

Prova-ho: la teva primera connexió¶

A la teva VM de classe, amb Superset obert al navegador:

Si has descarregat el teu propi conjunt de dades a la caça de dades obertes, carrega'l també, amb el seu propi nom de taula, i adapta la tercera consulta a la pregunta que has escrit a la fitxa.

Idees clau¶

• Superset és un client: es connecta, pregunta i dibuixa. Les teves files viuen al servidor de bases de dades (PostgreSQL), no a Superset.
• Una connexió necessita cinc coses: host, port, base de dades, usuari i contrasenya. El port habitual de PostgreSQL és el 5432.
• El driver és el traductor entre una eina i un tipus de base de dades. Sense driver, no hi ha connexió, ni tan sols amb la contrasenya correcta.
• Una cadena de connexió ho empaqueta tot en una sola línia, contrasenya inclosa. Tracta-la com un secret.
• Els missatges d'error diuen fins on has arribat: connection refused assenyala el host o el port; contrasenya incorrecta vol dir que ja has arribat al servidor.
• localhost vol dir "la màquina on s'executa aquest programa". Per a Superset, és el seu propi servidor, no el teu ordinador.
• Carregar un CSV crea una taula real a la base de dades. Comprova l'esquema i el delimitador al formulari. Després fes-li preguntes a SQL Lab.

Comprovació ràpida¶

La porta és oberta i la taula ja hi és. Fins ara ho has demanat tot; a continuació aprendràs a demanar exactament les files que necessites: SQL Lab: filtres.