Histograma i diagrama de dispersió¶

Exercici histogram-and-scatter-annex.pdf · PDF

La majoria de jocs de Steam són barats o cars? Tens 26,685 preus a games_clean. Una barra per cada preu exacte et donaria centenars de barres: 0.99, 1.99, 2.49, 2.99... Ningú no ho podria llegir.

Els jocs competitius van resoldre aquest problema fa temps. Al mode competitiu (ranked), ningú no dibuixa una barra per jugador. El joc talla l'escala de puntuació en trams, els anomena Bronze, Plata, Or, Platí i Diamant, i compta quants jugadors hi ha a cadascun. D'una ullada saps on és la majoria de la gent, i com de rar és el cim.

Aquesta imatge és el primer gràfic d'aquesta lliçó. El segon respon un altre tipus de pregunta, també del mode competitiu: els jugadors amb més hores tenen un rang més alt? Un sol número no ho pot respondre. En necessites dos, sobre la mateixa imatge.

L'histograma: la distribució de rangs¶

Un histograma talla una columna numèrica en intervals iguals i dibuixa una barra per interval. L'alçada de cada barra és el nombre de files que hi cauen.

Cada interval és un bin. La forma que dibuixen les barres juntes és la distribució de la columna: on s'acumulen els valors i on són rars.

Al mode competitiu, la columna numèrica és la puntuació, els bins són els rangs, i l'alçada és el nombre de jugadors. Amb els preus dels jocs, la columna és price, cada bin és un tram de preu, i l'alçada és el nombre de jocs.

La paraula és més antiga que els videojocs: l'estadístic anglès Karl Pearson va introduir el terme histograma el 1891.

Sembla un gràfic de barres. No ho és¶

Tots dos tenen barres, i aquí s'acaba la semblança.

A Categorització vas construir price_band a mà, amb CASE WHEN. Aquelles franges tenien amplades desiguals que tu vas triar: Under 5, 5 to 15, 15 to 30. Un histograma és diferent: pren el mínim i el màxim de les dades i talla tot el que hi ha entremig en bins d'amplada igual.

Aquest últim detall està a punt de picar-te.

Una barra gegant: què fan els valors atípics¶

Demana un histograma de price amb 5 bins i obtens el gràfic de l'esquerra.

Una barra enorme i gairebé res més: 26,658 productes al primer bin, després 22, 2, 2 i 1. El gràfic és correcte. També és inútil.

Per què? Cinc bins iguals entre el producte més barat i el més car. I quin és el més car?

SELECT game, price FROM games_clean ORDER BY price DESC LIMIT 6;

Mira els noms. La majoria no són jocs: són programari de disseny i de vídeo venut a Steam. Un grapat de files estiren l'eix fins a 595.99, de manera que cadascun dels 5 bins fa 119.2 d'amplada, i gairebé tots els productes de la taula cauen al primer.

Un valor atípic (outlier) és un valor que queda molt lluny de gairebé tots els altres.

La solució té dues parts: mira només el rang on són els jocs, i fes servir més bins. Filtra els preus fins a 60, demana 12 bins, i obtens el gràfic de la dreta. El filtre només deixa fora 83 de les 26,685 files (0.3 %).

Llegir una distribució amb paraules¶

Un histograma està acabat quan el pots dir en una frase. Per al gràfic de la dreta:

La majoria de jocs són barats: 14,707 de 26,602 (55 %) costen menys de 5, i aquesta barra inclou els 3,094 jocs gratuïts.

Tres coses a buscar en qualsevol distribució:

El zigzag té una explicació avorrida. A les botigues els encanten els preus acabats en .99, i 24.99 i 29.99 cauen en bins diferents. Alguns bins contenen un preu popular i els veïns no.

Aquesta imatge també explica una cosa d'Estadística exploratòria. La mitjana del preu és 7.91 i la mediana és 4.99. Per què són tan diferents? La cua llarga de la dreta: uns quants productes cars estiren la mitjana cap amunt, mentre que la mediana es queda on és la majoria dels jocs. L'histograma és la imatge de per què difereixen.

El diagrama de dispersió: un punt per jugador¶

Tornem al mode competitiu. Els jugadors amb més hores tenen un rang més alt? Un histograma no ho pot respondre: mira un sol número. Agafa cada jugador, posa les seves hores a l'eix horitzontal i el seu rang a l'eix vertical, i dibuixa un punt.

Un diagrama de dispersió (scatter plot) dibuixa un punt per fila, situat per dues columnes numèriques: una fixa la posició horitzontal i l'altra la vertical. Mostra la relació entre les dues.

Aquí en tens un de real, de la taula de classe pokemon. Cadascun dels 949 punts és un Pokémon, situat pel seu attack i el seu defense:

Un diagrama de dispersió no es llegeix punt per punt. Es llegeix la forma del núvol:

Aquest núvol puja cap a la dreta, de manera difusa: els Pokémon amb més atac tendeixen a tenir més defensa. Tendeixen. El núvol és ample, i alguns punts ignoren la regla del tot. El punt solitari a l'extrem superior esquerre és Shuckle: attack 10, defense 230.

Com de ajustat és un núvol té un número.

La correlació mesura com de junts es mouen dos números, de -1 (una recta decreixent perfecta) passant per 0 (una taca) fins a 1 (una recta creixent perfecta).

A PostgreSQL la funció és CORR:

SELECT CORR(attack, defense) FROM pokemon;

Retorna 0.44: una relació positiva de força moderada. El diagrama de dispersió és la imatge, i la correlació n'és el resum en un sol número. Mira sempre també la imatge: a Les dades no parlen soles vas veure quatre conjunts de dades amb els mateixos números resum i quatre formes completament diferents.

Correlació no és causalitat¶

Un diagrama de dispersió mostra que dues coses van juntes. Mai no mostra que una causa l'altra.

La causalitat vol dir que canviar una cosa fa canviar l'altra. Un gràfic sol no ho pot demostrar.

Tornem al mode competitiu. Suposem que els jugadors amb més hores tenen realment un rang més alt. Jugar més et fa millor? Potser. O potser els bons jugadors gaudeixen més del joc i per això juguen més: la fletxa apunta cap a l'altre costat. O una tercera cosa mou totes dues.

Les dades de classe tenen un exemple net. Entre els jocs de Steam que tenen puntuació de crítica, els jocs més cars puntuen una mica més alt. Pujar el preu millora les crítiques? És clar que no. Els grans estudis cobren més i tenen pressupostos més grans. El pressupost és al darrere dels dos números.

flowchart TB
    B["<b>Una tercera cosa</b><br>un estudi gran<br>amb un pressupost gran"]
    B --> P["<b>Preu més alt</b>"]
    B --> M["<b>Millors crítiques</b>"]
    P -. "el gràfic mostra aquests dos junts.<br>No mostra cap fletxa" .- M

Només les files que tenen el valor¶

Hi ha una trampa més en aquest exemple de preu i crítiques, i va de quines files hi ha al gràfic.

La puntuació de crítica és la columna metascore. Només 2,849 dels 26,685 jocs en tenen: al voltant d'un 11 %. A Imputació vas decidir no inventar-te les puntuacions absents, i vas afegir la columna has_metascore per distingir els dos grups.

Així doncs, un gràfic de preu contra metascore descriu aquests 2,849 jocs, no Steam. I no són un 11 % aleatori: els crítics ressenyen els jocs que reben atenció. Digues-ho al títol.

Això és el que dibuixa Superset quan demanes un diagrama de dispersió de price i la mitjana de metascore:

El núvol puja lleugerament. Però fixa't en quins punts et pots refiar:

El punt a 9.99 és la mitjana de 661 jocs. El punt a 54.99 és un sol joc que va puntuar 88. Superset dibuixa tots dos amb la mateixa mida. A la figura de dalt els punts d'un sol joc són buits perquè els puguis distingir: 26 dels 58 punts representen un sol joc.

Joc a joc, la relació és feble: CORR(price, metascore) sobre els 2,849 jocs ressenyats és 0.16.

Prova-ho: preus, i preu contra metascore¶

Els dos gràfics fan servir el dataset games_clean (mira Recursos per a les dades).

Gràfic 4 — Distribució de preus. On són la majoria de jocs, i com de llarga és la cua?

No et saltis el límit de files del pas 2. Un histograma es calcula a partir de les files que rep, i amb el valor per defecte només llegiria 10,000 dels teus 26,685 jocs.

Les dotze barres han de coincidir amb aquests recomptes:

Gràfic 5 — Preu contra metascore. Els jocs més cars reben millors crítiques?

Els punts són les 58 files d'aquesta consulta:

SELECT price, ROUND(AVG(metascore)::numeric, 1) AS avg_metascore, COUNT(*) AS games
FROM games_clean WHERE has_metascore GROUP BY price ORDER BY price;

Idees clau¶

• Un histograma talla una columna numèrica en bins iguals i compta les files de cadascun. Mostra una distribució: on s'acumulen els valors i com de llarga és la cua.
• Un histograma no és un gràfic de barres: el seu eix X és una recta numèrica, la seva alçada és sempre un recompte, i tries tu el nombre de bins.
• Els valors atípics estiren l'eix i ho apreten tot en una sola barra. Filtra el gràfic a un rang sensat, digues-ho al títol, i no esborris les files.
• Un diagrama de dispersió situa punts per dues columnes numèriques i mostra la seva relació: creixent, decreixent o cap. La correlació hi posa un número.
• Correlació no és causalitat. Dues coses es poden moure juntes perquè una tercera cosa mou totes dues.
• Pregunta't sempre què representa una marca i quines files hi ha al gràfic. Preu contra metascore descriu l'11 % de jocs amb crítica, i cada punt és un preu, no un joc.

Comprovació ràpida¶

Ara ja saps mostrar com es reparteix un número i com es relacionen dos números. Encara falten dos gràfics famosos, i un d'ells és molt fàcil de fer malament: Sectors, mapa de calor i altres.