Estadística exploratòria¶

Exercici exploratory-statistics-annex.pdf · PDF

Sense executar res: quant costa un joc típic de Steam? Digues un nombre. Apunta'l, fins i tot.

Fa setmanes que neteges games_clean. En sàpigues les columnes de memòria. I tot i això has d'endevinar, perquè encara ningú no ha fet cap pregunta a la taula. Avui en fas. La resposta seran dos nombres que no coincideixen, i entendre per què no coincideixen és el tros d'estadística més útil que aprendràs mai.

Avui produeixes els nombres; la lliçó següent els converteix en l'informe.

La cua: dos tipus de mig¶

L'estadística exploratòria consisteix a descriure una columna amb un grapat de nombres abans de dibuixar o concloure res: on és el seu mig, com de dispersa està i quina forma té.

Cinc amics comparen què guanyen en un mes. Quatre tenen feines normals. El cinquè és un streamer que ha tingut un mes molt bo.

1 200    1 300    1 400    1 500    30 000

Què guanya un amic típic? Hi ha dues maneres honestes de respondre.

La mitjana (la "mitjana aritmètica" de tota la vida) és el que obtindria cadascun si se sumés tot i es repartís a parts iguals.

Suma els cinc: 35,400. Reparteix entre cinc: 7,080.

La mediana és el valor del que queda al mig quan tothom fa cua de menor a major.

Posa'ls en una cua per ingressos. El tercer de cinc és al mig: 1,400.

Dona al streamer 300,000 en lloc de 30,000. La mitjana salta a 61,080. La mediana continua sent 1,400.

Mantenim la cua durant tota la pàgina. Posa les dades en una cua, el més petit primer. La meitat són davant de la mediana, la meitat al darrere. Tot el que calcules avui és una pregunta sobre aquesta cua:

Centre: el mateix en 26,685 jocs¶

Ara la cua de veritat. Abans d'executar-ho, aposta: la mitjana del preu serà superior o inferior a la mediana?

SELECT ROUND(AVG(price), 2)                               AS mean,
       PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY price) AS median
FROM games_clean;

La mitjana és AVG, una vella amiga d'SQL Lab: grups. La mediana necessita una línia més llarga. Llegeix-la tros a tros:

Un percentil és una posició a la cua, expressada com una fracció: 0.5 és el mig, 0.25 és un quart del camí.

PostgreSQL no té cap funció MEDIAN(). La mediana és el percentil 0.5.

Aleshores, quin és: un joc costa 7.91 dòlars o 4.99? Tots dos nombres són correctes. Responen preguntes diferents. Per saber quina pregunta, necessites la resta de la cua.

Dispersió: com de lluny¶

Un centre sol amaga massa coses. "El joc del mig costa 4.99" és cert tant si tots els jocs costen 4.99 com si els preus van de zero a centenars. Comença pels dos extrems de la cua:

SELECT COUNT(*) AS n, MIN(price) AS lowest, MAX(price) AS highest,
       ROUND(AVG(price), 2) AS mean,
       PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY price) AS median
FROM games_clean;

Un joc a 595.99? No informis mai d'un màxim sense mirar de qui és:

SELECT game, price FROM games_clean ORDER BY price DESC LIMIT 3;

El segon és una eina per fer jocs i el tercer és un editor de vídeo. Són programari que es ven a Steam, no jocs. Aquests són els streamers de la nostra cua.

Els extrems de la cua els fixa una sola fila cadascun. Una manera més sòlida de descriure la dispersió és tallar la cua en quatre parts iguals.

Els quartils són els tres talls que divideixen la cua en quatre parts amb el mateix nombre de files: Q1 al 25%, la mediana al 50%, Q3 al 75%.

La desviació estàndard és, aproximadament, la distància típica entre un valor i la mitjana. (La fórmula exacta eleva primer les distàncies al quadrat; avui no la necessites, i STDDEV ho fa per tu.)

SELECT ROUND(STDDEV(price), 2) AS std_dev,
       PERCENTILE_CONT(0.25) WITHIN GROUP (ORDER BY price) AS q1,
       PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY price) AS q3
FROM games_clean;

Entre Q1 i Q3 hi ha la meitat central de la cua. Així que pots escriure una frase que és curta, exacta i certa: la meitat de tots els jocs costen entre 1.99 i 9.99 dòlars.

Forma: on s'amuntega la cua¶

Centre i dispersió continuen sent només nombres. Per veure la cua en necessites la forma.

Una distribució és com es reparteixen els valors d'una columna: quins valors són comuns i quins són rars.

La manera més senzilla de veure-la és una taula de freqüències: talla el rang en caixes d'amplada igual i compta quantes files cauen a cada caixa.

width_bucket(value, from, to, n) et diu en quina de les n caixes iguals entre from i to cau un valor. A continuació: sis caixes de 10 dòlars de 0 a 60. Qualsevol cosa per sobre de 60 va a una caixa extra, la número 7. L'última columna dibuixa una barra: un # per cada 500 jocs.

SELECT width_bucket(price, 0, 60, 6) AS bucket,
       MIN(price) AS lowest, MAX(price) AS highest, COUNT(*) AS games,
       REPEAT('#', (COUNT(*) / 500)::int) AS bar
FROM games_clean GROUP BY bucket ORDER BY bucket;

 bucket | lowest | highest | games | bar
--------+--------+---------+-------+--------------------------------------------
      1 |   0.00 |    9.99 | 21318 | ##########################################
      2 |  10.00 |   19.99 |  4101 | ########
      3 |  20.00 |   29.99 |   701 | #
      4 |  30.00 |   39.99 |   269 |
      5 |  40.00 |   49.99 |   117 |
      6 |  54.99 |   59.99 |    96 |
      7 |  64.99 |  595.99 |    83 |

Aquí tens la cua. Gairebé tothom està apilat a la primera caixa: 21,318 jocs de 26,685 costen menys de 10 dòlars. Després una línia llarga i prima de rezagats s'estén cap a la dreta, fins a 595.99.

Fes el mateix amb una segona columna, metascore, la puntuació de les ressenyes de 0 a 100. Dos canvis: només els jocs que tenen puntuació (WHERE has_metascore), i una conversió a numeric, perquè ROUND amb decimals no accepta directament el tipus d'aquesta columna.

SELECT COUNT(*) AS n, MIN(metascore) AS lowest, MAX(metascore) AS highest,
       ROUND(AVG(metascore)::numeric, 1) AS mean,
       PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY metascore) AS median,
       ROUND(STDDEV(metascore)::numeric, 1) AS std_dev,
       PERCENTILE_CONT(0.25) WITHIN GROUP (ORDER BY metascore) AS q1,
       PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY metascore) AS q3
FROM games_clean WHERE has_metascore;

SELECT width_bucket(metascore, 20, 100, 8) AS bucket,
       MIN(metascore) AS lowest, MAX(metascore) AS highest, COUNT(*) AS games,
       REPEAT('#', (COUNT(*) / 25)::int) AS bar
FROM games_clean WHERE has_metascore GROUP BY bucket ORDER BY bucket;

 bucket | lowest | highest | games | bar
--------+--------+---------+-------+--------------------------------------------
      1 |     20 |      29 |     8 |
      2 |     30 |      39 |    21 |
      3 |     40 |      49 |    85 | ###
      4 |     50 |      59 |   261 | ##########
      5 |     60 |      69 |   666 | ##########################
      6 |     70 |      79 |  1055 | ##########################################
      7 |     80 |      89 |   677 | ###########################
      8 |     90 |      98 |    76 | ###

Una cua completament diferent. Aquesta és un turó: pocs jocs a baix, pocs a dalt, i una multitud al mig, entre 70 i 79.

Dues formes: la cua i el turó¶

Aquí tens les dues taules de freqüències com a imatge, amb la mitjana i la mediana marcades.

Una distribució és asimètrica quan la majoria de valors s'amunteguen a un costat i una llarga cua de valors rars s'estén a l'altre. És simètrica quan els dos costats del centre s'assemblen més o menys.

Ara pots dir la forma sense dibuixar res. Compara els dos centres. Molt separats vol dir que hi ha una cua, i la mitjana ha estat arrossegada cap a ella. Propers vol dir un turó.

Quin nombre imprimim?¶

Torna al nombre que vas apuntar al principi. T'hi havies acostat? A quin dels dos?

A la lliçó següent escrius un informe, i una línia dirà què costa un joc. Si imprimeixes 7.91, descrius un joc que gairebé no existeix. Aquí tens el mateix fet, escrit de tres maneres:

Un nombre sense la seva forma és mitja veritat. Imprimeix la mediana, els quartils, i digues amb paraules que hi ha una cua.

Prova-ho¶

Usa games_clean a SQL Lab (base de dades Dades classe, esquema public). Construeix la teva pròpia fitxa estadística: una taula petita amb vuit nombres per columna.

Pas 1 — Executa les consultes d'aquesta pàgina i omple les dues files. Els teus nombres han de coincidir amb els de dalt.

Pas 2 — Compta quants jocs costen més que la mitjana, amb WHERE price > 7.91. Hauries d'obtenir 10,218.

Pas 3 — Sobre paper, fes un esbós de les set barres de price i les vuit barres de metascore. Marca on cauen la mitjana i la mediana a cada esbós.

Pas 4 — Els jocs Hit costen més? Afegeix un grup a la primera consulta:

SELECT owners_tier, ROUND(AVG(price), 2) AS mean,
       PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY price) AS median
FROM games_clean GROUP BY owners_tier;

Pas 5 — Acaba les dues frases: "Un joc típic costa __ perquè..." i "Un joc típic amb ressenyes puntua __ perquè...". Guarda la fitxa: és la matèria primera del teu informe.

Idees clau¶

• L'estadística exploratòria descriu una columna amb uns quants nombres: centre, dispersió i forma.
• La mitjana ho suma tot i ho reparteix a parts iguals; la mediana és el mig de la cua. Un valor extrem mou la mitjana i deixa la mediana on era.
• PostgreSQL no té MEDIAN(): usa PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY column). Els quartils Q1 i Q3 són els percentils 0.25 i 0.75.
• Una taula de freqüències amb width_bucket i COUNT(*) mostra la distribució: on s'amunteguen els valors.
• price és asimètrica (mitjana 7.91, mediana 4.99, una cua fins a 595.99). metascore és més o menys simètrica (mitjana 71.9, mediana 73).
• Mitjana i mediana molt separades vol dir que hi ha una cua. En una columna asimètrica, informa de la mediana i els quartils, i digues que hi ha una cua.

Comprovació ràpida¶

Ja tens una fitxa plena de nombres honestos. Però els nombres sols no són un informe. Ara toca L'informe descriptiu, on converteixes la fitxa estadística en una pàgina de la qual algú altre es pot fiar.