Les dades no parlen soles¶
Exercici data-dont-speak-alone-annex.pdf · PDF
Quatre jugadors acaben una partida. La pantalla d'estadístiques diu el mateix dels quatre: mateixa mitjana, mateixa dispersió, mateixa tendència. Són el mateix tipus de jugador?
Diries que sí. Tothom ho diria. I tothom s'equivocaria, perquè la pantalla d'estadístiques és un resum, i un resum amaga coses. Un d'ells va jugar de manera constant, un altre va fer un pic i es va ensorrar, un altre va tenir una sola ronda increïble, i l'últim va fer deu vegades el mateix i una vegada una cosa completament diferent. Només ho descobreixes quan mires.
Aquest és tot el mòdul en una sola frase: els nombres no s'expliquen sols. Algú els ha d'anar a buscar, netejar i dibuixar perquè una persona pugui veure què passa. Aquest any, aquest algú ets tu.
Què aprendràs
- Distingir les dades de la informació, i dir què converteix les unes en l'altra
- Explicar què és un estadístic resum i per què quatre d'ells no van bastar per al quartet d'Anscombe
- Llegir un diagrama de dispersió i detectar-hi una corba, un valor atípic i una falsa tendència
- Anomenar les quatre etapes del cicle de vida de les dades i associar cadascuna a una unitat d'aquest curs
- Evitar la trampa: per què "treballar amb dades és fer gràfics" inverteix l'ordre
Les dades no són informació¶
Les dades són fets registrats en brut: un nombre, una paraula, una data. La informació és el que obtens quan algú organitza aquests fets per respondre una pregunta.
Pren un fet: avui fa 31 °C a Calvià. Això és una dada (un sol element de dades). Per si sola diu ben poca cosa. Calor? Normal? Comparat amb què?
Ara mira com va pujant:
| Pas | Exemple | Què s'ha afegit |
|---|---|---|
| Dades | 31 °C a Calvià avui | Res: una mesura en brut |
| Informació | La mitjana d'aquest mes és de 26 °C | Moltes dades, organitzades i comparades |
| Conclusió | Aquest mes fa una calor inusual | Una persona que interpreta la informació |
| Decisió | S'avança la revisió de l'aire condicionat | Algú que actua segons la conclusió |
Les dades mai no van dir "avança la revisió". Ho van dir les persones, després d'organitzar les dades i de mirar-les. Això és el que vol dir el títol d'aquesta pàgina: les dades no parlen soles. Sempre hi ha algú que parla en nom seu, i aquest curs t'ensenya a fer-ho amb honestedat.
Per què en anglès es diu \"data are\" i alhora \"data is\"?
En anglès, data és el plural llatí de datum (en català, "dada"), així que qui escriu amb cura diu "data are". En l'anglès de cada dia també sentiràs "data is", i ningú no t'entendrà malament. Aquesta pàgina fa servir el plural: les dades són.
Quatre nombres que descriuen una taula¶
Una taula amb milers de files no et cap al cap. Per això l'aixafem.
Un estadístic resum és un sol nombre que descriu tota una columna de dades.
Ja en coneixes el més famós. Aquests són els quatre que necessita aquesta pàgina, sense fórmules:
| Estadístic resum | La pregunta a la qual respon | En un joc |
|---|---|---|
| Mitjana | Quin és un valor típic? | La teva puntuació mitjana per partida |
| Variància | Com de dispersos són els valors al voltant de la mitjana? | Puntues sempre més o menys el mateix, o oscil·les molt? |
| Correlació (s'escriu r) | Quan una columna puja, també puja l'altra? Va de −1 a 1; 0 vol dir que no hi ha cap relació en línia recta | Més hores jugades van de la mà d'un rang més alt? |
| Recta de regressió | Quina recta passa més a prop de tots els punts? | La tendència: "aproximadament mig rang per cada hora addicional" |
Aquests quatre són la "pantalla d'estadístiques" d'un conjunt de dades. Es calculen ràpid i es comparen fàcilment. També són una compressió: entren moltes files i surt un sol nombre. I quan comprimeixes, perds coses.
Quant pots perdre? L'any 1973 un estadístic va decidir demostrar-ho.
El quartet d'Anscombe¶
Francis "Frank" Anscombe va ser un estadístic anglès que, el 1963, es va convertir en el primer director del departament d'estadística de la Universitat de Yale. Els ordinadors començaven a fer els càlculs per les persones, i ell estava preocupat: els analistes imprimien els nombres i mai no dibuixaven la imatge. Molts creien que els càlculs són exactes i els gràfics, aproximats.
Així que el 1973 va publicar un article breu, Graphs in Statistical Analysis, a la revista The American Statistician. Hi va construir a mà quatre conjunts de dades minúsculs, d'11 punts cadascun. Avui s'anomenen quartet d'Anscombe.
Aquesta és la seva pantalla d'estadístiques:
| Estadístic resum | Conjunt I | Conjunt II | Conjunt III | Conjunt IV |
|---|---|---|---|---|
| Nombre de punts | 11 | 11 | 11 | 11 |
| Mitjana de x | 9.00 | 9.00 | 9.00 | 9.00 |
| Mitjana de y | 7.50 | 7.50 | 7.50 | 7.50 |
| Variància de x | 11.00 | 11.00 | 11.00 | 11.00 |
| Variància de y | 4.13 | 4.13 | 4.12 | 4.12 |
| Correlació r | 0.816 | 0.816 | 0.816 | 0.817 |
| Recta de regressió | y = 3.00 + 0.50x | y = 3.00 + 0.50x | y = 3.00 + 0.50x | y = 3.00 + 0.50x |
Set files, i els quatre conjunts coincideixen en totes. Si només tinguessis aquesta taula, què en concluries? Que són quatre còpies de la mateixa cosa.
Ara dibuixa'ls.
Un diagrama de dispersió és un gràfic en què cada fila de la taula es converteix en un punt: el valor de x diu fins on va el punt cap a la dreta, el valor de y diu fins on va cap amunt.
Mateixa pantalla d'estadístiques. Quatre històries diferents:
| Conjunt | Què mostra la imatge | Què amagaven els nombres |
|---|---|---|
| I | Punts escampats al voltant d'una recta ascendent | Res. És l'únic conjunt que el resum descriu amb justícia. |
| II | Una corba suau que puja i després baixa | La relació no és una línia recta en absolut. Una tendència en línia recta és l'eina equivocada. |
| III | Deu punts sobre una recta perfecta, un punt molt per damunt | Un valor atípic (un valor molt allunyat de tots els altres) arrossega la recta cap amunt. |
| IV | Deu punts apilats a x = 8, un punt sol a x = 19 | Treu aquell únic punt i no queda cap tendència. Un sol punt va inventar la correlació. |
Els 44 punts, si vols comprovar-los tu mateix
Els conjunts I, II i III comparteixen els mateixos valors de x. El conjunt IV en té de propis.
| x (I, II, III) | y (I) | y (II) | y (III) | x (IV) | y (IV) |
|---|---|---|---|---|---|
| 10 | 8.04 | 9.14 | 7.46 | 8 | 6.58 |
| 8 | 6.95 | 8.14 | 6.77 | 8 | 5.76 |
| 13 | 7.58 | 8.74 | 12.74 | 8 | 7.71 |
| 9 | 8.81 | 8.77 | 7.11 | 8 | 8.84 |
| 11 | 8.33 | 9.26 | 7.81 | 8 | 8.47 |
| 14 | 9.96 | 8.10 | 8.84 | 8 | 7.04 |
| 6 | 7.24 | 6.13 | 6.08 | 8 | 5.25 |
| 4 | 4.26 | 3.10 | 5.39 | 19 | 12.50 |
| 12 | 10.84 | 9.13 | 8.15 | 8 | 5.56 |
| 7 | 4.82 | 7.26 | 6.42 | 8 | 7.91 |
| 5 | 5.68 | 4.74 | 5.73 | 8 | 6.89 |
Compte: això no vol dir que l'estadística sigui inútil
La lliçó no és "ignora els nombres". Els nombres són correctes en els quatre conjunts. La lliçó és fes servir les dues coses: calcula el resum i dibuixa el gràfic. Cadascuna detecta el que l'altra deixa passar. Aquest va ser exactament el consell d'Anscombe el 1973.
Anscombe va tenir sort? Coneix el Datasaurus
El 2017, Justin Matejka i George Fitzmaurice, dos investigadors d'Autodesk, van portar la idea molt més lluny. Van publicar el Datasaurus Dozen: tretze conjunts de dades amb estadístics resum gairebé idèntics. Un té forma d'estrella. Un altre és un cercle. Un altre és un dinosaure. Digui el que digui la pantalla d'estadístiques, darrere seu hi pot haver un dinosaure.
El cicle de vida de les dades: un joc de fabricació¶
Anscombe va donar als seus lectors els nombres: nets, en una taula, a punt per dibuixar. La vida real és menys generosa. Abans de poder dibuixar res, has de trobar les dades, portar-les a casa i arreglar-les.
El cicle de vida de les dades és el camí que segueixen les dades des del lloc on viuen fins a la pantalla on algú les llegeix.
Té quatre etapes, i ja les coneixes si has jugat mai a un joc de fabricació com Minecraft o Stardew Valley. Ningú no fa una espasa de diamant a partir d'un bloc de pedra que només ha mirat. Mantindrem aquesta única analogia durant tot el curs.
flowchart LR
O["<b>1 · Obtenir</b><br>(cultivar i saquejar)"] -- "dades en brut" --> P["<b>2 · Preparar</b><br>(fondre, ordenar,<br>llençar la brossa)"]
P -- "dades netes" --> A["<b>3 · Analitzar</b><br>(fabricar,<br>comparar estadístiques)"]
A -- "resultats" --> R["<b>4 · Representar</b><br>(el HUD i<br>el minimapa)"]| Etapa | Al joc | Amb dades | On l'aprens |
|---|---|---|---|
| 1 · Obtenir | Cultivar i saquejar: extreure mineral, obrir cofres, comerciar amb personatges | Connectar-te als llocs on viuen les dades i extreure-les (treure el que necessites): bases de dades, fitxers, serveis web | UT1, començant per Fonts de dades |
| 2 · Preparar | Fondre el mineral, ordenar l'inventari, llençar la brossa | Netejar: valors absents, files repetides, formats erronis | UT2, començant per Qualitat de les dades |
| 3 · Analitzar | Fabricar: combinar materials, comparar les estadístiques de dos objectes | Agrupar, comptar, calcular i comparar: mitjanes, totals, classificacions | UT2, a Estadística exploratòria |
| 4 · Representar | El HUD i el minimapa: barra de vida, mapa i puntuació d'un cop d'ull | Gràfics i quadres de comandament (dashboards: diversos gràfics en una sola pantalla) que responen una pregunta | UT3, començant per Percepció visual, i UT4, començant per Quadres de comandament i KPI |
UT vol dir unitat de treball: un bloc de classes. La pàgina de Resultats d'aprenentatge mostra com es corresponen les quatre unitats amb els tres resultats pels quals t'avaluen. Aquesta pàgina obre la UT1 i les emmarca totes.
On encaixa el quartet d'Anscombe? A l'etapa 4. La taula resum era la pantalla d'estadístiques; els diagrames de dispersió eren el minimapa. El minimapa va mostrar el que la pantalla d'estadístiques amagava.
Compte: \"treballar amb dades són els gràfics\"
És la idea més estesa sobre aquesta feina, i inverteix l'ordre. Els gràfics són el HUD: l'última cosa que apareix a la pantalla. Si el botí és erroni, el HUD menteix, per bonic que sigui. Tres de les quatre etapes passen abans que es dibuixi un sol gràfic, i l'etapa 2 és la que els principiants volen saltar-se més. Veuràs per què a la UT2.
Cada gràfic és un argument¶
Els quatre gràfics d'Anscombe eren honestos. No tots els gràfics ho són.
Els mateixos nombres es poden dibuixar per xiuxiuejar o per cridar. Fes que l'eix vertical d'un gràfic de barres comenci a 95 en lloc de 0, i una pujada del 4% sembla una explosió. No ha canviat res a les dades. Només ha canviat el dibuix.
Així que quedat-te amb tres hàbits des del primer dia:
- Mira abans de resumir. Dibuixa les dades abans de refiar-te d'una mitjana.
- Tracta cada gràfic com un argument. Algú ha triat què mostrar i com. Pregunta't què vol que creguis.
- Deixa que la pregunta triï el gràfic. Una comparació, un canvi en el temps i una relació necessiten cadascun una imatge diferent. No decideix l'eina; decideix la pregunta.
Entrenaràs els tres a fons a la UT3: llegir els principals tipus de gràfic, triar el correcte i enxampar els trucs a Gràfics enganyosos.
Prova-ho: reconstrueix el quartet¶
Necessites un programa de fulls de càlcul (LibreOffice Calc, Excel o Google Sheets) i el fitxer anscombe.xlsx de la pàgina de Recursos.
| Pas | Fes això | Hauries de veure |
|---|---|---|
| 1 | Obre anscombe.xlsx. No dibuixis res encara. |
Quatre taules petites, d'11 files cadascuna |
| 2 | Per a cada conjunt, calcula la mitjana de x i de y amb AVERAGE |
9 i 7.50, quatre vegades |
| 3 | Calcula la variància de x i de y amb VAR.S (a Calc, també funciona VAR) |
11 i aproximadament 4.12, quatre vegades |
| 4 | Calcula la correlació amb CORREL |
Aproximadament 0.816, quatre vegades |
| 5 | Calcula la recta de regressió amb SLOPE i INTERCEPT. Totes dues prenen primer la columna y, i després la columna x. |
Aproximadament 0.50 i 3.00, quatre vegades |
| 6 | Només ara: insereix un gràfic de dispersió per a cada conjunt | Quatre imatges que no s'assemblen |
Després respon en una frase cadascuna: què creies després del pas 5, i què creus després del pas 6?
Idees clau¶
- Les dades són fets en brut; la informació apareix quan algú les organitza per respondre una pregunta. Les dades no parlen soles.
- Un estadístic resum (mitjana, variància, correlació, recta de regressió) aixafa moltes files en un sol nombre. És una compressió, i la compressió perd detall.
- El quartet d'Anscombe (Frank Anscombe, 1973): quatre conjunts de dades d'11 punts amb estadístics resum gairebé iguals i quatre diagrames de dispersió completament diferents.
- Les imatges van revelar una corba, un valor atípic i una tendència inventada per un sol punt. Calcula i dibuixa sempre.
- El cicle de vida de les dades té quatre etapes: obtenir, preparar, analitzar, representar. Al joc de fabricació: cultivar i saquejar, fondre i ordenar, fabricar, HUD i minimapa.
- Els gràfics són l'última etapa, no tota la feina. Si les etapes anteriors són errònies, el gràfic menteix.
Comprovació ràpida¶
1. Què tenen en comú els quatre conjunts de dades del quartet d'Anscombe?
- Exactament els mateixos 11 punts, en un ordre diferent
- Estadístics resum gairebé idèntics: mitjanes, variàncies, correlació i recta de regressió
- La mateixa forma quan es dibuixen
- Res: es van triar a l'atzar
Els quatre conjunts comparteixen els estadístics resum (mitjana de x 9, mitjana de y 7.50, correlació aproximadament 0.816, recta y = 3.00 + 0.50x), però els seus punts són diferents i també ho són les seves imatges. Aquesta distància entre "els mateixos nombres" i "imatges diferents" és tot el punt.
2. Per què dos conjunts de dades molt diferents poden tenir la mateixa mitjana?
- Perquè la mitjana sovint es calcula malament
- Perquè la mitjana només funciona amb 11 valors
- Perquè un estadístic resum aixafa molts valors en un sol nombre, i pel camí es perd detall
- Perquè els fulls de càlcul arrodoneixen el resultat
Un estadístic resum és una compressió: entren moltes files, surt un sol nombre. Molts conjunts de files diferents poden produir el mateix nombre. La mitjana es calcula correctament als quatre conjunts; simplement no els pot distingir.
3. Al conjunt IV, deu punts tenen x = 8 i un punt té x = 19. Què passa amb la tendència si elimines aquest únic punt?
- No canvia res: un punt d'onze és massa poc per comptar
- La tendència es converteix en una corba
- La tendència desapareix: aquell únic punt creava la correlació
- La correlació puja a exactament 1
Amb tots els punts restants apilats a x = 8, no queda res que una recta ascendent pugui seguir. Un sol punt va inventar la correlació, i només el diagrama de dispersió ho mostra.
4. Quina seqüència és el cicle de vida de les dades, en ordre?
- Representar → obtenir → preparar → analitzar
- Obtenir → analitzar → preparar → representar
- Preparar → obtenir → representar → analitzar
- Obtenir → preparar → analitzar → representar
Primer obtens les dades (cultivar i saquejar), després les prepares (fondre, ordenar, llençar la brossa), després les analitzes (fabricar, comparar estadístiques), i només llavors les representes (el HUD i el minimapa).
5. A l'analogia del joc de fabricació, què és el HUD i el minimapa?
- Obtenir les dades de la seva font
- Netejar els valors absents i repetits
- Representar les dades amb gràfics i quadres de comandament
- Emmagatzemar les dades en una base de dades
El HUD mostra la vida, el mapa i la puntuació d'un cop d'ull: això és l'etapa 4, representar. És l'última cosa que apareix a la pantalla, i només és tan bo com el botí que hi ha darrere.
6. Un company diu: \"Treballar amb dades és bàsicament fer gràfics bonics.\" Quina és la millor resposta?
- Cert: les altres etapes les fan automàticament les eines
- Els gràfics són l'última de quatre etapes; si les dades s'han obtingut malament o no s'han netejat, el gràfic menteix
- Fals: els gràfics no formen part del treball amb dades en absolut
- Cert, sempre que el gràfic tingui títol
Representar és l'etapa 4 de 4. Obtenir i preparar van primer, i un gràfic preciós construït sobre dades errònies continua sent erroni. Els gràfics importen (Anscombe ho va demostrar), però no són tota la feina.
7. Una aplicació de streaming t'informa que dues de les seves sèries tenen la mateixa valoració mitjana, 7.5 sobre 10. Tria les dues afirmacions que són certes.
- Les dues sèries podrien tenir valoracions molt diferents episodi per episodi
- Les dues sèries han d'haver estat valorades pels mateixos espectadors
- Un gràfic de la valoració de cada episodi mostraria diferències que la mitjana amaga
- La mateixa mitjana demostra que totes dues sèries són igual de constants en qualitat
Mateixa lliçó que el quartet, situació nova. Una mitjana és un resum: una sèrie podria ser un 7.5 constant mentre l'altra oscil·la entre 5 i 10. Només mirar els valors individuals, idealment en un gràfic, les distingeix.
Ara ja saps per què importa la imatge i quines quatre etapes hi porten. L'etapa 1 comença amb una pregunta senzilla: on viuen realment les dades? Següent: Fonts de dades.