Estadística exploratoria¶

Ejercicio exploratory-statistics-annex.pdf · PDF

Sin ejecutar nada: ¿cuánto cuesta un juego típico de Steam? Di un número. Apúntalo, incluso.

Llevas semanas limpiando games_clean. Te sabes sus columnas de memoria. Y aun así tienes que adivinar, porque nadie le ha hecho todavía a la tabla ni una sola pregunta. Hoy se la haces. La respuesta serán dos números que no se ponen de acuerdo, y entender por qué discrepan es la pieza de estadística más útil que aprenderás nunca.

Hoy produces los números; la próxima lección los convierte en el informe.

La cola: dos clases de centro¶

La estadística exploratoria consiste en describir una columna con un puñado de números antes de dibujar o concluir nada: dónde está su centro, cuánto se dispersa y qué forma tiene.

Cinco amigos comparan lo que ganan en un mes. Cuatro tienen trabajos normales. El quinto es un streamer que ha tenido un mes muy bueno.

1 200    1 300    1 400    1 500    30 000

¿Qué gana un amigo típico? Hay dos maneras honestas de responder.

La media (el "promedio" de todos los días) es lo que recibiría cada uno si se sumara todo y se repartiera a partes iguales.

Suma los cinco: 35,400. Reparte entre cinco: 7,080.

La mediana es el valor del que queda en el medio cuando todos hacen cola de menor a mayor.

Ponlos en cola por ingresos. El tercero de cinco está en el medio: 1,400.

Dale al streamer 300,000 en lugar de 30,000. La media salta a 61,080. La mediana sigue en 1,400.

Nos quedamos con la cola durante toda la página. Pon los datos en cola, el menor primero. La mitad están delante de la mediana, la mitad detrás. Todo lo que calcules hoy es una pregunta sobre esa cola:

Centro: lo mismo con 26,685 juegos¶

Ahora, la cola de verdad. Antes de ejecutarla, apuesta: ¿la media del precio será mayor o menor que la mediana?

SELECT ROUND(AVG(price), 2)                               AS mean,
       PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY price) AS median
FROM games_clean;

La media es AVG, una vieja amiga de SQL Lab: grupos. La mediana necesita una línea más larga. Léela pieza a pieza:

Un percentil es una posición en la cola, dada como una fracción: 0.5 es el medio, 0.25 es un cuarto del camino.

PostgreSQL no tiene una función MEDIAN(). La mediana es el percentil 0.5.

Entonces, ¿cuál es: un juego cuesta 7.91 dólares o 4.99? Los dos números son correctos. Responden a preguntas distintas. Para ver a cuál, necesitas el resto de la cola.

Dispersión: a qué distancia¶

Un centro solo esconde demasiado. "El juego del medio cuesta 4.99" es verdad tanto si todos los juegos cuestan 4.99 como si los precios van de cero a cientos. Empieza por los dos extremos de la cola:

SELECT COUNT(*) AS n, MIN(price) AS lowest, MAX(price) AS highest,
       ROUND(AVG(price), 2) AS mean,
       PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY price) AS median
FROM games_clean;

¿Un juego a 595.99? Nunca des un máximo sin mirar quién es:

SELECT game, price FROM games_clean ORDER BY price DESC LIMIT 3;

El segundo es una herramienta para hacer juegos y el tercero es un editor de vídeo. Son software vendido en Steam, no juegos. Son los streamers de nuestra cola.

Los extremos de la cola los fija una sola fila cada uno. Una forma más robusta de describir la dispersión es cortar la cola en cuatro partes iguales.

Los cuartiles son los tres cortes que dividen la cola en cuatro partes con el mismo número de filas: Q1 al 25%, la mediana al 50%, Q3 al 75%.

La desviación estándar es, a grandes rasgos, la distancia típica entre un valor y la media. (La fórmula exacta eleva las distancias al cuadrado primero; hoy no la necesitas, y STDDEV lo hace por ti.)

SELECT ROUND(STDDEV(price), 2) AS std_dev,
       PERCENTILE_CONT(0.25) WITHIN GROUP (ORDER BY price) AS q1,
       PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY price) AS q3
FROM games_clean;

Entre Q1 y Q3 está la mitad central de la cola. Así que puedes escribir una frase corta, exacta y verdadera: la mitad de los juegos cuesta entre 1.99 y 9.99 dólares.

Forma: dónde se amontona la cola¶

Centro y dispersión siguen siendo solo números. Para ver la cola necesitas su forma.

Una distribución es cómo se reparten los valores de una columna: cuáles son comunes y cuáles raros.

La forma más sencilla de verla es una tabla de frecuencias: corta el rango en cajas del mismo ancho y cuenta cuántas filas caen en cada caja.

width_bucket(value, from, to, n) te dice en cuál de n cajas iguales entre from y to cae un valor. Abajo: seis cajas de 10 dólares de 0 a 60. Todo lo que pasa de 60 va a una caja extra, la número 7. La última columna dibuja una barra: un # por cada 500 juegos.

SELECT width_bucket(price, 0, 60, 6) AS bucket,
       MIN(price) AS lowest, MAX(price) AS highest, COUNT(*) AS games,
       REPEAT('#', (COUNT(*) / 500)::int) AS bar
FROM games_clean GROUP BY bucket ORDER BY bucket;

 bucket | lowest | highest | games | bar
--------+--------+---------+-------+--------------------------------------------
      1 |   0.00 |    9.99 | 21318 | ##########################################
      2 |  10.00 |   19.99 |  4101 | ########
      3 |  20.00 |   29.99 |   701 | #
      4 |  30.00 |   39.99 |   269 |
      5 |  40.00 |   49.99 |   117 |
      6 |  54.99 |   59.99 |    96 |
      7 |  64.99 |  595.99 |    83 |

Ahí está la cola. Casi todo el mundo está apiñado en la primera caja: 21,318 juegos de 26,685 cuestan menos de 10 dólares. Después, una larga y fina hilera de rezagados se estira hacia la derecha, hasta 595.99.

Haz lo mismo con una segunda columna, metascore, la puntuación de las reseñas de 0 a 100. Dos cambios: solo los juegos que tienen puntuación (WHERE has_metascore), y una conversión a numeric, porque ROUND con decimales no acepta directamente el tipo de esa columna.

SELECT COUNT(*) AS n, MIN(metascore) AS lowest, MAX(metascore) AS highest,
       ROUND(AVG(metascore)::numeric, 1) AS mean,
       PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY metascore) AS median,
       ROUND(STDDEV(metascore)::numeric, 1) AS std_dev,
       PERCENTILE_CONT(0.25) WITHIN GROUP (ORDER BY metascore) AS q1,
       PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY metascore) AS q3
FROM games_clean WHERE has_metascore;

SELECT width_bucket(metascore, 20, 100, 8) AS bucket,
       MIN(metascore) AS lowest, MAX(metascore) AS highest, COUNT(*) AS games,
       REPEAT('#', (COUNT(*) / 25)::int) AS bar
FROM games_clean WHERE has_metascore GROUP BY bucket ORDER BY bucket;

 bucket | lowest | highest | games | bar
--------+--------+---------+-------+--------------------------------------------
      1 |     20 |      29 |     8 |
      2 |     30 |      39 |    21 |
      3 |     40 |      49 |    85 | ###
      4 |     50 |      59 |   261 | ##########
      5 |     60 |      69 |   666 | ##########################
      6 |     70 |      79 |  1055 | ##########################################
      7 |     80 |      89 |   677 | ###########################
      8 |     90 |      98 |    76 | ###

Una cola completamente distinta. Esta es una colina: pocos juegos abajo, pocos arriba y una multitud en el medio, entre 70 y 79.

Dos formas: la cola larga y la colina¶

Aquí tienes las dos tablas de frecuencias como imagen, con la media y la mediana marcadas.

Una distribución es sesgada cuando la mayoría de los valores se amontonan en un lado y una larga cola de valores raros se estira por el otro. Es simétrica cuando los dos lados del centro se parecen más o menos.

Ahora puedes saber la forma sin dibujar nada. Compara los dos centros. Si están lejos, hay una cola y la media se ha arrastrado hacia ella. Si están cerca, hay una colina.

¿Qué número imprimimos?¶

Vuelve al número que apuntaste al principio. ¿Te acercaste? ¿A cuál de los dos?

En la próxima lección escribes un informe, y una línea dirá cuánto cuesta un juego. Si imprimes 7.91, describes un juego que casi no existe. Aquí tienes el mismo hecho, escrito de tres maneras:

Un número sin su forma es media verdad. Imprime la mediana, los cuartiles, y di con palabras que hay una cola.

Pruébalo¶

Usa games_clean en SQL Lab (base de datos Dades classe, esquema public). Construye tu propia ficha estadística: una tabla pequeña con ocho números por columna.

Paso 1 — Ejecuta las consultas de esta página y rellena las dos filas. Tus números tienen que coincidir con los de arriba.

Paso 2 — Cuenta cuántos juegos cuestan más que la media, con WHERE price > 7.91. Deberías obtener 10,218.

Paso 3 — En papel, dibuja un esbozo de las siete barras de price y las ocho de metascore. Marca dónde caen la media y la mediana en cada esbozo.

Paso 4 — ¿Los juegos Hit cuestan más? Añade un grupo a la primera consulta:

SELECT owners_tier, ROUND(AVG(price), 2) AS mean,
       PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY price) AS median
FROM games_clean GROUP BY owners_tier;

Paso 5 — Termina las dos frases: "Un juego típico cuesta __ porque..." y "Un juego con reseñas típico puntúa __ porque...". Guarda la ficha: es la materia prima de tu informe.

Ideas clave¶

• La estadística exploratoria describe una columna con unos pocos números: centro, dispersión y forma.
• La media suma todo y lo reparte a partes iguales; la mediana es el medio de la cola. Un valor extremo mueve la media y deja la mediana donde estaba.
• PostgreSQL no tiene MEDIAN(): usa PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY column). Los cuartiles Q1 y Q3 son los percentiles 0.25 y 0.75.
• Una tabla de frecuencias con width_bucket y COUNT(*) muestra la distribución: dónde se amontonan los valores.
• price está sesgada (media 7.91, mediana 4.99, una cola hasta 595.99). metascore es más o menos simétrica (media 71.9, mediana 73).
• Media y mediana muy separadas significan que hay una cola. En una columna sesgada, da la mediana y los cuartiles, y di que hay una cola.

Comprobación rápida¶

Ya tienes una ficha llena de números honestos. Pero los números solos no son un informe. Siguiente: El informe descriptivo, donde conviertes la ficha estadística en una página en la que otra persona pueda confiar.