Introducción a la Ciencia de Datos con Python

1. Para encontrar retrocesos en la esperanza de vida, alguien ordena Gapminder por país y año y calcula gap["lifeExp"].diff() sin groupby. Obtiene 127 caídas de más de 5 años, cuando con groupby("country") son 15. ¿Qué explica la diferencia?

• Sin groupby, la fila de 1952 de cada país se resta de la fila de 2007 del país anterior y aparecen cambios falsos
• Sin groupby, diff calcula la diferencia contra la media mundial del año
• Con groupby, pandas elimina los países que tienen alguna caída
• diff sin groupby usa un salto de 5 filas en lugar de 1

Sin agrupar, diff resta fila contra fila anterior aunque cambie el país: la primera fila de cada país (1952) se compara con la última del país anterior (2007). Con groupby("country") la primera fila de cada país queda en NaN y solo se comparan mediciones del mismo país.

2. En la copia sucia de Gapminder, los nulos de lifeExp se rellenan con limpio.groupby("continent")["lifeExp"].transform("median"). ¿Por qué se usa transform y no .median() directamente después del groupby?

• Porque transform devuelve un valor por fila, alineado con la tabla original, y fillna puede usarlo directamente
• Porque .median() ignora los nulos y transform no
• Porque transform calcula la mediana global, que es más estable
• Porque .median() solo funciona con columnas de texto

groupby(...).median() devuelve una fila por continente (5 valores), que no se alinea con las 142 filas. transform("median") devuelve una Serie con el mismo índice que la tabla, donde cada fila lleva la mediana de su continente; así fillna puede rellenar fila por fila.

3. La copia sucia tiene escrituras como "africa", "Africa " y "AFRICA". Si se calcula la mediana de lifeExp por continente ANTES de aplicar str.strip().str.title(), ¿qué ocurre?

• Salen 10 grupos en lugar de 5, y las variantes mal escritas forman grupos diminutos con medianas poco fiables
• pandas unifica las mayúsculas automáticamente y salen 5 grupos
• pandas lanza un error porque hay etiquetas repetidas
• Las filas mal escritas se descartan del groupby

Para pandas, "Africa " (con espacio) y "AFRICA" son etiquetas distintas, así que el groupby produce 10 grupos en vez de 5 y algunas medianas se calculan con una o dos filas. Por eso el texto se normaliza antes de agrupar.

4. Al imputar lifeExp de Nigeria (valor real 2007: 46.9 años) con la mediana del continente, el error es de 6.1 años; con la mediana global de todos los países, el error sube a 25 años. ¿Qué lección deja esta comparación?

• Imputar por grupo suele reducir el error porque compara con países parecidos, pero el valor sigue siendo inventado y debe reportarse
• La imputación por grupo es exacta, así que ya no hace falta mencionarla
• Conviene imputar siempre con la mediana global porque usa más datos
• El error demuestra que el dato real de Nigeria está mal capturado

La mediana global mezcla continentes con niveles muy distintos, así que a un país africano le asigna un valor cercano al de otras regiones. Imputar dentro del grupo suele reducir el error (no siempre: en Bolivia la global queda más cerca), pero sigue inventando datos: hay que medirlo y reportarlo.

5. Se unen las filas de 1952 y 2007 con a.merge(b, on="country", suffixes=("_1952", "_2007")) y el resultado debería tener 142 filas. Si en cambio sale con más filas, ¿cuál es la causa más probable?

• Algún país aparece repetido en una de las tablas, y merge genera una fila por cada combinación de llaves
• merge siempre agrega filas vacías para los países sin coincidencia
• Los sufijos _1952 y _2007 duplican las filas
• merge apila las dos tablas una debajo de la otra, como concat

merge combina cada fila de la izquierda con todas las filas de la derecha que comparten la llave. Si un país aparece dos veces en una de las tablas, se generan filas extra. Por eso se cuenta el número de filas después de cada merge.