# machine-learning-clasico-con-python
Machine Learning con scikit-learn y XGBoost
Volver a la portada del cursoCOMPAS: la exactitud no cuenta toda la historia
Sección 3 · Regresión y clasificación: modelos lineales, KNN, SVM y Naive Bayes
Transcripción
En mayo de 2016, el medio de investigación ProPublica publicó un reportaje titulado Machine Bias, sesgo de máquina. El tema era un clasificador llamado COMPAS, que asigna a una persona arrestada un puntaje de riesgo de volver a delinquir. Ese puntaje se usaba en tribunales de Estados Unidos, por ejemplo para decidir quién podía esperar su juicio en libertad. Lo interesante de esta historia es que las dos partes del debate tenían números correctos. Y aun así llegaban a conclusiones opuestas.
Empecemos por lo que hizo ProPublica. El equipo, encabezado por Julia Angwin, obtuvo los puntajes de más de siete mil personas arrestadas en el condado de Broward, en Florida, durante 2013 y 2014. Después revisó quién había sido arrestado de nuevo en los dos años siguientes. Es decir, tenían las predicciones del modelo y lo que realmente pasó. Exactamente lo que tú tienes cuando separas un conjunto de prueba.
La primera cifra fue la exactitud. El puntaje acertaba si una persona volvía a delinquir en el sesenta y uno por ciento de los casos. Para delitos violentos era peor: solo el veinte por ciento de las personas que el modelo marcaba como probables autoras de un delito violento terminaron cometiéndolo.
Pero la parte central del reportaje no fue la exactitud global. Fue cómo se repartían los errores. ProPublica separó los resultados por grupo y construyó, en la práctica, una matriz de confusión para cada uno. Entre las personas negras que no volvieron a delinquir, el cuarenta y cuatro punto nueve por ciento había sido etiquetado como de alto riesgo. Entre las personas blancas, ese porcentaje era de veintitrés punto cinco. Es decir, falsos positivos casi al doble de frecuencia. Y con los falsos negativos pasaba lo contrario: entre las personas blancas que sí volvieron a delinquir, el cuarenta y siete punto siete por ciento había sido etiquetado como de bajo riesgo, frente al veintiocho por ciento entre las personas negras.
La empresa que desarrolló COMPAS, que entonces se llamaba Northpointe, rechazó la conclusión. Su respuesta se tituló, justamente, Demostrando equidad en la exactitud y paridad predictiva. Su argumento era que el puntaje funcionaba igual de bien para ambos grupos con otras medidas: que la capacidad de distinguir entre quien reincide y quien no era similar, y que, entre las personas marcadas como de alto riesgo, la proporción que realmente reincidía también era parecida en los dos grupos. Además, señalaba que ProPublica no tomaba en cuenta que las tasas de reincidencia de base eran distintas entre los grupos.
Aquí está la lección técnica. ProPublica hablaba de tasas de falsos positivos y de falsos negativos. Northpointe hablaba de algo cercano a la precisión: de cada cien personas marcadas como alto riesgo, cuántas lo eran realmente. Las dos cosas salen de la misma matriz de confusión, pero responden preguntas distintas. Y cuando dos grupos tienen tasas de base diferentes, en general no se pueden igualar todas esas métricas al mismo tiempo. Mejorar una empeora otra. No es un error de cálculo de nadie; es una consecuencia de cómo están construidas las métricas.
Ahora llévalo a lo que estás aprendiendo en este módulo. En PyRitmo, el veintisiete punto cinco por ciento de las canciones es top 50. Un modelo que dice siempre que no tiene setenta y dos punto cinco por ciento de exactitud y no sirve para nada. Por eso la exactitud sola no alcanza. Necesitas la matriz de confusión para ver qué tipo de error comete tu modelo, y necesitas decidir cuál de esos errores te cuesta más.
En PyRitmo, ¿qué es peor, recomendar una canción que no será éxito o dejar pasar un hit? Si dejar pasar un hit es caro, te importa el recall, y bajas el umbral para marcar más canciones como positivas, aceptando más falsos positivos. Si cada recomendación fallida tiene costo, te importa la precisión, y subes el umbral. El modelo es el mismo; lo que cambia es dónde pones el corte y qué métrica decides vigilar.
En COMPAS, esos errores no eran canciones mal recomendadas. Eran personas que pasaban más tiempo detenidas, o que salían cuando el modelo se equivocaba en la otra dirección. Por eso el caso se volvió tan importante: mostró que elegir una métrica no es un detalle técnico, sino una decisión sobre a quién afectan los errores.
La idea con la que conviene quedarse es esta: antes de decir que un clasificador es bueno, pregunta bueno según qué métrica, para quién, y con qué umbral. La matriz de confusión no te da la respuesta, pero te obliga a hacer la pregunta correcta.