Regresión Logística Bayesiana con PyMC

1. Llamas a az.loo(idata) justo después de pm.sample y obtienes un error. ¿Cuál es la causa más probable?

• Falta calcular la log-verosimilitud con pm.compute_log_likelihood
• LOO solo funciona con modelos ajustados con ADVI
• Hay que correr antes la predictiva a priori
• LOO requiere al menos 8 cadenas

LOO-PSIS necesita la log-verosimilitud de cada observación en cada muestra. pm.sample no la guarda por defecto: hay que ejecutar pm.compute_log_likelihood(idata) dentro del modelo.

2. En la salida de az.loo, varias observaciones tienen un valor de Pareto $k$ mayor que 0.7. ¿Qué significa?

• La aproximación PSIS no es confiable para esas observaciones; conviene usar K-fold
• Esas observaciones están perfectamente predichas
• Las cadenas de NUTS no convergieron
• El modelo tiene demasiados parámetros

Pareto $k$ diagnostica la aproximación PSIS punto a punto. Valores mayores que 0.7 indican observaciones muy influyentes donde la aproximación no es confiable; conviene reajustar sin ellas o hacer K-fold real.

3. az.compare da elpd_diff = 33.14 y dse = 8.08 entre el modelo completo y el modelo sin antigüedad. ¿Cómo se interpreta?

• El modelo completo predice claramente mejor: la diferencia es unas 4 veces su error estándar
• Los modelos son equivalentes porque la diferencia tiene error estándar
• El modelo sin antigüedad es mejor porque tiene menos parámetros
• El modelo completo tiene 33.14 % más exactitud

La diferencia de elpd es unas cuatro veces su error estándar, muy por encima de la regla práctica de dos veces. El modelo completo predice claramente mejor fuera de muestra, y su peso de apilamiento es 0.978.

4. En el proyecto, ADVI de campo medio reporta una desviación estándar de 0.243 para un coeficiente cuya desviación con NUTS es 0.315. ¿Qué explica la diferencia?

• ADVI tiende a subestimar la incertidumbre de la posterior
• NUTS sobreestima la varianza cuando hay pocas cadenas
• ADVI usa un prior más estrecho que NUTS
• Faltaron iteraciones de calentamiento en NUTS

Minimizar $\mathrm{KL}(q \| p)$ hace que la aproximación se quede dentro de la masa de la posterior en lugar de cubrir sus colas, y el campo medio ignora las correlaciones. Resultado típico: medias correctas y varianzas subestimadas.

5. ¿Qué mide la puntuación de Brier en un clasificador probabilístico?

• El error cuadrático medio entre las probabilidades predichas y los resultados 0/1
• La fracción de casos clasificados correctamente con umbral 0.5
• El área bajo la curva ROC
• La densidad predictiva logarítmica fuera de muestra

Brier es el promedio de $(p_i - y_i)^2$: el error cuadrático de las probabilidades. A diferencia de la exactitud, no depende de un umbral y penaliza tanto las probabilidades mal calibradas como las poco discriminantes. En el proyecto vale 0.047.