Fundamentos de Scikit-learn

1. El modelo está dentro de Pipeline([("pre", pre), ("modelo", RandomForestClassifier())]). ¿Qué clave debe llevar la rejilla de GridSearchCV para probar varias profundidades?

• "max_depth"
• "modelo__max_depth"
• "modelo.max_depth"
• "RandomForestClassifier__max_depth"

Dentro de un Pipeline, el hiperparámetro se nombra con el paso, dos guiones bajos y el nombre: modelo__max_depth. Sin el prefijo se lanza ValueError: Invalid parameter.

2. Una rejilla prueba n_estimators [100, 300], max_depth [4, 8, None] y min_samples_leaf [1, 5, 20] con validación cruzada de 5 pliegues. ¿Cuántos modelos se entrenan durante la búsqueda, sin contar el reajuste final?

• 18
• 8
• 90
• 40

Hay 2 × 3 × 3 = 18 combinaciones y cada una se entrena una vez por pliegue: 18 × 5 = 90 ajustes. Con refit=True se entrena uno más con todo el train.

3. GridSearchCV con scoring="roc_auc" reporta best_score_ = 0.9354, y el AUC del mejor modelo en test es 0.9108. ¿Qué cifra se reporta como desempeño del modelo y por qué?

• 0.9354, porque promedia cinco pliegues y es más estable
• El promedio de ambas, 0.9231
• 0.9108 es exactitud y 0.9354 es AUC, así que no se comparan
• 0.9108, porque best_score_ se usó para elegir la combinación y queda optimista

best_score_ es la media de validación cruzada de la combinación ganadora y sirvió para elegirla, así que queda algo optimista. El test, usado una sola vez, es la estimación honesta.

4. Un RandomizedSearchCV con n_iter=30 y 5 pliegues entrena 150 modelos y llega a un AUC de validación de 0.9502. Una rejilla de 4 × 4 × 4 × 4 valores sobre los mismos hiperparámetros entrena 1280 y llega a 0.9509. ¿Qué se concluye?

• La rejilla es siempre preferible porque garantiza el mejor modelo posible
• La búsqueda aleatoria da casi el mismo resultado con mucho menos cómputo, porque su costo lo fija n_iter
• La búsqueda aleatoria es más precisa porque usa más pliegues
• Las dos entrenan el mismo número de modelos, pero en distinto orden

La búsqueda aleatoria prueba un número fijo de combinaciones (n_iter) y aquí llega casi al mismo resultado con una fracción del costo. La rejilla crece multiplicando todas las listas.

5. Las entregas se ordenan por la etiqueta tarde y se evalúa con cross_val_score(pipe, X, y, cv=KFold(5)). Los pliegues dan 0.912, 0.910, 0.935, 0.858 y 0.470. ¿Cuál es la causa y la corrección?

• El modelo está sobreajustado; hay que bajar C
• Cinco pliegues son pocos; hay que usar KFold(20)
• Los pliegues son bloques consecutivos con clases desbalanceadas; se corrige con StratifiedKFold(5, shuffle=True, random_state=42)
• Falta escalar los datos antes de la validación cruzada

KFold sin barajar corta bloques consecutivos: los últimos pliegues tienen proporciones de clase muy distintas a las del entrenamiento. StratifiedKFold con shuffle=True conserva la proporción de tardías en cada pliegue.