Aprendizaje por Refuerzo en Python

1. En el almacén de PyShop cada paso vale −1 y llegar al andén vale +10. La ruta más corta tiene 8 pasos (el último llega al andén). ¿Cuál es su retorno sin descuento ($\gamma = 1$)?

• 10, porque solo cuenta la recompensa de llegar al andén
• 2, porque son 8 pasos de −1 más el +10
• 3, porque son siete pasos de −1 y un +10 al llegar
• −8, porque cada paso cuesta −1

Son siete pasos de −1 y uno de +10: −7 + 10 = 3. El retorno suma las recompensas de todo el episodio, no solo la del último paso.

2. Con un factor de descuento $\gamma = 0.9$, el retorno de esa misma ruta de 8 pasos baja de 3 a −0.434. ¿Por qué?

• Porque las recompensas futuras se multiplican por potencias de $\gamma$ y el +10 del final pierde peso frente a los −1 iniciales
• Porque $\gamma$ resta 0.9 a cada recompensa
• Porque con $\gamma$ menor que 1 el robot toma una ruta más larga
• Porque el descuento solo se aplica a las recompensas negativas

El +10 llega en el octavo paso y se multiplica por $\gamma^7$, así que pesa menos que los −1 de los primeros pasos. Con $\gamma = 0.5$ el retorno cae todavía más, a −1.906.

3. ¿Qué distingue al aprendizaje por refuerzo del aprendizaje supervisado?

• Que el aprendizaje por refuerzo no necesita datos de ningún tipo
• Que el aprendizaje por refuerzo solo funciona con imágenes
• Que el aprendizaje por refuerzo agrupa ejemplos parecidos sin etiquetas
• Que el agente no recibe la acción correcta: aprende por prueba y error a partir de recompensas

En el supervisado cada ejemplo trae la respuesta correcta. En el aprendizaje por refuerzo nadie le dice al agente qué acción era la correcta: actúa, recibe recompensas del entorno y aprende por prueba y error.

4. En el vocabulario del aprendizaje por refuerzo, ¿qué es la política del agente?

• La suma de todas las recompensas de un episodio
• La regla que indica qué acción tomar en cada estado
• El número que el entorno devuelve después de cada acción
• El límite de pasos que tiene cada episodio

La política es la regla que dice qué acción tomar en cada estado; puede ser una tabla o una regla con azar. Aprender consiste en mejorarla. La suma de recompensas del episodio es el retorno.

5. Un robot que se mueve al azar en el almacén obtiene, en 1000 episodios, un retorno medio de −31.87 y llega al andén solo 63 veces. ¿Qué papel cumple ese resultado?

• Es el máximo retorno posible en el almacén
• Demuestra que el almacén no tiene solución
• Es la línea base: lo que logra un agente que no aprende, y que el agente entrenado debe superar
• Es el valor del estado de salida, $V(0)$

El agente aleatorio es la línea base: lo que se obtiene sin aprender nada. Q-learning debe superarla, y lo hace con retorno 3 y 100 % de éxito en la evaluación.