Aprendizaje por Refuerzo en Python

1. El robot del almacén da su paso número 50 sin llegar al andén ni pisar un derrame, y el episodio se corta. ¿Qué devuelve step en terminated y truncated?

• terminated=True y truncated=False
• terminated=False y truncated=True
• terminated=True y truncated=True
• terminated=False y truncated=False, porque el robot sigue en el almacén

El episodio no acabó por las reglas del problema (andén o derrame), sino por un límite de tiempo externo: eso es truncated. terminated queda en False.

2. En FrozenLake-v1 (resbaloso por defecto), las transiciones de la salida al pedir «derecha» son tres, cada una con probabilidad 0.333. ¿Qué tipo de entorno es?

• Determinista, porque siempre se llega a la casilla de la derecha
• Continuo, porque nunca termina
• Sin la propiedad de Markov, porque depende de los pasos anteriores
• Estocástico: la misma acción puede llevar a distintos estados

La misma acción en el mismo estado puede llevar a estados distintos: el entorno es estocástico. Con is_slippery=False la transición tiene probabilidad 1.0 y el entorno es determinista.

3. En FrozenLake resbaloso, un agente aleatorio llega a la meta solo en el 2.1 % de 1000 episodios. El entorno da 1 al llegar y 0 en todo lo demás. ¿Qué problema ilustra?

• Recompensa escasa: el agente casi nunca recibe una señal de qué funciona
• Recompensa densa: el agente recibe demasiada información
• Que el espacio de acciones es continuo
• Que el factor de descuento es demasiado alto

Es una recompensa escasa: casi todos los episodios terminan con 0, así que el agente casi nunca recibe una señal que le diga qué hizo bien. Una recompensa densa, como el −1 por paso del almacén, informa en cada paso.

4. En el juego de botes CoastRunners (ejemplo publicado por OpenAI en 2016), un agente obtuvo más puntos dando vueltas para golpear objetivos que terminando la carrera. ¿Qué lección deja sobre las recompensas?

• Que el agente necesitaba más episodios de entrenamiento
• Que el factor de descuento debía ser 0
• Que el agente optimiza la recompensa definida, no la intención: hay que premiar el resultado que se quiere
• Que los entornos de juegos no sirven para aprendizaje por refuerzo

El agente maximiza la recompensa que se le da, no la intención de quien la diseñó. Si los puntos no miden lo que se quiere (terminar la carrera), el agente explota el atajo: es el llamado «reward hacking».

5. El almacén se programó como entorno propio de Gymnasium. Tras reset(seed=42) y step(2) (derecha), el robot está en la casilla 1. Debajo de ella hay un estante. ¿Qué devuelve step(1) (abajo)?

• (1, -1.0, False, False, {})
• (6, -1.0, False, False, {})
• (1, 0.0, False, False, {})
• (1, -10.0, True, False, {})

Al chocar con un estante el robot se queda donde estaba, pero el paso cuesta igual: el entorno devuelve el estado 1, recompensa −1.0 y el episodio sigue.