“““
Translated?from?https://webdocs.cs.ualberta.ca/~sutton/MountainCar/MountainCar1.cp
Algorithm?described?at?https://webdocs.cs.ualberta.ca/~sutton/book/ebook/node89.html
Some?minor?adjustments?to?constants?were?made?to?make?the?program?work?on?environments
besides?Mountain?Car.
“““

import?random
import?math
import?numpy?as?np
import?gym
import?sys

np.random.seed（0）

env?=?gym.make（‘CartPole-v0‘）
outdir?=?‘CartPole‘

initial_epsilon?=?0.1?#?probability?of?choosing?a?random?action?（changed?from?original?value?of?0.0）
alpha?=?0.5?#?learning?rate
lambda_?=?0.9?#?trace?decay?rate
gamma?=?1.0?#?discount?rate
N?=?3000?#?memory?for?storing?parameters?（changed?from?original?value?of?3000）

M?=?env.action_space.n
NUM_TILINGS?=?10
NUM_TILES?=?8

def?main（）:
????env.monitor.start（outdir）

????epsilon?=?initial_epsilon
????theta?=?np.zeros（N）?#?parameters?（memory）

????for?episode_num?in?xrange（500）:
????????print?episode_num?episode（epsilon?theta?env.spec.timestep_limit）
????????epsilon?=?epsilon?*?0.999?#?added?epsilon?decay

????env.monitor.close（）

def?episode（epsilon?theta?max_steps）:
????Q?=?np.zeros（M）?#?action?values
????e?=?np.zeros（N）?#?eligibility?traces
????F?=?np.zeros（（M?NUM_TILINGS）?dtype=np.int32）?#?features?for?each?action

????def?load_F（observation）:
????????state_vars?=?[]
????????for?i?var?in?enumerate（observation）:
????????????range_?=?（env.observation_space.high[i]?-?env.observation_space.low[i]）
????????????#?in?CartPole?there?is?no?range?on?the?velocities?so?default?to?1
????????????if?range_?==?float（‘inf‘）:
????????????????range_?=?1
????????????state_vars.append（var?/?range_?*?NUM_TILES）

????????for?a?in?xrange（M）:
????????????F[a]?=?get_tiles（NUM_TILINGS?state_vars?N?a）

????def?load_Q（）:
????????for?a?in?xrange（M）:
????????????Q[a]?=?0
????????????for?j?in?xrange（NUM_TILINGS）:
????????????????Q[a]?+=?theta[F[aj]]

????observation?=?env.reset（）
????load_F（observation）
????load_Q（）
????action?=?np.argmax（Q）?#?numpy?argmax?chooses?first?in?a?tie?not?random?like?original?implementation
????if?np.random.random（）?????????action?=?env.action_space.sample（）

????step?=?0
????while?True:
????????step?