Dyna：结合模型学习与直接强化学习

model_free的算法可以和 模型学习 结合。

   方法是向环境（environment）传递了 S ,A后获得反馈S_，R，保存这个关系，记为

   S_,R = Model(S, A)，如此多次就学习了model的一部分，就像是有了对外界环境的想象，如此就可以在不接触外界环境的情况下进行学习。

Q-learning 和模型学习结合就是 Tabular   Dyna-Q方法：

Initialize Q(s,a)Q(s,a) and Model(s,a)∀s∈S and a∈A(s)Model(s,a)∀s∈S and a∈A(s)

   Do forever(for each episode):

     (a) S←S← current (nonterminal) state

     (b) A←ϵ−greedy(S,Q)A←ϵ−greedy(S,Q)

     (c) Execute action AA; observe resultant reward, RR, and state, S′S′

     (d) Q(S,A)←Q(S,A)+α[R+γmaxa Q(S′,a)−Q(S,A)]Q(S,A)←Q(S,A)+α[R+γmaxa Q(S′,a)−Q(S,A)]

     (e) Model(S,A)←R,S′Model(S,A)←R,S′ (assuming deterministic environment)

     (f) Repeat n times:

      S←S← random previously observed state

      A←A← random action previously taken in SS

      R,S′←Model(S,A)R,S′←Model(S,A)

      Q(S,A)←Q(S,A)+α[R+γmaxa Q(S′,a)−Q(S,A)]Q(S,A)←Q(S,A)+α[R+γmaxa Q(S′,a)−Q(S,A)]

免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删