阅读本文前先了解TRPO算法有助于理解，我对此也写过博客：https://blog.csdn.net/tianjuewudi/article/details/120191097 参考李宏毅老师的视频：https://www.bilibi

本文主要记录了个人研究生开始学习的方向性内容，主要从知乎，CSDN等网站摘录我认为对自己有启发的内容，希望能给后人指引方向，这里只从整体着眼，不设计具体细节。

​ 注：TRPO算是我至今遇到过的最难理解的算法了，我查了很多资料，花费好几天时间，也未曾理解，向TRPO的一作致敬。。。本文是我的查资料笔记，由于公式过多，可以先学比较重要的PPO。 ​ TRPO全称为Trust

阅读本文可参考我以前的文章《强化学习实践教学》https://tianjuewudi.gitee.io/2021/07/16/qiang-hua-xue-xi-shi-jian-jiao-xue/#toc-heading-29，其中的连续

此方法为新手教程，给想入坑挖矿的小白使用

注：本文续于《强化学习之DDQN》 Dueling DQN的思想是把神经网络中Q价值的输出分成两部分，第一部分是状态价值V，这部分价值由状态直接决定和Action无关。第二部分就是动作价值和状态价值的差值A，每一个Action都存在一个差

知识基础DQN参考我的博文：https://tianjuewudi.gitee.io/2021/07/16/qiang-hua-xue-xi-shi-jian-jiao-xue/#toc-heading-19 DQN复习​ 我

提示：阅读本文需要一定的深度学习基础。 课程链接：https://www.bilibili.com/video/BV1LE411G7Xj 我以前的强化学习笔记，相同的内容在下面就不再赘述： 1、强化学习概述 2、强化学习实践教学 Fou

参考视频：https://www.bilibili.com/video/BV1yv411i7xd 代码下载：https://github.com/PaddlePaddle/PARL 可以先阅读我的文章《强化学习概述》，重复的内容不再叙述

名词解释：Meta Learning = Learn to learn ，也就是学习如何学习。和机器学习不同，这个是另外一个层次的东西了。 在我们深度学习领域，其实大多数时候都是在调超参数（hyperparameters），在工