摘要: 深度强化学习在众多领域都取得了巨大的成功。目前，大多数深度强化学习方法都是基于历史信息进行规划，这类方法没有考虑到未来信息对决策过程可能起到指导的作用。此外，现有利用未来信息进行规划的方法，其通常的做法是建立环境模型，进而利用模型... 展开 深度强化学习在众多领域都取得了巨大的成功。目前，大多数深度强化学习方法都是基于历史信息进行规划，这类方法没有考虑到未来信息对决策过程可能起到指导的作用。此外，现有利用未来信息进行规划的方法，其通常的做法是建立环境模型，进而利用模型产生的数据训练规划算法，而现实中很难获取系统准确模型。为了将未来信息合理纳入规划过程，本文研究了如何利用未来信息辅助决策，主要工作与贡献分为以下两个方面: (1)现实环境往往是部分可观测的。现有的部分可观测环境下的规划算法通常使用POMDP，DRQN等方法。此类方法中信念状态表示均未用到未来信息部分。而未来信息中通常包含了辅助决策的相关信息。基于动作的对比预测编码算法将未来信息纳入到信念状态表示，使得状态表示能够包含全局状态的关键信息。但该算法仅将其作为状态表示，没有将其应用于部分可观测环境规划问题中。本文利用基于动作的对比预测编码算法表示信念状态，解决部分可观测环境规划问题，同时将下一步预测特征也作为决策依据辅助决策，提高了算法的规划效果，并通过实验说明了算法的有效性。 (2)现有利用未来信息辅助决策的方法，例如deepmind提出的基于想象力算法，通过训练数据建立环境模型，再根据模型产生预测轨迹，预测轨迹结合无模型方法训练策略。但通常情况下，现实中获取环境准确模型十分困难，模型不准确会导致预测信息偏差，使得预测信息对规划有误导作用。考虑到当前状态过去可能经历过，从训练数据中抽取未来相关信息的方法变得可行。现有的利用训练数据中的未来信息辅助决策的方法，通常采用差分法查找对比，算法效率低。本文研究了如何快速从训练数据中找到未来相关信息以辅助决策。本文算法利用高斯随机投影的方式增加索引，快速搜索训练数据中过去相似状态，找到后续相关信息辅助决策，提高了算法效率的同时，避免了建模不准确带来的问题。 收起