中国科学技术信息研究所--国家工程技术数字图书馆

[学位论文] 张运涛东南大学 2021年硕士导师: 吴巍炜共103页

摘要 : 随着民用无人机产业的飞速发展，基于视觉的无人机避障导航成为了无人机控制领域中的核心问题，高效安全的无人机自主避障导航算法成为了无人机应用中的关键问题之一，在无人机自主巡航、测绘等应用中有着重要的地位。目前大部分基于视觉信息的无人机... 展开随着民用无人机产业的飞速发展，基于视觉的无人机避障导航成为了无人机控制领域中的核心问题，高效安全的无人机自主避障导航算法成为了无人机应用中的关键问题之一，在无人机自主巡航、测绘等应用中有着重要的地位。目前大部分基于视觉信息的无人机避障导航方法主要基于视觉SLAM算法，这些方法通过充足的传感器数据建立精确的场景地图，并通过路径规划算法实现无人机障碍规避与导航，不具有高效性以及自主性。而且随着无人机应用的日趋复杂，无人机的应用场景往往是具有动态性、未知性、复杂性的开放室外环境，基于视觉SLAM的无人机避障导航方法难以高效地建立这些环境的场景地图。本文致力于面向无人机自主避障导航问题的深度强化学习算法研究，旨在克服传统深度强化学习方法在无人机避障导航问题中的局限性，基于深度强化学习技术解决无人机自主避障导航问题，本文的主要内容概括如下： (1)针对传统深度强化学习算法只能应用于单一导航目标的问题，本文把无人机自主避障导航问题建模为目标驱动的马尔可夫决策过程，解决了经典深度强化学习算法需要针对不同的导航目标重新学习策略的问题。此外，本文还设计了一种应用于无人机自主避障导航问题的非稀疏奖励函数，解决深度强化学习策略在稀疏奖励情境下难以收敛的问题。更进一步地，为了利用导航问题的内在特征，本文提出了一种动态相对目标的方法，用动态的相对距离代替全局目标与当前无人机位置，从而达到利用不同导航目标之间共同特征的目的，提高了深度强化学习算法在无人机避障导航问题中的成功率。 (2)针对无人机避障导航环境的部分可测与感知信息有限的问题，本文提出了历史记忆增强的深度强化学习方法。本文设计了一种包含空间记忆与动作记忆的记忆结构，并使用注意力机制对历史信息进行整合处理，从而学习导航问题中的时序依赖关系，增强了在部分可测环境下对无人机状态估计的能力，平衡了强化学习算法在避障策略与导航策略之间的矛盾。此外，本文还结合额外的动作惩罚引导无人机脱离目标与障碍间的困境，提高深度强化学习算法在无人机避障导航问题中的成功率与平均累计奖励。 (3)针对无人机避障导航策略收敛速度慢的问题，本文提出了高斯分布探索增强的深度强化学习算法，并提出了高斯分布探索增强的DQN算法与高斯分布探索增强的离散SAC算法。在高斯分布增强方法中，首先把强化学习中的值函数建模为高斯分布，然后以EM距离为优化指标对值分布信息进行迭代更新，并结合采样的方式实现策略的自动探索。高斯分布增强的深度强化学习算法能够随着训练的进程自动调节分布的方差，解决经典强化学习算法中的探索-利用窘境，从而能够在充分利用现有样本的前提下增强样本的多样性，在提高算法收敛速度的前提下保持或者提高无人机避障导航的成功率。收起

关键词 : 无人机自主避障导航深度学习强化学习深度强化学习

2. 基于任务推断的元强化学习研究

[学位论文] 陆嘉猷苏州大学 2021年硕士导师: 凌兴宏共81页

摘要 : 元强化学(Meta-RL)结合了元学习和深度强化学习，是目前机器学习领域的研究热点之一。Meta-RL算法从一系列任务中学习并提取先验知识，从而利用先验知识快速适应新的任务。传统Meta-RL算法存在元训练计算量过大、训练时间过长、样本利用率低等问题。基... 展开元强化学(Meta-RL)结合了元学习和深度强化学习，是目前机器学习领域的研究热点之一。Meta-RL算法从一系列任务中学习并提取先验知识，从而利用先验知识快速适应新的任务。传统Meta-RL算法存在元训练计算量过大、训练时间过长、样本利用率低等问题。基于任务推断的元强化学习算法通过引入任务信念来形式化表征任务，将元强化学习问题转化为在线的任务信念推断与基于任务信念的策略学习问题，并结合了异策略强化学习算法提升了元训练的效率。然而，传统的基于任务推断的元强化学习算法存在着任务推断效率低、忽略探索过程重要性等问题。针对上述问题，该文提出了自适应调节策略熵方法对其进行优化，并在改进后的算法的基础上设计了一种分离探索者的任务推断机制，还设计了一种引导探索者对任务进行充分探索的内在奖赏，依次对基于任务推断的元强化学习算法进行了改进，具体研究内容如下: (1)基于自适应调节策略熵的任务推断元强化学习算法。传统的基于任务推断的元强化学习算法构建在最大熵强化学习框架之上，最大熵强化学习通过温度参数控制探索与利用的平衡。而在元强化学习问题场景中，智能体将面临大量的不同的新任务，每个任务的奖赏空间分布各不相同，使得每个任务所对应的最优温度参数也各不相同。而传统的基于任务推断的元强化学习算法直接为元训练集中的所有任务设置相同的温度参数。针对此问题，该文提出一种基于自适应调节策略熵的任务推断元强化学习方法，该方法能够根据任务奖赏分布自适应地调节期望回报与策略熵的相对比重，进而提升模型的任务适应能力。 (2)基于分离探索者的任务推断元强化学习方法。基于自适应调节策略熵的任务推断元强化学习算法能够自动调节温度参数以适应不同的任务奖赏分布，然而该算法忽略了任务探索对于任务推断过程的重要性。在上述算法中，智能体在任务探索和利用任务信念适应任务时采用了相同的策略，导致任务推断效率较低。针对此问题，该文提出一种基于分离探索者的任务推断元强化学习方法，该方法分别学习了任务探索策略和任务控制策略，智能体能够在两种策略之间灵活切换，从而帮助模型提升性能。 (3)基于衰减任务不确定性的任务推断元强化学习方法。基于分离探索者的任务推断元强化学习方法分别学习了任务探索策略和任务控制策略，能够有效提升模型性能，但是探索策略的学习完全依赖于探索策略在环境中的表现，缺乏一种内在奖赏来引导探索策略执行有效的探索，导致模型在稀疏奖赏环境中的表现欠佳。针对此问题，该文根据智能体获取的任务信息增益设计了一种内在奖赏，提出了一种基于衰减任务不确定性的任务推断元强化学习方法，该方法能够有效提升任务目标的推断效率，帮助智能体快速适应任务。收起

关键词 : 深度强化学习元学习元强化学习任务推断

3. 基于深度强化学习的目标跟踪及决策算法研究

[学位论文] 张慧沈阳理工大学 2023年硕士导师: 邵伟平共100页

摘要 : 近年来，基于图像深度学习的目标跟踪和控制算法在民用及军事领域取得了长足的进步，本文围绕着降低目标跟踪失锁率及提高云台控制系统鲁棒性角度进行深入研究。针对视觉目标跟踪存在的目标信息缺损、相似背景干扰及目标断续跟踪问题,提出基于轨... 展开

关键词 : 目标跟踪深度强化学习 Transformer 深度均衡模型强化学习

4. 面向无线充电无人机的充电任务调度问题研究

[学位论文] 杨佳南京航空航天大学 2022年硕士导师: 朱琨共89页

摘要 : 无人机技术已经广泛应用于军事和民用领域中。小型无人机(Unmanned Aerial Vehicle, UAV)的飞行范围和工作时间受到其电池容量的限制。为了给无人机充电，已经有学者提出了基于地面充电节点的充电方案和无人机充电自动控制方法。可使用基于无线充电技... 展开无人机技术已经广泛应用于军事和民用领域中。小型无人机(Unmanned Aerial Vehicle, UAV)的飞行范围和工作时间受到其电池容量的限制。为了给无人机充电，已经有学者提出了基于地面充电节点的充电方案和无人机充电自动控制方法。可使用基于无线充电技术的地面充电平台或充电车给无人机充电。但是，这种充电方法要求无人机必须中断正在执行的任务。无人机在充电过程中会消耗额外的时间和能量。本学位论文以给任务无人机（Mission Unmanned Aerial Vehicle, MUAV）充电为研究目标，提出了基于充电无人机（Charing Unmanned Aerial Vehicle, CUAV）空中无线充电方法和基于强化学习的CUAV充电调度策略优化算法，以解决CUAV对多个MUAV的充电调度问题。为了验证所提解决方案的性能，本文以MUAV执行数据收集任务为例，研究了CUAV充电调度策略优化问题，并进行了仿真与分析。本学位论文的主要工作和贡献包括：第一，针对无人机充电问题，提出了基于充电无人机CUAV空中无线充电方法。从电感耦合/磁共振耦合，无线射频和激光三种无线充电技术出发，提出了基于CUAV的近场和远场空中无线充电方案，并通过数据分析展示了所提方案的可行性。第二，针对单CUAV的充电调度问题，提出了基于深度强化学习的CUAV充电调度策略优化算法。在数据收集场景中，CUAV通过优化的策略实现了对MUAV的可靠充电。使用CUAV空中充电相比于降落充电在MUAV的任务完成时间上更有优势。第三，针对多CUAV的充电调度问题，提出了基于多智能体深度强化学习的CUAV充电调度策略优化算法。在MUAV数量更多，任务量更大的数据收集场景中，多个CUAV使用优化的策略并通过合作实现了对MUAV的可靠充电。最终，本学位论文对上述无人机空中充电方法及单CUAV和多CUAV充电调度策略优化方法分别做出了总结，并对未来可进一步研究的内容进行了展望。收起

关键词 : 无线充电无人机充电调度深度强化学习多智能体深度强化学习

5. 基于深度强化学习的视频推荐系统研究

[学位论文] 吕亚珉江苏科技大学 2020年硕士导师: 吴陈共77页

摘要 : 随着因特网技术在短时间内蓬勃发展，越来越多的用户选择使用互联网观看视频。同时，互联网中的视频数量不断增长，面对海量的视频信息，用户如何快速定位与兴趣点有关的视频渐渐成为难题。尽管学术界已经提出了诸多推荐算法，可以在某种程度上减轻用... 展开随着因特网技术在短时间内蓬勃发展，越来越多的用户选择使用互联网观看视频。同时，互联网中的视频数量不断增长，面对海量的视频信息，用户如何快速定位与兴趣点有关的视频渐渐成为难题。尽管学术界已经提出了诸多推荐算法，可以在某种程度上减轻用户筛选视频的难度。传统的推荐算法根据用户的信息构造用户自画像，寻找与用户信息匹配的其他用户，向用户推荐其他用户感兴趣的视频，或者通过推荐与用户浏览过的视频类似的视频。传统的推荐算法虽然可以向用户推荐部分其感兴趣的视频，但在视频长尾发掘的方面效果却不理想，难以发掘用户的潜在观看兴趣。由于大部分传统视频推荐算法使用固定的推荐策略，无法适应用户在短期内观看喜好的动态变化，并且推荐视频的种类单一，存在同样的视频会被重复多次推荐的问题。因此，设计兼顾推荐准确性与推荐多样性的视频推荐算法具有实际的应用价值。本文主要根据用户对观看视频多样的需求进行合理分析，从而构建视频推荐的马尔科夫决策过程的数学模型，将深度强化学习DeepQ-learning算法应用于视频推荐系统，并完成一个基于DeepQ-learning算法的视频推荐系统应用网站。由于用户信息与视频信息均存在离散特征，因此首先使用One-Hot编码将离散特征重新编码，转换为连续特征。其次釆用因子分解机FM模型提取组合特征之间的有效隐藏信息。之后设计并使用两个相同结构的非线性多层感知机作为视频推荐算法预测网络与目标网络，以此进一步求解最优的动作值函数，通过动作值函数评估推荐系统当前推荐策略的好坏程度，进而计算求解最优推荐策略。通过总累计奖励选择最优视频推荐策略，从而执行最优视频推荐的动作，提高推荐准确性与推荐多样性。使用经验回放的思路优化预测网络，即将用户历史观看视频的记录、新的视频的评分和推荐的视频作为样本加载在随机缓存区中，之后从随机缓存区中抽取小批量样本进行训练，从而有效地利用历史数据发掘用户兴趣。在完成基于DeepQ-learning算法的视频推荐的模型训练的基础上，设计三组基于MoviesLens数据集的对比实验。从推荐准确性、推荐多样性与推荐覆盖率三个评判标准，对比基于深度强化学习DeepQ-learning的视频推荐算法与传统的推荐算法的推荐效果，验证在特定区间范围内，基于深度强化学习DeepQ-learning的视频推荐算法的推荐准确率不会随着推荐多样性的提高而降低，并且推荐多样率略高于传统的推荐算法。最后使用基于深度强化学习DeepQ-learning的视频推荐算法作为核心，完成了一个视频推荐网站Videos。本文分析网站系统的各个功能模块，根据用户与视频的特征设计数据模型，并且展示网站的用户注册、登录、视频推荐与视频信息展示等操作。并且基于单系统网站进行分布式优化，使用一致性哈希算法分摊用户对热点数据的访问请求，用以满足处理大量用户的频繁请求，提高视频推荐网站的高可用性与处理效率。收起

关键词 : 深度强化学习视频推荐多层感知机深度学习强化学习

6. 针对固定温度SAC算法的改进研究

[学位论文] 海日吉林大学 2023年硕士导师: 杨永健共85页

摘要 : 当今，无模型（model-free）深度强化学习算法（DRL：DeepReinforcementLearning）已经被成功应用到了具有挑战性的顺序决策和控制任务中。在这些算法中，本文认为固定温度SAC算法[1]（fixedtemperatureSoftActorCriticalgorithm）在实验效果上拥有着... 展开当今，无模型（model-free）深度强化学习算法（DRL：DeepReinforcementLearning）已经被成功应用到了具有挑战性的顺序决策和控制任务中。在这些算法中，本文认为固定温度SAC算法[1]（fixedtemperatureSoftActorCriticalgorithm）在实验效果上拥有着和其他强化学习算法相比巨大的提升。然而，本文发现固定温度SAC算法中存在优化偏移问题和Q函数高估问题，这些问题源于固定温度SAC算法中存在由信息熵函数和传统强化学习目标函数结合形成的最大熵目标函数。尽管信息熵函数结合传统强化学习目标函数所形成的最大熵目标函数可以使最大熵强化学习相比传统强化学习具有鼓励探索的效果，但该方法也会为最大熵强化学习理论带来优化偏移问题以及Q函数高估问题。所以本文将深入研究优化偏移问题以及Q函数高估问题，并且针对这些问题形成它们的修改方案，从而引出本文的第一个算法，受限制的SAC算法（CSAC：ConstrainedSoftActorCriticalgorithm）。该算法可以完美解决优化偏移问题以及Q函数高估问题，同时保持和固定温度SAC算法中最大熵目标函数相同的鼓励探索效果。然而由于该算法在实验中表现出了测试曲线波动大的特性，也就是该算法在测试过程中表现出来的稳定性不佳，本文发现稳定性不佳的原因是出现了利用瓶颈（exploitationbottleneck）问题，因此本文还会在受限制的SAC算法的基础上改进并提出本文的第二个算法，稳定且受限的SAC算法（SCSAC：StableConstrainedSoftActorCriticalgorithm）来修复利用瓶颈问题，也就是提高该算法的稳定性。同时本文还发现在稳定且受限的SAC算法中的策略改进部分的理论存在最优策略寻找困难的问题，所以本文将通过第三个算法，进一步改进的稳定且受限的SAC算法（FRSCSAC：FurtherRevisedStableConstrainedSoftActorCriticalgorithm）来修复在稳定且受限的SAC算法中存在的最优策略寻找困难的问题。本文提出的3种算法均可以解决固定温度SAC算法中存在的优化偏移问题和Q函数高估问题并且保持和固定温度SAC算法相同的鼓励探索效果。除此之外，本文提出的3种算法都有大量的理论推导和理论证明来支撑这些算法的提出，所以这些算法在理论上具有完备性。最后本文还对上述3种算法进行了细致的实验，从算法的训练效果，测试效果，以及降低实际Q函数高估出现次数的效果来看，本文提出的3种算法在显著降低实际Q函数高估出现次数的同时达到了和固定温度SAC算法接近的训练，测试效果。因此本文认为这些算法拥有经过适当改进后被应用到实际工程中的潜力。收起

关键词 : 深度强化学习最大熵强化学习 SAC算法

7. 基于多任务强化学习的机械臂控制策略研究

[学位论文] 曾睿西南科技大学 2022年硕士导师: 张俊俊共70页

摘要 : 机械臂的控制方法一直是热点研究问题，传统的控制方法能够使机械臂完成大多数任务，但是当环境或任务发生改变时，传统的机械臂控制方法缺乏适应性，而人工智能技术的发展对提高机械臂控制方法的适应性带来了新的解决思路。强化学习是实现通用人工智... 展开机械臂的控制方法一直是热点研究问题，传统的控制方法能够使机械臂完成大多数任务，但是当环境或任务发生改变时，传统的机械臂控制方法缺乏适应性，而人工智能技术的发展对提高机械臂控制方法的适应性带来了新的解决思路。强化学习是实现通用人工智能的重要技术之一，通过与环境交互进行学习，以最大化累计奖励为目标来找到完成任务的最优策略。近年来深度神经网络和强化学习相结合提出了深度强化学习方法，这类方法具有较好的信息特征提取和表示能力。基于深度强化学习的机械臂控制方法，能够解决具有高维状态空间和连续动作空间的任务，但是较多研究人员只关注在单个任务中的深度强化学习方法，这样的方法学习效率低并且不能完成多个任务，面对不同任务时需要重新训练算法。为此，本文基于深度强化学习算法在机械臂多个典型任务中进行控制策略研究。本文主要完成了以下工作： (1)提出了一种双重Q网络学习的迁移深度确定性策略梯度算法，解决了深度强化学习算法在单个机械臂控制任务中学习效率低的问题。由于深度确定性策略梯度算法存在过高估计Q值的问题，所以首先将两个机械臂控制任务分为源任务和目标任务，然后将深度确定性策略梯度算法在源任务中学习获得的最优值函数网络迁移至目标任务，使算法在目标任务中训练时具有两个学习Q值的值函数网络，然后取最小Q值引导策略网络更新，来改善过高估计Q值带来的问题，最后在机械臂目标点到达的仿真实验中验证了所提算法具有更高的学习效率。 (2)提出了平行重组网络模型，将平行重组网络模型应用于SoftActor-Critic算法，解决了依靠单一策略网络的深度强化学习算法控制机械臂完成多个任务的问题。深度强化学习算法的网络模型一般是平行顺序结构，从上一网络层将信息传输到下一网络层，而平行重组网络模型假设信息传输会发生在不同网络层之间，从而在不同任务中灵活共享网络参数，基于平行重组网络模型的SoftActor-Critic算法能够同时在多个任务中训练，并学习到多个任务的知识，然后在多个机械臂仿真任务中验证了所提算法能够依靠单一策略网络完成多个任务。最后将仿真环境训练好的算法迁移至真实实验环境验证了该算法的有效性。收起

关键词 : 机械臂多任务强化学习深度强化学习

8. 针对分层强化学习的对抗攻击研究

[学位论文] 朱文杰广州大学 2023年硕士导师: 唐伟轩共65页

摘要 : 近年来，深度强化学习的各个研究领域取得了快速的发展，其结合深度学习强大的特征提取能力和强化学习的序列化决策能力，解决了许多重要问题并取得了显著成果。然而，通过不断深入地探索，研究人员发现其存在诸多性能和安全性问题。特别是在稀疏奖励... 展开近年来，深度强化学习的各个研究领域取得了快速的发展，其结合深度学习强大的特征提取能力和强化学习的序列化决策能力，解决了许多重要问题并取得了显著成果。然而，通过不断深入地探索，研究人员发现其存在诸多性能和安全性问题。特别是在稀疏奖励和复杂任务的环境下，由于智能体的探索空间过大，此时模型的收敛性将难以保证。为解决这一问题，分层强化学习结合分层思想，将任务进行分层决策，以使得模型在解决复杂任务时仍可以有效收敛。但由于分层强化学习同样引入了深度神经网络作为策略输出，研究者也必须重视其在实际应用过程中面临着诸如投毒攻击、后门攻击和对抗攻击等安全性问题。其中对抗攻击使受攻击的模型做出错误的决策从而影响任务完成度甚至造成任务失败，这种攻击方法具有较强的隐蔽性与危害性。然而，目前针对分层强化学习的研究中对于场景信息及先验知识的利用存在很大不足，同时对于分层强化学习的对抗攻击的研究较为匮乏。为解决上述问题，本论文主要研究在复杂任务场景下的分层强化学习算法和其在应用过程中面临的对抗攻击问题，分别提出了高效的分层强化学习算法和针对该模型的对抗攻击方案：（1）基于任务场景拆分的分层强化学习算法。以先验知识的有效利用和子任务策略的合理解耦为切入点，提出了基于任务场景拆分的分层强化学习算法。该方法在所构建的作战任务场景中，针对性地将任务场景拆分并对每个子任务策略提前进行预先训练，极大提高了分层强化学习模型的收敛速率。与目前主流方案对比，大幅度降低了模型的收敛时间。（2）基于分层强化学习的自适应攻击方法。为探究所提分层强化学习算法的模型在面对对抗攻击时模型的性能表现，提出了利用分层强化学习思想的自适应攻击方案。所提方案将针对分层强化学习模型的复杂对抗攻击问题拆解为高低层级关系，极大地缩减了对抗攻击问题中攻击者的动作空间，使得攻击者模型可以有效收敛。该方法在训练过程中采用奖励约束和重要时刻攻击的方法降低攻击者的攻击次数，以避免攻击者过分暴露。最终通过实验分析与验证，所提出的方案具备高效性。收起

关键词 : 深度强化学习分层强化学习对抗攻击

9. 深度学习及深度强化学习在视频目标跟踪中的应用研究

[学位论文] 石亚倩西安理工大学 2019年硕士导师: 辛菁;李江共94页

摘要 : 在视频目标跟踪技术中，精度和速度是衡量复杂环境下跟踪算法性能的两个重要指标。近年来，相比于传统目标跟踪算法，深度学习模型因其强大的特征提取能力对跟踪精度的提升做出了突破性的贡献，但其跟踪速度较慢。最近，有学者将深度强化学习应用到视... 展开在视频目标跟踪技术中，精度和速度是衡量复杂环境下跟踪算法性能的两个重要指标。近年来，相比于传统目标跟踪算法，深度学习模型因其强大的特征提取能力对跟踪精度的提升做出了突破性的贡献，但其跟踪速度较慢。最近，有学者将深度强化学习应用到视频目标跟踪技术中，其在速度方面相比于深度学习目标跟踪算法得到了改善，但精度略差于深度学习目标跟踪算法。跟踪精度和跟踪速度相互制约的问题是现有的深度学习及深度强化学习视频目标跟踪算法面临的主要挑战。基于此，本文对深度学习以及深度强化学习在视频目标跟踪中的应用进行了比较性研究，主要工作如下： (1)系统全面的综述了深度学习及深度强化学习在视频目标跟踪技术中的研究现状并指出了各类方法的优缺点。首先，针对现有的依赖于离线训练的深度学习目标跟踪算法在在线跟踪过程中精度和速度相互制约的问题，按照不同的解决思路，将其分为有在线微调和无在线微调的深度学习跟踪两大类，并分析了各类方法的优缺点。其次，针对现有的深度强化学习目标跟踪算法，按照强化学习的不同作用，将其分为以强化学习决策目标位置的跟踪和以强化学习预测目标位置的跟踪两大类，并对其进行了总结分析。 (2)针对利用非跟踪数据集离线训练的深度学习跟踪器在复杂环境下跟踪精度不足的问题，研究并实现了直接利用跟踪数据集离线训练卷积神经网络的视频目标跟踪。首先，构建多分支卷积神经网络，其包括通用特征层和特定特征层。其次，利用多域学习的思想对网络进行离线训练，主要目的是利用通用特征层从所有训练视频序列中提取目标的通用特征表达。最后，将提取到的通用目标特征表达用于目标的在线跟踪。实验将基于卷积神经网络的视频目标跟踪算法（MBCNN）与4种主流的跟踪算法(DLT、TLD、Struck、CXT)进行对比评估。在OTB50数据集上基于整体性能和基于属性性能的定量实验结果以及在4个存在于真实场景的视频序列上的定性实验结果表明，利用跟踪数据集进行离线训练的深度学习视频目标跟踪算法在复杂环境下具有更高的跟踪精度。 (3)针对视频目标跟踪技术中跟踪速度和跟踪精度相互制约的问题，研究并实现了基于深度强化学习的视频目标跟踪。首先，分别利用有监督学习和强化学习训练卷积神经网络，使网络实现从给定状态到动作的映射。然后，在在线跟踪过程中，预训练之后的卷积神经网络根据输入状态可以预测出合适的动作来移动代表目标状态的矩形框的位置，当预测出停止动作时，此时的矩形框位置即为当前帧的跟踪结果。实验将基于深度强化学习的视频目标跟踪算法(ADCNN)与4种主流的跟踪算法(SCM、TLD、Struck、CXT)进行对比评估。在OTB50数据集上基于整体性能和基于属性性能的定量实验结果表明，深度强化学习视频目标跟踪算法在跟踪速度和跟踪精度之间可以实现较好的平衡。与此同时，在5个同时具有多种挑战性属性的视频序列上的定性实验结果表明，深度强化学习视频目标跟踪算法可以在大多数挑战性属性下实现鲁棒跟踪。 (4)基于属性的跟踪算法适用性分析。针对目标跟踪中存在的11种挑战性属性，考虑到不同算法在某些属性下的跟踪精度并无显著性差异，但其跟踪速度却具有显著差异，以研究的深度学习跟踪算法MBCNN和深度强化学习跟踪算法ADCNN为对象，进行了基于属性的跟踪算法适用性分析。首先，通过实验比较分析了在精度和速度具有不同需求的实际场合下，MBCNN有无在线微调时基于11种属性的适用性。其次，通过实验比较分析了在精度和速度具有不同需求的实际场合下，MBCNN和ADCNN基于11种属性的适用性。以此为用户根据自身对精度与速度的不同需求，在具有不同属性的序列上选择合理的跟踪算法提供了理论基础。收起

关键词 : 视频目标跟踪深度学习深度强化学习

10. 面向安全深度强化学习的经验规划方法研究

[学位论文] 彭湃苏州大学 2021年硕士导师: 朱斐共69页

摘要 : 深度强化学习将深度学习与强化学习相结合，近年来取得了巨大成功。现有的部分研究采用随机探索策略来寻找最优解，由于策略的随机性，会导致智能体陷入危险状态。在很多情况下，深度强化学习的“试错”式的学习方法引发交互环境被破坏，智能体训练的... 展开深度强化学习将深度学习与强化学习相结合，近年来取得了巨大成功。现有的部分研究采用随机探索策略来寻找最优解，由于策略的随机性，会导致智能体陷入危险状态。在很多情况下，深度强化学习的“试错”式的学习方法引发交互环境被破坏，智能体训练的成本高昂。因此，亟需解决在强化学习中避免违反安全约束的同时优化智能体探索性能问题。本文着眼于深度强化学习中智能体的安全问题，结合经验规划与深度强化学习，提出应用经验规划的安全深度强化学习，具体内容如下: (1)基于经验理解规划的安全深度强化学习算法。深度强化学习算法在网络训练过程中智能体的行为策略具有一定的随机性，且其在探索的过程中没有合理利用环境。针对此问题，对历史经验进行理解，并对智能体动作规划出合理的被选概率，提升智能体安全性。 (2)基于危险经验规划的安全深度强化学习算法。强化学习本质上是一种在探索和利用过程中可能导致不安全行为的试错学习过程。这阻碍了强化学习在实际控制问题中的应用，特别是在安全关键系统中的应用。针对上述问题，提出一种基于危险经验规划的深度强化学习模型。模型对经验进行深入分析，提取出危险经验样本，并对相应的样本进行优先级比较从而进一步提高样本的利用效率。模型应用于仿真平台并得到有效验证，得以说明其优越性。 (3)基于情节经验规划的安全深度强化学习算法。在安全强化学习中，上述两种经验规划过程会产生很多无意义的状态更新，值函数未发生改变的状态很难被利用。尤其在初始学习阶段，经典的深度强化学习算法会陷入样本值更新效率低下的困境。针对上述问题，提出一种以情节经验为单位更新的模型，一方面充分利用情节前后经验规划可以快速提高智能体学习能力，另一方面在情节后期改变采样方法，采用从最终历史经验开始的逆向传播，提高情节学习效率，以此促进整个情节样本安全高效协作。实验结果表明，模型通过改进算法和构建模型可有效减少智能体陷入危险状态的次数并提升每情节的奖赏。收起

关键词 : 强化学习深度强化学习安全强化学习经验规划情节更新