中国科学技术信息研究所--国家工程技术数字图书馆

[学位论文] 钟颖嘉电子科技大学 2021年硕士导师: 朱清新共84页

摘要 : 强化学习是机器学习领域的一个重要分支，它通过模拟生命体大脑的学习思维模式来学习行动策略。与传统的学习方法不同，强化学习中的智能体在学习时不被直接告知需要采取哪些行动，而是得到这些行动带来的即时奖励学习一个策略最大化这些奖励。通过“... 展开强化学习是机器学习领域的一个重要分支，它通过模拟生命体大脑的学习思维模式来学习行动策略。与传统的学习方法不同，强化学习中的智能体在学习时不被直接告知需要采取哪些行动，而是得到这些行动带来的即时奖励学习一个策略最大化这些奖励。通过“试错”和“延迟奖励”这两种方式，强化学习能够处理很多传统机器学习很难处理的高交互性，决策性问题。深度强化学习在强化学习的基础上，把深度神经网络运用到其中。这可以解决传统强化学习只能处理动作空间和样本空间很小的数据的问题。其中，基于确定性策略梯度的深度强化学习算法则解决了连续的动作空间的数据问题。在这类算法中，比较著名的就是DDPG算法。然而DDPG算法存在过高估计所采取动作对应的累积回报值的问题和训练过程中策略波动过大的问题。TD3算法是基于DDPG算法的改进，但是它对所采取动作对应的累积回报值仍有估计不准确。同时在TD3的训练过程的策略的波动也很大。本文针对上面两个问题，分别提出了两种改进算法。针对累积奖励值仍有估计不准确的问题，本文提出了λ-TD3算法。TD3算法用了两个Q网络取最小值来改善过估计。然而这种方式可能导致低估计。在λ-TD3算法中，基于TD误差定义了一个判断当前情况高估还是低估累积奖励的评估指数δ，并通过δ的值加权累计两个Q值。δ可以通过训练中的奖励来自适应调节自己的值。针对策略波动过大的问题，本文提出基于TD3的策略协同算法TD3++。该算法采用了两个策略网络协同选择策略，选择出奖励期望更高的动作，另外还给策略网络加入了dropout，这种改进方法可以解决TD3的策略波动问题，增加算法的稳定性。本文在MoJuCo连续动作控制任务上对λ-TD3和TD3++进行了仿真实验。实验结果表明上述两种改进算法都取得了不错的效果。收起

关键词 : 深度强化学习策略梯度 DDPG算法 TD3算法

2. 基于深度强化学习的金融交易算法实证研究

[学位论文] 李尚宜东南大学 2019年硕士导师: 吴巍炜;徐学永共69页

摘要 : 深度强化学习是机器学习领域的一门新兴学科，它结合了深度学习的感知能力以及强化学习的控制决策能力。基于深度强化学习的金融交易算法可以从市场数据中学习到从金融市场的状态表示到交易决策的映射。相比传统交易算法的建立，它不依赖复杂的专家经... 展开深度强化学习是机器学习领域的一门新兴学科，它结合了深度学习的感知能力以及强化学习的控制决策能力。基于深度强化学习的金融交易算法可以从市场数据中学习到从金融市场的状态表示到交易决策的映射。相比传统交易算法的建立，它不依赖复杂的专家经验，相比监督学习方法，它也不需要对市场环境作出显式的预测，而是能够直接输出交易策略。金融交易场景主要分为单资产交易以及多资产的金融资产配置任务，然而在这两个任务中现有基于强化学习算法的工作中存在如马尔可夫决策过程(MDP)模型中对于市场状态表示不充分、算法中探索策略探索效果差、在交易算法训练过程中没有引入风险控制从而回测中算法收益曲线波动率高、回撤大等问题。本文针对以上问题，在金融交易领域中的单资产交易任务以及金融资产配置任务中分别提出了对应的MDP模型以及基于深度强化学习的交易算法。在单资产交易任务中，本文对于单资产交易的市场状态表示做了更加充分的挖掘，构造多种特征从多维度描述状态，使状态表示更加接近真实市场状态。同时提出了一种考虑资产回撤的回报方程，利用从环境中获得的回报来引导算法学习到在训练过程中降低收益的回撤，从而降低策略的风险。本文基于深度强化学习中的DQN算法提出了一种单资产交易算法，在神经网络的全连接层中加入服从高斯分布的噪声来驱动探索，它相比DQN算法中采用的ε贪心探索策略有更好的探索效果。网络中的噪声影响由一组参数进行控制，这组参数同网络中的其他参数一样通过梯度下降进行学习。同时本文改进了加入噪声后DQN算法中目标网络的更新模式，以生成稳定的目标值。在金融资产配置任务中，本文利用技术指标丰富市场状态表示，并基于深度强化学习中的DDPG算法提出了一种金融资产配置算法，在DDPG算法中引入资产权重的熵作为正则项，鼓励算法在输出资产权重时将权重分散，而不是集中在单个或几个资产中，从而降低投资组合的风险。另一方面，熵也可以作为DDPG算法探索机制的补充，引导算法进行探索。同时本文在DDPG算法中引入优先经验回放机制，将TD误差大的样本优先采样，从而提升算法的学习效果。最后本文在不同市场环境中对基于DQN的单资产交易算法以及基于DDPG的金融资产配置算法进行回测。两种交易算法在收益评估中效果均超过其余对照策略，基于DDPG的金融资产配置算法在风险评估中相比DDPG算法也取得了显著的进步。收起

关键词 : 金融交易深度强化学习 DQN算法 DDPG算法

3. 基于深度强化学习的路径规划研究与系统实现

[学位论文] 毛震江苏大学 2021年硕士导师: 耿霞共68页

摘要 : 路径规划问题是一个非常经典的问题，在很多领域有广泛应用，通过深度强化学习技术来解决路径优化问题近年来吸引了大量学者关注，已成为路径规划问题的热点方向。具有强大感知能力以及决策能力的深度强化学习技术，既可以很好的感知环境场景，又可以... 展开路径规划问题是一个非常经典的问题，在很多领域有广泛应用，通过深度强化学习技术来解决路径优化问题近年来吸引了大量学者关注，已成为路径规划问题的热点方向。具有强大感知能力以及决策能力的深度强化学习技术，既可以很好的感知环境场景，又可以高效的决策，在解决路径规划问题时有很强的鲁棒性以及通用性。当使用深度Q网络(DeepQ-Network,DQN)算法解决离散型的路径规划问题时，网络训练速度比较慢，训练时间比较长；并且当机器人只能获取局部环境信息时，DQN算法找到路径的成功率不高。当使用深度确定性策略梯度(DeepDeterministicPolicyGradient,DDPG)算法解决连续型的路径优化问题时，网络的训练时间以及寻路时间都较长。针对以上问题，本文主要工作如下所示： (1)针对DQN算法在解决离散型路径规划问题时网络收敛慢，训练回合多的问题，提出基于概率的状态探索DQN算法。通过修改Q值的计算方式，使得某个状态出现的次数越多，该状态的出现的概率会降低，从而更好的探索新状态，提高网络训练效率。并在对比实验中，验证了该算法在提高网络收敛速度上的有效性;针对DQN算法在获取局部环境信息情况下解决离散型路径规划问题成功率低的问题，提出基于长短期记忆(LongShortTermMemory,LSTM)网络的DQN算法。通过在网络结构中加上一层LSTM网络，使神经网络可以处理状态、动作序列数据。并在对比实验中，验证了该算法可以极大的提高寻路的成功率。 (2)针对DDPG算法在解决连续型路径规划问题时，预置奖励函数导致训练时间和寻路时间都比较长的问题，提出基于奖励塑造的DDPG算法。通过将奖励函数用卷积神经网络来模拟，动态优化奖励函数。并在对比实验中，验证了该算法可以有效减少网络训练时间以及寻路时间。 (3)设计并实现了Unity环境中的智能寻路系统。使用Unity游戏引擎、C#编程语言、Python编程语言、TensorFlow深度学习框架、机器学习智能体(MachineLearningAgent,ML_Agent)插件设计并实现Unity环境下的智能寻路系统。该系统主要包括客户端层、代理层、接口层、算法层四个功能模块，实现了在自定义的Unity迷宫场景中训练并找到终点。收起

关键词 : DQN算法 DDPG算法路径规划 LSTM网络机器人

4. 基于深度强化学习的IRS辅助通信系统性能优化研究

[学位论文] 钟灿伟广东工业大学 2022年硕士导师: 张广驰共76页

摘要 : 智能反射面（Intelligent Reflecting Surface,IRS）是一种提高无线通信性能的革命性技术，它可以通过改变入射信号的幅度和相位来重构整个无线信道环境，从而能提升无线通信性能。在设计和优化IRS反射单元的反射相位时，大部分研究采用的是凸优化算法... 展开智能反射面（Intelligent Reflecting Surface,IRS）是一种提高无线通信性能的革命性技术，它可以通过改变入射信号的幅度和相位来重构整个无线信道环境，从而能提升无线通信性能。在设计和优化IRS反射单元的反射相位时，大部分研究采用的是凸优化算法，然而由于IRS的反射单元数量众多，凸优化算法的设计难度往往较高且具有较高的复杂度。此外，面对不同的通信系统的性能优化问题，需要设计不同的优化算法，其中涉及各不相同的数学推导和算法设计过程。为了降低优化算法的设计难度和计算复杂度，本文提出新的算法设计思路，使用一种新型的人工智能算法——深度强化学习（Deep reinforcement learning,DRL）去解决IRS辅助通信系统的性能优化问题。本文对两种IRS辅助无线通信系统的性能优化进行研究，分别通过使用属于确定性策略（Deterministic Policy）的Deep Deterministic Policy Gradient（DDPG）算法以及属于随机性策略（Stochastic Policy）的Soft Actor-Critic（SAC）算法去优化两种不同IRS辅助无线通信系统中的IRS反射相位以及相应的通信资源分配，改善两种系统的通信性能。本文的主要内容如下。 1）研究IRS辅助的认知无线电（Cognitive Radio,CR）通信系统，通过优化次要用户在发射端的发射功率以及IRS的反射相位，在保证主要用户的服务质量（Quality of Service,QoS）前提下最大化次要用户在接收端的信号与干扰加噪声比（Signal to Interference plus Noise Ratio）。本文首先将优化问题转化为一个强化学习（Reinforcement Learning,RL）问题，然后分别使用DDPG算法以及SAC算法对问题进行求解。此外，本文还提出了一种能够有效改善DRL算法性能的方法，即通过对贝尔曼最优方程（Bellman Optimality Function）中的奖赏项乘上一个适当的系数，提升两种DRL算法的学习效率和算法稳定性，并且减小累计奖赏方差。仿真结果表明，本文提出的两种DRL算法能通过智能体自我学习，在不需要使用复杂的数学推导技巧和大量的计算量的条件下，能够得到与凸优化算法几乎一致的次要用户通信速率，并且随着IRS反射单元数量的增加，两种DRL算法的复杂度远远低于凸优化方法。同时，仿真结果表明SAC算法在学习效率，算法稳定性以及即时奖赏方差大小上比DDPG算法更具优势。 2）为了探究DRL算法是否能够用于优化不同的无线通信系统，研究IRS辅助的安全通信系统。使用第一部分的DRL算法设计框架，分别提出基于DDPG和SAC的算法，在不需要改变DRL算法框架以及大面积调整算法超参数的情况下通过优化发射端的发射功率以及IRS的反射相位，最大化系统信息传输的安全速率。而在优化过程中本文仅仅需要根据系统模型调整智能体的状态、动作以及奖赏。仿真结果显示，DDPG和SAC算法在更低的运算复杂度情况下取得了比凸优化方法更优的安全通信速率。此外，仿真结果再一次验证了SAC算法在学习效率、算法稳定性以及累计奖赏方差的减小方面优于DDPG算法。因此，本文的研究表明DRL算法在优化不同的IRS辅助通信系统时具有较好的适应性。收起

关键词 : 无线通信智能反射面资源分配 DDPG算法 SAC算法

5. 基于强化学习的多源域适应分析研究

[学位论文] 崔岂铨杭州电子科技大学 2023年硕士导师: 孔万增共84页

摘要 : 随着人工智能技术的快速发展和广泛应用，人们越来越关注模型在不同场景下的泛化能力。多源域适应作为解决跨域泛化问题的一种方法，在学术界和工业界引起了越来越多的关注。目前，多源域适应已经解决了从多个源域适应到目标域的自适应问题。虽然源域... 展开随着人工智能技术的快速发展和广泛应用，人们越来越关注模型在不同场景下的泛化能力。多源域适应作为解决跨域泛化问题的一种方法，在学术界和工业界引起了越来越多的关注。目前，多源域适应已经解决了从多个源域适应到目标域的自适应问题。虽然源域与目标域相关，但是源域和目标域之间的数据分布差异可能会导致负迁移，而多个源域之间也存在一定的差异，选择高质量的源数据有利于减少这个问题。然而，现有的方法选择了统一标准的数据，忽略了多个源域的多样性。在某些情况下，源域和目标域之间的不相关特征可能会导致显著的负迁移。基于上述问题，本文开展了基于强化学习的多源域适应研究，主要工作包括：（1）为解决多源域适应中源域和目标域之间的差异导致的域适应偏差问题，本文提出了基于强化学习SoftActor-Critic（SAC）算法的数据选择器，用于多源域适应。它将强化学习的SoftActor-Critic算法与熵的概念相结合，以鼓励探索。它统一了单源域和多源域的自适应问题，通过强化学习奖励评估域数据的质量，并通过奖励机制调整模型。因此，源域和目标域之间的对齐大大简化，因为它不再需要将所有源域与目标域对齐。在这种情况下，本文通过使用强化学习方法选择更好的样本进行学习来适应本节的模型。（2）为解决多源域适应中多个源域之间的差异问题，本文提出了基于强化学习的DeepDeterministicPolicyGradient（DDPG）算法选择本节的模型网络，其中包括一个参数预测器，它在每个样本的基础上更改模型参数，即实现映射。由于每个域被视为图像样本的分布，因此通过对每个样本上的模型适应来统计实现域适应模型。动态模型选择（DynamicModelChoice,DMC）学习如何调整模型的参数并适应源域的联合。因此，源域和目标域之间的对齐大大简化。在这种情况下，在目标域与源域任何部分对齐的情况下，该模型就可以很容易地适应目标样本。（3）为解决源域和目标域之间不相关特征可能导致显著负迁移的问题，本文尝试探索在多源域适应中采用对抗强化学习的研究。受强化学习选择器和动态模型选择的启发，本文使用选择器选择的数据进行迁移学习训练，基于模型损失和迁移的准确性构造奖励机制，反馈到本文的选择器和模型中，使选择器可以根据奖励评估数据的质量，模型可以根据奖励动态调整参数，试图实现共同学习的效果。本文基于强化学习，以多源域适应任务为指导，进行了强化学习为基础的多源域适应分析。这些研究成果不仅是当前多源域适应技术的有效补充，而且为其提供了更多的思路和解决方案。收起

关键词 : 强化学习多源域适应分析 SAC算法 DDPG算法人工智能

6. 基于深度强化学习的自动驾驶决策方法研究

[学位论文] 庞可北京交通大学 2020年硕士导师: 张严心共77页

摘要 : 自动驾驶汽车是传感器、网络通信、导航定位、人工智能等多学科综合体，其中导航定位、路径规划、行为决策和车辆控制等是自动驾驶的关键技术。本文针对自动驾驶中的行为决策部分展开研究。随着AI技术的迅速发展，通过深度强化学习算法实现自动驾驶行... 展开自动驾驶汽车是传感器、网络通信、导航定位、人工智能等多学科综合体，其中导航定位、路径规划、行为决策和车辆控制等是自动驾驶的关键技术。本文针对自动驾驶中的行为决策部分展开研究。随着AI技术的迅速发展，通过深度强化学习算法实现自动驾驶行为决策成为自动驾驶技术的研究热点之一。本文将在虚拟环境下面向自动驾驶进行基于深度强化学习算法的自动驾驶决策方法实践、改进和仿真验证。首先，介绍了强化学习是通过智能体在环境中的试错学习来匹配状态与动作策略的。从强化学习的组成要素和学习过程展开叙述，对多个强化学习原理、框架和强化学习算法网络结构进行了详尽的介绍。还介绍了本文的主要算法强化学习与深度学习的结合方法——深度强化学习方法。其中深度确定性策略梯度强化学习算法(Deep Deterministic Policy Gradient，DDPG)作为深度强化学习算法中的经典算法之一，可以产生确定性的动作策略。软行动者-评论家算法(Soft Actor-Critic，SAC)是在原始深度强化学习的目标函数的基础上加入了最大熵项，在连续控制问题上表现出很大的优势。其次，本文基于开源平台TORCS，采用这两种算法进行自动驾驶仿真实验。实验过程中，设计了基于仿真环境信息和相关交通规则的奖励函数，加入驾驶平稳性约束条件，利用车身周围的雷达测距传感器信息进行自动驾驶决策。同时，在对已有的面向自动驾驶仿真DDPG算法与SAC算法的对比实验中，发现了SAC算法的收敛速度较慢等问题。最后，提出了一种更改经验池存储方式的改进的SAC算法。在对比实验中，验证了本文所提出的具有增减经验池的改进的SAC算法在缩短训练时间、提高算法稳定性、改善算法模型泛化能力等方面均表现优异。本文还定义了出错率作为参考指标，在测试时改进SAC算法模型的出错率相比DDPG算法模型降低了10%左右。收起

关键词 : 自动驾驶深度强化学习 DDPG算法 SAC算法人工智能

7. 基于强化学习的个性化推荐算法研究

[学位论文] 孙建长春工业大学 2023年硕士导师: 郑虹;赵冲共61页

摘要 : 随着各大电子商务公司的崛起，各大电子商务平台一直在追求的目标是如何说服更多的客户在自己的网站上购买产品。推荐系统作为一种有效的信息过滤工具在工业界和学术界被广泛使用，这项研究已经成为最热门的研究领域。在推荐系统中，建立用户-商... 展开随着各大电子商务公司的崛起，各大电子商务平台一直在追求的目标是如何说服更多的客户在自己的网站上购买产品。推荐系统作为一种有效的信息过滤工具在工业界和学术界被广泛使用，这项研究已经成为最热门的研究领域。在推荐系统中，建立用户-商品行为的模型对于用户表征学习是至关重要的。现有的研究工作中面临着以下两个挑战：现有的顺序推荐算法大多数没有考虑推荐的多样性，仅仅考虑了历史上交互的商品之间的顺序相关性，以捕捉用户的历史偏好。然而，由于用户的偏好在本质上是时间演化和多样化的，仅仅对历史偏好进行建模但是不了解偏好的时间演化趋势，对于推荐互补的或新鲜的商品来说可能是低劣的，从而让用户陷入“信息茧房”，损害了推荐系统的有效性；在商品推荐中，深度强化学习的动作可以是离散的也可以是连续的，在使用DQN算法进行训练时所针对的动作空间都是离散的。然而当推荐系统中的动作空间连续时，因为推荐系统的候选物品数量往往非常大，连续动作空间的维度很高，而DQN算法只是将状态动作的评估函数从离散空间用神经网络映射到了连续空间，没有解决动作离散这个问题，难以优化和训练模型。针对于上述两个挑战，本文提出了一种基于值改进的融入未来偏好的推荐模型RFPV(RecommenderFuturePreferenceModelbasedonValueImprovementDRL,简称为RFPV)。基于当前用户未来可能做的动作是与当前用户相似的用户即邻居用户已经做过的动作的思想，通过用户的历史交互序列，学习用户的未来偏好。该算法不仅考虑用户的历史偏好而且考虑了用户的未来偏好，并利用DQN算法进行训练，对用户推荐其感兴趣的商品，不仅考虑了推荐的准确性也考虑了推荐的多样性；针对于RFPV模型中DQN算法存在的问题，本文构建了基于策略改进的融入未来偏好的推荐模型RFPP(RecommenderFuturePreferenceModelbasedonPolicyImprovementDRL,简称为RFPP)。RFPP模型基于Actor-Critic框架来实现，并且在Actor网络探索动作时，加入了Ornstein-Uhlenbeck噪声，使得动作的探索更加充分。使用DDPG算法的RFPP模型不仅解决复杂多变的推荐问题中状态和行动的连续性和高维度问题，也利用了问题域的优势，加快了模型的收敛。收起

关键词 : 推荐算法强化学习未来偏好 DDPG算法神经网络

8. 基于深度强化学习的煤矸石分拣机械臂控制策略研究

[学位论文] 于智伟山东科技大学 2021年硕士导师: 张永超共92页

摘要 : 煤矸石分拣机械臂在矿山绿色生产中具有重要地位，由于其在执行煤矸石粗拣任务时需要分拣输送带上位置各异的煤矸石，因此对算法的检测能力和自适应能力具有严格要求。在智能控制飞速发展的背景下，探索具有高性能的检测算法以及具有自适应学习能力的... 展开煤矸石分拣机械臂在矿山绿色生产中具有重要地位，由于其在执行煤矸石粗拣任务时需要分拣输送带上位置各异的煤矸石，因此对算法的检测能力和自适应能力具有严格要求。在智能控制飞速发展的背景下，探索具有高性能的检测算法以及具有自适应学习能力的控制算法具有重要意义。为实现煤矸石分拣机械臂的智能化控制，本文对深度强化学习算法在煤矸石分拣机械臂上的应用进行了研究。重点开展了基于DDPG控制算法的优化和基于深度学习的煤矸石检测研究，并在仿真平台上对基于深度强化学习的机械臂智能控制思想进行了训练验证。主要研究内容和结论如下：针对机械臂自适应学习能力不足的问题，将深度强化学习中的DDPG控制算法应用于机械臂控制，提高了机械臂的自适应学习能力。为提高DDPG控制算法的收敛效率，在神经网络初始化、训练方式和经验池三个方面开展了优化研究。在神经网络初始化方面，分析了截断正态分布初始化和标准正态分布初始化对DDPG控制算法收敛效率的影响。在训练方式方面，引入了断点续训的训练方式，使机械臂可以在具有一定决策能力的基础上进行针对性训练。在经验池方面，对经验池在两种思想上进行了四种改进，并对比了不同改进对DDPG控制算法收敛效率的影响。通过在二维仿真环境中训练验证，结果显示联合使用截断正态分布初始化、断点续训和第一种改进思想中的第一类改进经验池时，DDPG控制算法收敛效率最高，机械臂完成900幕训练仅耗时177.58s。针对检测算法需要具有高性能煤矸石检测能力的要求，提出使用深度学习中的YOLOv4检测算法进行煤矸石检测。针对目前未有开源煤矸石数据集的问题，自制了煤矸石训练数据集与煤矸石测试数据集。利用自制数据集分析了Mosaic数据增强、学习率余弦退火衰减和标签平滑的结合使用对YOLOv4检测算法性能的影响，由分析结果可知三种优化方法的结合使用提高了YOLOv4检测算法的检测性能，使YOLOv4检测算法在煤矸石测试数据集上的mAP值可达97.52%。同时还通过自制数据集和煤矸石检测实验，对比了结合三种优化方法的YOLOv4检测算法、SSD和FasterR-CNN检测算法的性能，由测试与实验结果可知结合了三种优化方法的YOLOv4检测算法性能最优。为使DDPG控制算法适用于六自由度煤矸石分拣机械臂控制任务，通过改进奖励函数，提出了一种改进DDPG控制算法，并在仿真环境中与使用传统奖励函数的DDPG控制算法进行了对比。训练结果显示，在已检测到煤矸石的情况下，改进DDPG控制算法可以更好的引导机械臂学习到接近煤矸石的策略，改进DDPG控制算法为解决实际煤矸石分拣机械臂智能控制问题提供了一种新方法。收起

关键词 : 机械臂深度学习 DDPG控制算法煤矸石奖励函数

9. 合模机器人无标定视觉伺服控制方法研究

[学位论文] 袁博民兰州交通大学 2022年硕士导师: 杜亚江;李宗刚共61页

摘要 : 工业机器人在智能制造中发挥着重要作用，已在工件搬运、装配、喷涂、铆接和焊接等场合得到广泛应用，取得了良好的社会和经济效益，显示出良好的发展前景。在一些实际铆接应用中，铆接工件面积大、铆接点位多、铆钉尺寸小、铆点布置不规则、作业要求... 展开工业机器人在智能制造中发挥着重要作用，已在工件搬运、装配、喷涂、铆接和焊接等场合得到广泛应用，取得了良好的社会和经济效益，显示出良好的发展前景。在一些实际铆接应用中，铆接工件面积大、铆接点位多、铆钉尺寸小、铆点布置不规则、作业要求精度高，目前主要依靠人工来完成合模和铆接作业，属于典型的高强度重复性工作，需要通过机器代人来提高其生产效率。本论文拟以铆接过程中的合模工艺为研究对象，设计一种适用于合模工艺的机器人末端执行装置，完成系统集成与控制算法设计，实现合模工艺的智能化改造。围绕这一问题，主要做了如下工作：设计了合模机器人末端执行机构。根据合模工件的结构特点，对合模末端执行机构进行结构设计、关键零部件选型、关键尺寸设计，使用Solidworks建立合模末端执行机构的三维模型，机构主要包括工具快换装置、连接法兰、气缸、相机支架、压板、连接板、爪手。其中气缸作为机构的动力装置，选型为AirTACTACQ20X10;爪手由二连杆机构组成，其中一个设计为带有U型槽的S型连杆，能够严密契合工件。设计的机构结构简单，便于拆卸维护，能够适应于各种环境并快速精确完成作业。针对铆接件合模时公板和母板相对定位问题，基于图像矩方法设计了一种无标定视觉伺服控制器，定位精度满足合模要求。控制器采用图像矩作为图像特征，消除了受视角和摄像机等因素的影响时图像发生的仿射变形，解决了图像超出相机视域范围时不能准确得到其图像特征的问题。控制器使用递推最小二乘法(RLS)在线估计图像雅可比矩阵，并将其作为扩展Kalman滤波器(EKF)的观测矩阵，输出机器人关节变化量以控制合模机器人运动。仿真结果表明，在图像超出相机视域范围时，合模机器人也能够实现精准定位，其定位精度和稳定性较高，误差收敛速度较快。最后，针对合模作业中目标工件超出相机视域导致机械臂运动时末端轨迹不够平滑、误差较大的问题，基于深度确定性策略梯度(DDPG)算法设计了无标定视觉伺服轨迹跟踪控制器，提高了轨迹跟踪精度。控制器采用图像组合矩特征作为输入，并使用RLS-EKF模块输出机器人关节变化量，最后通过DDPG算法得到控制参数矩阵，通过控制参数矩阵调节机器人关节变化量，以提高合模机器人控制精度。仿真结果表明该控制方法能够有效提高无标定视觉伺服控制中图像矩特征误差的收敛速度，能够使机械臂运动的末端轨迹更加平滑，更加接近期望轨迹，具有良好的控制效果。收起

关键词 : 合模机器人无标定视觉伺服控制图像矩 DDPG算法

10. 基于深度强化学习的机器人路径规划算法研究

[学位论文] 周盛世南京理工大学 2021年硕士导师: 单梁共87页

摘要 : 路径规划是机器人研究中较为基础和关键的方向，近年来深度强化学习在机器人控制方面取得了巨大的成功，该方法不需要控制对象模型，具有很强的环境适应性和自学习能力，得到了广泛的关注。随着任务的复杂化和多样化，单机器人已经不能满足这类场景的... 展开路径规划是机器人研究中较为基础和关键的方向，近年来深度强化学习在机器人控制方面取得了巨大的成功，该方法不需要控制对象模型，具有很强的环境适应性和自学习能力，得到了广泛的关注。随着任务的复杂化和多样化，单机器人已经不能满足这类场景的需求，多机器人系统通过各单位协同能够处理更复杂的任务，而多机器人编队作为其重要的研究方向也成为一个研究热点。为了在复杂场景下更好地完成任务，本文将全局路径规划算法和局部路径规划算法进行结合，研究基于深度强化学习的路径规划算法，在此基础上进一步研究多机器人编队控制算法，并在基于ROS平台的轮式机器人上进行实验验证。首先，针对传统跳点搜索(JPS)算法没有考虑机器人半径和实际控制效果的问题，提出了基于改进JPS算法的全局路径规划算法。根据机器人半径对原始地图的障碍物栅格进行扩张，避免规划出的路径紧贴障碍；在评价函数中使用路径长度和转弯角度作为代价值，并使用时间统一计算，以找出一条转折点较少的路径；在找出路径之后通过平滑算法进一步优化，得到更有利于机器人控制的路径。其次，研究了基于深度强化学习的局部路径规划算法，提出了改进深度确定性策略梯度(DDPG)算法。为了提高收敛速度，设计了优先级经验池回放机制，选择高优先级的样本数据进行训练；设计与人工势场法结合的奖励函数，解决训练前期探索空间大、容易陷入局部最优的问题。然后，针对多机器人系统建模复杂、求解困难的问题，提出了基于多智能体深度确定性策略梯度(MADDPG)算法的多机器人编队控制算法。通过领航跟随者法构建编队队形；设计了级联控制规则解决原始算法在机器人数量变化时导致重新训练的问题；重新设计了状态空间和奖励函数，将队形约束加入全局奖励函数中进行训练。最后，在Gabebo仿真软件中搭建仿真环境，通过结合改进JPS算法和改进DDPG算法在基于ROS平台的轮式机器人上进行路径规划实验，使用改进MADDPG算法进行多机器人编队实验，验证了算法的有效性。收起

关键词 : 路径规划算法深度强化学习 DDPG算法多机器人编队