买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京交通大学;北京市基础设施投资有限公司申请的专利基于改进强化学习算法的虚拟编组列车参考曲线计算方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116090336B 。

龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211680558.X，技术领域涉及：G06F30/27；该发明授权基于改进强化学习算法的虚拟编组列车参考曲线计算方法是由刘宏杰;郎颖辉;唐涛;吴昊;王道敏;李晓刚;张艳兵;赵剑华;柴铭;宿帅;吕继东;李开成设计研发完成，并于2022-12-27向国家知识产权局提交的专利申请。

本基于改进强化学习算法的虚拟编组列车参考曲线计算方法在说明书摘要公布了：本发明公开了基于改进强化学习算法的虚拟编组列车参考曲线计算方法，应用于轨道交通运行控制技术领域，包括：基于虚拟编组列车运行指标与约束的数学形式构建虚拟编组列车的运行优化模型，并确定决策变量；将运行优化模型转化到强化学习框架下；应用改进的强化学习DQN算法对运行优化模型求解，获得虚拟编组列车参考曲线。本发明通过整合各列车单元的独立分布规划，在考虑编队整体的运行指标基础上，为车队中每一辆车都生成一条各自的协同参考曲线，并通过改进的强化学习DQN算法求解，取代了现有的独立分布规划，使得前车不再完全独立的运行而是考虑后车的运行状态，实现虚拟编组列车同步停车、准点到达、精确停车的运行指标。

本发明授权基于改进强化学习算法的虚拟编组列车参考曲线计算方法在权利要求书中公布了：1.基于改进强化学习算法的虚拟编组列车参考曲线计算方法，其特征在于，包括： 步骤1：基于虚拟编组列车运行指标与约束的数学形式构建虚拟编组列车的运行优化模型，并确定决策变量； 步骤2：将所述运行优化模型转化到强化学习框架下； 步骤3：应用改进的强化学习DQN算法对所述运行优化模型求解，获得虚拟编组列车参考曲线； 所述改进的强化学习DQN算法，具体为： 初始化阶段：设置改进的强化学习DQN算法参数，并初始化一个深度神经网络作为价值函数； 观察阶段：从初始状态开始随机选择动作获得下一状态，存储数据到经验空间，直至训练次数达到预设值； 训练阶段：从初始状态根据价值函数以及策略函数选择大价值动作进行迭代，并按预设周期从经验空间中抽取样本训练价值函数，直至训练结果满足预设成功率要求，取出成熟价值函数； 参考曲线生成阶段：从初始状态开始利用成熟价值函数和策略函数迭代获得一系列完整的起点到终点的数据，得到虚拟编组列车参考曲线； 所述设置改进的强化学习DQN算法参数，并初始化一个深度神经网络作为价值函数，具体为： 状态： 以虚拟编组列车的位置、速度、时间作为状态变量，如下： 其中，为第步虚拟编组列车的状态；分别为时刻前后车的位置、速度、时间； 初始状态、最终状态以及目标状态分别为： 其中，分别为前后车初始的位置、速度、时间；分别为前后车停下时的最终位置、速度、时间；分别为前后车停下时的目标位置、速度、时间； 动作： 将前后车的离散控制加速度的编码值作为动作，通过对动作解码获得两车的控制加速度值，编码函数如下： 其中，为前车控制加速度的档位数；为后车控制加速度的档位数；分别为第步前后车的控制加速度；和为当前控制加速度的档位次序；为第步的动作值； 环境： 包括：列车动力学和线路参数； 对于前车，智能体与环境的交互公式，如下： 其中，为时间计算步长； 对于前车，根据线路参数计算出线路阻力包含的加速度，如下： 其中，为第步前车的加速度；和分别为前车在速度时的牵引力和制动力；、、分别为前车受到的基本阻力、曲线附加阻力、坡度附加阻力；为前车质量； 价值函数： 其中，为价值函数，为一个深度神经网络，输入为状态和动作，输出为当前状态结合动作的值，为当前组合产生的未来收益； 策略函数： 其中，为第步时第种动作； 奖励函数： 其中，为容许误差矩阵；为虚拟编组列车在要求的位置、速度、时间误差内停下时给予的正奖励；为两车没有在停车区域停下时给予的负奖励；为两车没有按时刻表安排停下时给予的负奖励；为前车或后车超出道路限速时给予的负奖励；为当两车间距小于安全间距时给予的负奖励； 经验回放：从经验空间中抽取的数据不符合神经网络的输入输出需求无法直接用来训练，需要根据数据计算出当前估计的未来期望值，处理后的数据可根据学习率对神经网络进行训练，如下： 其中，为根据第步抽取数据估计的未来期望值；为第步抽取数据中的奖励值；为衰减率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京交通大学;北京市基础设施投资有限公司，其通讯地址为：100044 北京市海淀区上园村3号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。