买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京理工大学申请的专利一种基于TD3算法的Coflow调度系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116582502B 。

龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310536045.X，技术领域涉及：H04L47/6295；该发明授权一种基于TD3算法的Coflow调度系统是由黄婵颖;王子超;李千目;颜克冬设计研发完成，并于2023-05-12向国家知识产权局提交的专利申请。

本一种基于TD3算法的Coflow调度系统在说明书摘要公布了：本发明公开了一种基于TD3算法的Coflow调度系统，该系统包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序模块，其中：预处理模块用于在分布式机器学习通信环境中提取Coflow信息，对信息进行预处理；马尔可夫模型构建模块用于建立基于Coflow深度强化学习的马尔可夫模型，定义动作、环境状态、奖励函数；模型训练模块使用深度强化学习TD3算法对Coflow环境进行重复迭代训练，得到最终的模型和策略函数；通信模块使用得到的模型和策略函数，对分布式机器学习中的Coflow进行通信。本发明能够自适应的调整多级反馈队列的阈值，更好的适应不同分布式应用场景，从而扩大适用范围、提高调度效率。

本发明授权一种基于TD3算法的Coflow调度系统在权利要求书中公布了：1.一种基于TD3算法的Coflow调度系统，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序模块，所述计算机程序模块包括顺次设置的预处理模块、马尔可夫模型构建模块、模型训练模块、通信模块，其中： 所述预处理模块，用于在分布式机器学习通信环境中提取Coflow信息，对信息进行预处理； 所述马尔可夫模型构建模块，用于建立基于Coflow深度强化学习的马尔可夫模型，定义动作、环境状态、奖励函数； 所述模型训练模块，用于使用深度强化学习TD3算法对Coflow环境进行重复迭代训练，得到最终的模型和策略函数； 所述通信模块，用于使用模型训练模块得到的模型和策略函数，对分布式机器学习中的Coflow进行通信； 所述TD3算法，共包括六个神经网络，各个神经网络均有四层神经元，其分别为输入层、隐藏01层和输出层； （1）根据起始状态State，根据神经网络生成一个Action：{TH1,TH2,…,THn}； 首先将所定义的起始状态作为Actor神经网络的输入，Actor神经网络会生成一个一位向量，即为当前状态所产生的动作Action，即一个多级反馈队列的阈值，按照所生成的Action，对环境网络中的多级反馈队列进行相对应的阈值设置，并等到下一阶段再次更新多级反馈队列的阈值； 其中Actor网络通过使策略梯度值上升进行更新，公式如下： ； 上式中，是Actor的损失函数，等式右边代表对样本梯度进行平均，其中表示Actor网络的参数，表示Critic网络的参数，表示状态，表示动作，表示Critic网络的输出结果，是Actor网络的输出结果； Critic网络通过以下公式进行更新： ； 上式中，表示第个Critic网络的参数，表示目标值，表示第个Critic网络的输出结果； 对于Actor网络的参数和Critic网络的参数，根据以下两个公式进行软更新Actor目标网络和Critic目标网络的参数： ； ； 其中所代表的是更新步长； 使用经验回放池记录决策信息，将最大容量设置为10000； （2）使用Critic神经网络，对当前{State,Action}使用奖励函数进行打分操作； Critic神经网络的功能是判断当前状态State下使用当前动作Action的效果；在TD3算法中，使用延迟更新的策略，即当Critic神经网络更新多次后，Actor网络才会进行一次更新操作，使Actor神经网络的训练更加稳定； （3）重复步骤（1）~步骤（2），当达到固定循环次数，或者Coflow的平均完成时间小于规定的时间时，结束循环过程。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京理工大学，其通讯地址为：210094 江苏省南京市玄武区孝陵卫200号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。