之江实验室;中国地质大学(武汉)曾德泽获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉之江实验室;中国地质大学(武汉)申请的专利一种基于深度强化学习的容器化微服务编排系统及方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116582407B 。
龙图腾网通过国家知识产权局官网在2025-06-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310387279.2,技术领域涉及:H04L41/0273;该发明授权一种基于深度强化学习的容器化微服务编排系统及方法是由曾德泽;李跃鹏;朱方帅;高丰设计研发完成,并于2023-04-11向国家知识产权局提交的专利申请。
本一种基于深度强化学习的容器化微服务编排系统及方法在说明书摘要公布了:本发明提供了一种基于深度强化学习的容器化微服务编排系统及方法,基于本发明提出的“延迟奖励策略”和“延迟奖励匹配深度Q学习算法”构建的,一共包含五个模块,系统信息获取模块,奖励生成模块,延迟奖励匹配模块,强化学习训练模块,决策模块和两个缓存,临时经验缓存和全局经验缓存。系统信息获取模块用于获取边缘节点环境的状态信息,奖励生成模块用于计算延迟奖励,延迟奖励匹配模块用于解决经验的配对问题,强化学习训练模块用于训练DeepQ‑NetWork,决策模块用于控制智能体做出决策。本发明的有益效果是:有效地解决了传统微服务编排平台对于高动态性微服务编排的局限性。
本发明授权一种基于深度强化学习的容器化微服务编排系统及方法在权利要求书中公布了:1.一种基于深度强化学习的容器化微服务编排系统,其特征在于:包括:系统信息获取模块,奖励生成模块,延迟奖励匹配模块,强化学习训练模块和决策模块,以及全局经验缓存和临时经验缓存两个缓存; 系统信息获取模块,用于获取决策模块做出相应动作后边缘节点环境前后的状态信息; 将边缘节点环境状态描述为一个向量S={q1,q2,...,qn,...,q|N|},其中,qn表示第n个节点上已经运行的微服务的数量,N表示节点的总数,并将获取到的信息描述为一个三元组S,A,S',S表示当前的状态,A表示当前智能体做出的动作,S'表示智能体做出动作后将要更新到的下一个状态; 奖励生成模块,用于计算智能体做出动作后得到的延迟奖励R,并将延迟奖励R传输至延迟奖励匹配模块; 延迟奖励匹配模块,用于解决延迟奖励R和已存在于临时经验缓存中的S,A,S'的匹配问题; 延迟奖励R=-Tf·,其中,Tf·表示为微服务的完成时间; 通过给三元组S,A,S'和延迟奖励R都分配正在编排的微服务的标记微服务的唯一标识符,进而确保在得到延迟奖励后遍历临时经验缓存中的三元组来完成匹配; 强化学习训练模块,用于通过全局经验缓存中的完全经验来训练DeepQ-Network; 决策模块,用于控制智能体做出相应的动作; 将做出的动作信息表示为一个向量A={a1,a2,...,an,...,a|N|},其中an表示将微服务调度到节点n,并将相应的动作信息发送给系统信息获取模块,N表示节点的总数; 临时经验缓存,用于存储智能体做出动作后立即得到的三元组S,A,S';全局经验缓存,用于存储延迟奖励匹配模块匹配成功的四元组S,A,R,S'。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人之江实验室;中国地质大学(武汉),其通讯地址为:311100 浙江省杭州市杭州余杭区中泰街道科创大道之江实验室南湖总部;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。