买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利推理服务的负载均衡方法、装置、电子设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120358236B 。

龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510851598.3，技术领域涉及：H04L67/1001；该发明授权推理服务的负载均衡方法、装置、电子设备和存储介质是由王文潇设计研发完成，并于2025-06-24向国家知识产权局提交的专利申请。

本推理服务的负载均衡方法、装置、电子设备和存储介质在说明书摘要公布了：本公开提供了一种推理服务的负载均衡方法、装置、电子设备和存储介质，涉及计算机技术领域，包括：在推理服务节点集合处理会话请求的过程中，获取推理服务节点集合中任一推理服务节点的负载状态信息；在负载状态信息指示任一推理服务节点的节点压力大于压力阈值的情况下，创建与任一推理服务节点对应的代理服务；根据节点压力，创建代理服务的副本集合；根据请求分配策略，将任一推理服务节点对应的会话请求分发至副本集合中各副本进行处理，并在代理服务和各副本之间执行负载均衡操作；在副本集合对应的压力信息满足压力要求的情况下，在副本集合中确定第一副本，释放副本集合中除第一副本之外的副本，并采用第一副本替换代理服务。

本发明授权推理服务的负载均衡方法、装置、电子设备和存储介质在权利要求书中公布了：1.一种推理服务的负载均衡方法，其特征在于，包括： 在推理服务节点集合处理会话请求的过程中，获取所述推理服务节点集合中任一推理服务节点的负载状态信息； 在所述负载状态信息指示所述任一推理服务节点的节点压力大于压力阈值的情况下，创建与所述任一推理服务节点对应的代理服务； 根据所述节点压力，创建所述代理服务的副本集合； 根据请求分配策略，将所述任一推理服务节点对应的会话请求分发至所述副本集合中各副本进行处理，并在所述代理服务和所述各副本之间执行负载均衡操作； 在所述副本集合对应的压力信息满足压力要求的情况下，在所述副本集合中确定第一副本，释放所述副本集合中除所述第一副本之外的副本，并采用所述第一副本替换所述代理服务； 所述方法还包括： 在所述各副本处理完成目标会话请求后且键值缓存存在变更的情况下，将序列化后的键值缓存上传至中心化存储系统； 通过网络广播方式发送同步通知信息到副本子集，其中，所述同步通知信息包括所述键值缓存存在变更的相关信息； 在确定所述各副本接收到同步通知信息的情况下，根据所述同步通知信息中的会话标识和键值缓存版本号，从所述中心化存储系统拉取距离当前时间最近的键值缓存并进行反序列化，得到反序列化的键值缓存； 在所述反序列化的键值缓存校验通过的情况下，存储所述反序列化的键值缓存，删除已存储的键值缓存。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215103 江苏省苏州市吴中经济开发区综保区经一路1号8幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。