买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉新紫光集团有限公司申请的专利一种数据推理方法、系统、设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119294401B 。

龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411323453.8，技术领域涉及：G06F40/30；该发明授权一种数据推理方法、系统、设备和存储介质是由陈杰;张楚文;阚宏伟设计研发完成，并于2024-09-20向国家知识产权局提交的专利申请。

本一种数据推理方法、系统、设备和存储介质在说明书摘要公布了：本申请公开了一种数据推理方法、系统、设备和存储介质，该方法包括：主节点基于Transformer模型的当前层的输入词元，生成查询向量、键向量和值向量，并将键向量和值向量添加于主节点的本地键值缓存；主节点通过网络设备向多个从节点广播查询向量；多个节点基于查询向量和多个节点各自的本地键值缓存进行注意力计算，得到多个节点分别对应的初始注意力向量；多个从节点通过网络设备向主节点发送各自的初始注意力向量；网络设备将多个从节点分别对应的初始注意力向量进行聚合处理，得到目标注意力向量；主节点通过Transformer模型，基于目标注意力向量进行模型推理，得到输出词元。这样可以减少推理时间，降低网络带宽需求。

本发明授权一种数据推理方法、系统、设备和存储介质在权利要求书中公布了：1.一种数据推理方法，其特征在于，应用于数据推理系统，所述数据推理系统采用变换器Transformer模型作为推理模型，所述数据推理系统包括网络设备和多个节点，所述多个节点包括主节点和多个从节点，所述数据推理方法包括： 所述主节点基于所述Transformer模型的当前层的输入词元，生成查询向量、键向量和值向量，并将所述键向量和所述值向量添加于所述主节点的本地键值缓存； 所述主节点通过所述网络设备向所述多个从节点广播所述查询向量； 所述多个节点基于所述查询向量和所述多个节点各自的本地键值缓存进行注意力计算，得到所述多个节点分别对应的初始注意力向量； 所述多个从节点通过所述网络设备向所述主节点发送各自的初始注意力向量； 所述网络设备将所述多个从节点分别对应的初始注意力向量进行聚合处理，得到目标注意力向量； 所述主节点通过所述Transformer模型，基于所述目标注意力向量进行模型推理，得到所述Transformer模型的输出词元。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人新紫光集团有限公司，其通讯地址为：100083 北京市海淀区知春路7号致真大厦B座24层2401号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。