买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京大学申请的专利一种提升大语言模型批量推理效率的处理方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119558398B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411401959.6，技术领域涉及：G06N5/04；该发明授权一种提升大语言模型批量推理效率的处理方法是由丛培壮;杨仝;陈齐治设计研发完成，并于2024-10-09向国家知识产权局提交的专利申请。

本一种提升大语言模型批量推理效率的处理方法在说明书摘要公布了：本发明公开了一种提升大语言模型批量推理效率的处理方法，其步骤包括：1利用大语言模型对所有待处理的推理任务执行预填充处理，得到每一推理任务的序列中各词元的键向量和值向量以及一词元并缓存到任务池中；2首轮迭代计算时，将从任务池所选n个推理任务对应的最新单个词元T组成张量TB、对应的键值向量组成张量KVB、各注意力掩码向量组成张量AB；将TB、KVB和AB输入大语言模型推理计算更新TB、AB和KVB用于下一轮迭代计算；3当一推理任务迭代结束后，将该推理任务在各次迭代输出的词元进行拼接得到该推理任务的推理结果，并从任务池中选择待处理任务执行下一轮迭代。本发明提升了任务的处理效率和算力资源利用率。

本发明授权一种提升大语言模型批量推理效率的处理方法在权利要求书中公布了：1.一种提升大语言模型批量推理效率的处理方法，其步骤包括： 1利用大语言模型对所有待处理的推理任务执行预填充处理，得到每一推理任务i的序列中各个词元的键向量和值向量以及一词元ti，将推理任务i的序列中各个词元的键向量和值向量记为键值向量KVi，将键值向量KVi和词元ti缓存到内存中的任务池中； 2首轮迭代计算时，将从所述任务池内选择的n个推理任务中每一推理任务对应的最新词元组成维度为n*1的张量TB，将所选n个推理任务对应的键值向量组成张量KVB，将所选n个推理任务对应的注意力掩码向量组成维度为n*l的张量AB，l为张量KVB的长度；将张量TB、KVB和AB输入所述大语言模型进行推理计算得到该n个推理任务中每一推理任务b对应的新词元Tb’，以及该新词元Tb’与对应推理任务b的序列中已有词元之间的键向量和值向量，记为键值向量kvb’；将键值向量kvb’追加至张量KVB后形成最新的张量KVB，在当前张量AB后追加一列值全为1的向量；将更新后的新词元张量TB、张量AB和张量KVB用于下一轮迭代计算； 3当一推理任务迭代结束后，将该推理任务在各次迭代输出的词元进行拼接得到该推理任务的推理结果； 4若当前所处理批次内的推理任务i结束迭代时，将其从当前批次中移除并向当前批次中加入新的推理任务j； 5对于新加入的推理任务j，当推理任务j对应的键值向量KVj的长度lq小于或等于最新的张量KVB在序列维度的长度lkv时，利用该推理任务j的最新词元tj直接覆盖新词元张量TB中推理任务i的最新词元；将KVj以右对齐的方式覆盖KVB推理任务i的键向量和值向量，将张量KVB中推理任务i的未能被任务j覆盖的位置修改为负无穷以保证计算的正确性；以右对齐的方式覆写张量AB中推理任务i对应行的右lq个元素值为1，该行其他元素的值覆写为0，以保证根据推理任务j的最新词元tj、注意力关系KVj正确计算出当前最新词元tj与推理任务j的任务序列中已有词元之间的键值向量kvj’以及新的词元tj’；然后释放新加入的推理任务j对应的键值向量KVj前端存在长度为Oi的占位数据及其在张量AB中的对应数据； 6对于新加入的推理任务j，当推理任务j对应的键值向量KVj的长度lq大于最新的张量KVB在序列维度的长度lkv时，首先利用该推理任务j的最新词元tj直接覆盖新词元张量TB中推理任务i的最新词元，将张量KVB的长度扩充为lq，用KVj覆盖原推理任务i所在行的值，并将当前批次内其他推理任务的键值向量在左侧填充负无穷；其次，将张量AB扩充至长度为lq，并将张量AB中推理任务j的位置全部赋值为1，表示任务j没有填充符号；对于张量AB中其他推理任务对应的注意力掩码向量的左侧填充0，表示任务的键向量和值向量的位置为填充值，并保证推理任务j对应的注意力掩码向量Aj的长度一致。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京大学，其通讯地址为：100871 北京市海淀区颐和园路5号北京大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。