买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南开大学申请的专利基于token融合的大规模语言模型推理优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118761468B 。

龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410750336.3，技术领域涉及：G06N5/04；该发明授权基于token融合的大规模语言模型推理优化方法是由李文硕;张昊;宫晓利;张金设计研发完成，并于2024-06-12向国家知识产权局提交的专利申请。

本基于token融合的大规模语言模型推理优化方法在说明书摘要公布了：本发明公开了一种基于token融合的大规模语言模型推理优化方法，经过分词器预处理后的文本序列进入嵌入层进行编码，生成词向量和位置向量，将词向量和位置向量相加得到隐藏状态作为Transformer模块的输入矩阵；针对大规模语言模型逐层进行MHA模块的计算、token分组、token融合、MLP模块的计算和token复原操作；重复上述步骤直至大规模语言模型的最后一层；最后一层生成的隐藏状态进入尾接线性层计算，输出词表中各词汇的概率。本发明使用剪枝方法对LLM进行压缩，主要聚焦于如何降低大语言模型的推理延迟。降低推理延迟需要使用模型压缩技术对大语言模型进行压缩，减少模型推理的计算量从而降低推理延迟，加速推理过程，同时还可以保证尽量小的精度损失。

本发明授权基于token融合的大规模语言模型推理优化方法在权利要求书中公布了：1.一种基于token融合的大规模语言模型推理优化方法，其特征在于，大规模语言模型包括依次相连嵌入层、多层Transformer模块和尾接线性层，所述Transformer模块包括多头注意力机制模块、多层感知机模块、token分组模块、token融合模块、token差值预测器和token复原模块；所述多头注意力机制模块包括三个线性层；该方法包括： 步骤1、经过分词器预处理后的文本序列进入嵌入层进行编码，生成词向量和位置向量，将所述词向量和位置向量相加得到隐藏状态作为所述Transformer模块的输入矩阵； 步骤2、针对所述大规模语言模型，逐层进行多头注意力机制模块的计算、token分组、token融合、多层感知机模块的计算和token复原操作；包括下述步骤： 步骤2‑1首先进行多头注意力机制模块的计算，同时利用多头注意力机制模块生成的注意力分数矩阵获得初步的token的相似性矩阵； 步骤2‑2利用token分组模块，基于所述的token的相似性矩阵获得的相似度和设定的相似度的阈值，对token进行分组，同时采用多头注意力机制模块计算获得每个token的分组索引； 步骤2‑3利用token融合模块基于得到的每个token的分组索引将多层感知机模块的输入进行token融合，将处于同一组的token融合为一个token向量，从而获得压缩后的输入矩阵； 步骤2‑4将得到的压缩后的输入矩阵输入至所述多层感知机模块进行计算，将计算结果输入下一层的多头注意力机制模块，进行三个线性层的计算，生成查询矩阵Q、键矩阵K和值矩阵V；与此同时，所述token差值预测器生成token融合后与融合前组内的各token的差值； 步骤2‑5所述token复原模块将多头注意力机制模块的三个线性层输出的查询矩阵Q、键矩阵K和值矩阵V进行组内token向量的复制，恢复为原来token的个数，然后将所述查询矩阵Q、键矩阵K和值矩阵V与token差值预测器的输出结果相加，得到复原后的查询矩阵Q、键矩阵K和值矩阵V，用于进行多头注意力机制模块中三个线性层之后的计算； 步骤3、重复上述步骤2，直至所述大规模语言模型的最后一层； 步骤4、所述Transformer模块最后一层生成的隐藏状态进入尾接线性层计算，输出词表中各词汇的概率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南开大学，其通讯地址为：300350 天津市津南区海河教育园区同砚路38号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。