买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉众数(厦门)信息科技有限公司;众数智能(厦门)科技有限公司申请的专利一种用于Transformer架构的高效注意力计算方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120562482B 。

龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511082243.9，技术领域涉及：G06N3/0455；该发明授权一种用于Transformer架构的高效注意力计算方法是由姚锋;王筝;黄世勇;吴炳坤设计研发完成，并于2025-08-04向国家知识产权局提交的专利申请。

本一种用于Transformer架构的高效注意力计算方法在说明书摘要公布了：本发明公开了一种用于Transformer架构的高效注意力计算方法，包括以下步骤：S1、将键值矩阵分块，并计算块平均值；S2、根据查询与块平均值的相关度概率分布，利用核采样思路决定top‑k个数，动态判断应该精确计算的区域和模糊计算的区域；S3、分别计算近邻区域的精确注意力以及保留全局信息区域的模糊注意力，并将精确注意力和模糊注意力结合为最终注意力输出；该方法通过将词元的键值对滑窗分块，动态判断并计算对于局部与近邻的精确注意力与块级模糊注意力，灵活适应序列中注意力离散程度不同的情况，捕捉局部精准信息的同时保留全文上下文认知，在不增加训练、影响模型能力的前提下，降低注意力计算复杂度，增强模型处理长上下文的能力。

本发明授权一种用于Transformer架构的高效注意力计算方法在权利要求书中公布了：1.一种用于Transformer架构的高效注意力计算方法，其特征在于，包括以下步骤： S1、将键值矩阵分块，并计算块平均值； S2、根据查询结果与所述块平均值之间的相似度概率分布，利用核采样决定top-k个数，动态判断应精确计算的区域和模糊计算的区域； 步骤S2的具体过程为： S21、计算第个文本的词元对于块的相似度概率分布，计算公式为：，，其中，为第个文本的词元的查询结果；为第个文本的词元对于块的注意力结果；为块级掩码；为归一化指数函数；为所有块的键矩阵的平均池化结果的转置；为注意力头的维度大小； S22、利用核采样决定top-k的个数，并动态判断应精确计算注意力的块和模糊计算注意力的块，计算公式为：，，，其中，为根据概率分布计算的k值；为用于的预设参数；为经计算得到的top-k个k值；为降序排位；为第个文本的词元对于第个块的注意力结果；为与第个文本的词元应精确计算注意力的块的索引值的集合；为与第个文本的词元应模糊计算注意力的块的索引值的集合；为合集； S3、分别计算近邻区域的精确注意力以及保留全局信息区域的模糊注意力，并将精确注意力和模糊注意力结合为最终注意力进行输出； 步骤S3的具体过程为： S31、计算近邻区域的精确注意力，计算公式为：，，，其中，为第个文本的词元精确计算注意力的键矩阵；为第个文本的词元精确计算注意力的值矩阵；为近邻注意力的滑窗大小；为键矩阵的第到行；为值矩阵的第到行；为注意力计算；为第个文本的词元精确注意力计算结果；为第个块的键矩阵；为第个块的值矩阵； S32、计算保留全局信息区域的模糊注意力，计算公式为：，，，其中，为第个文本的词元模糊计算注意力的键矩阵；为第个文本的词元模糊计算注意力的值矩阵；为第个文本的词元模糊注意力计算结果；为平均池化；为经的结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人众数(厦门)信息科技有限公司;众数智能(厦门)科技有限公司，其通讯地址为：361000 福建省厦门市火炬高新区软件园一期曾厝垵北路3号科汇楼402室-A184；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。