买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门四信通信科技有限公司申请的专利一种大模型自注意力优化方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119443183B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510025947.6，技术领域涉及：G06N3/08；该发明授权一种大模型自注意力优化方法、装置、设备及介质是由唐仕斌;蓝发财;彭府;王志强;蔡荣波;林建立;王文荣设计研发完成，并于2025-01-08向国家知识产权局提交的专利申请。

本一种大模型自注意力优化方法、装置、设备及介质在说明书摘要公布了：本发明提供的一种大模型自注意力优化方法、装置、设备及介质，涉及人工智能技术领域。本发明通过获取输入序列经大模型自注意力结构后得到的KQ大矩阵，将KQ大矩阵分成若干个KQ小矩阵；对每个KQ小矩阵进行局部注意力计算，并与其他KQ小矩阵进行相似度的降序排序，得到排序列表；对于输入序列中的每个元素，根据计算出的排序列表，选取相似度排名前r中的KQ小矩阵对应的局部注意力进行加权计算，作为当前元素的注意力表示，直到完成所述输入序列的全部元素，得到所述输入序列优化后的注意力结果。本发明不仅降低了模型的计算复杂度，而且能捕捉远距离的上下文信息，提高了模型的准确性。

本发明授权一种大模型自注意力优化方法、装置、设备及介质在权利要求书中公布了：1.一种大模型自注意力优化方法，其特征在于，包括： S1,获取输入序列经大模型自注意力结构后得到的KQ大矩阵；其中，所述KQ大矩阵为大模型自注意力结构生成的键矩阵K与查询矩阵Q的相似度矩阵；所述大模型用于对输入的文本数据、图像数据或音视频数据进行处理，获得处理结果； S2,将所述KQ大矩阵分成若干个的KQ小矩阵； S3,对每个KQ小矩阵进行局部注意力计算；并与其他KQ小矩阵进行相似度的降序排序，得到排序列表，具体为：每个KQ小矩阵进行相似度计算，得到注意力分数；再基于注意力分数与其他KQ小矩阵进行相似度计算，并按照相似度从大到小进行排列，得到排序列表； S4,对于所述输入序列中的每个元素，根据计算出的排序列表，选取相似度排名前r的KQ小矩阵对应的局部注意力进行加权计算，作为当前元素的注意力表示，直到完成所述输入序列的全部元素，得到所述输入序列优化后的注意力结果；其中，当前元素的注意力表示具体通过以下步骤获得： 对于所述输入序列中的每个元素，根据计算出的排序列表，选取相似度排名前r的KQ小矩阵，得到高相似度注意力集； 将所述高相似度注意力集中的每个KQ小矩阵，按照预设的权重，进行注意力的加权计算后，采用softmax函数进行归一化，从而得到当前元素的注意力权重向量； 将当前元素的注意力权重向量对大模型自注意力结构生成的值矩阵V进行加权求和，得到当前元素的全局注意力表示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门四信通信科技有限公司，其通讯地址为：361021 福建省厦门市火炬高新区软件园创新大厦C区3F-A129；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。