买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉济南浪潮数据技术有限公司申请的专利多头注意力模型的转换方法、装置、存储介质及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121009924B 。

龙图腾网通过国家知识产权局官网在2026-01-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511539151.9，技术领域涉及：G06N3/045；该发明授权多头注意力模型的转换方法、装置、存储介质及电子设备是由付辰;杨勇;李少凯;乔霖;徐冠群设计研发完成，并于2025-10-27向国家知识产权局提交的专利申请。

本多头注意力模型的转换方法、装置、存储介质及电子设备在说明书摘要公布了：本申请实施例提供了一种多头注意力模型的转换方法、装置、存储介质及电子设备，涉及计算机领域，其中，该方法包括：获取多头注意力模型，遍历至少一个注意力层，基于当前注意力层对应的第一查询权重矩阵、第一键权重矩阵和第一值权重矩阵，获取目标距离；基于当前注意力层对应的输出投影矩阵，获取每个注意力头各自对应的注意力权重；基于当前注意力层对应的全部目标距离，以及每个注意力头各自对应的注意力权重，对多个注意力头进行分组，得到当前注意力层对应的至少一个目标注意力头组；基于至少一个目标注意力头组，对目标多头注意力模型进行转换，得到目标模型。本申请实施例解决了相关技术中转换后的模型的推理输出准确性较低的问题。

本发明授权多头注意力模型的转换方法、装置、存储介质及电子设备在权利要求书中公布了：1.一种多头注意力模型的转换方法，其特征在于，包括： 获取目标多头注意力模型，其中，所述目标多头注意力模型包括至少一个注意力层，所述注意力层包括多个注意力头； 遍历至少一个所述注意力层，并基于当前注意力层对应的第一查询权重矩阵、第一键权重矩阵和第一值权重矩阵，获取至少一个目标距离，其中，所述目标距离用于指示第一注意力头和第二注意力头之间的相似度，多个所述注意力头包括所述第一注意力头和所述第二注意力头； 基于所述当前注意力层对应的输出投影矩阵，获取每个所述注意力头在所述当前注意力层中各自对应的注意力权重，其中，所述注意力权重用于指示所述注意力头的重要性； 基于当前注意力层对应的全部目标距离，以及在所述当前注意力层中每个所述注意力头各自对应的注意力权重，对多个注意力头进行分组，得到当前注意力层对应的至少一个目标注意力头组，其中，所述目标注意力头组包括至少一个注意力头； 基于当前注意力层对应的至少一个目标注意力头组，对所述目标多头注意力模型进行转换，得到目标模型； 在基于当前注意力层对应的至少一个目标注意力头组，对所述目标多头注意力模型进行转换，得到目标模型之后，所述方法还包括以下至少之一： 获取第一提示文本，并将所述提示文本输入到所述目标模型，得到由所述目标模型输出的第一结果，其中，所述第一结果与所述提示文本相匹配； 获取图像信息和第二提示文本，并将所述图像信息和所述第二提示文本输入到所述目标模型中，得到由所述目标模型输出的第二结果，其中，所述第二结果与所述图像信息以及所述第二提示文本相匹配。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人济南浪潮数据技术有限公司，其通讯地址为：250000 山东省济南市自由贸易试验区济南片区浪潮路1036号浪潮科技园S05楼S311室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。