买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东旭坤创智信息技术有限公司申请的专利一种基于注意力机制的大模型优化方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120218251B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510380950.X，技术领域涉及：G06N5/04；该发明授权一种基于注意力机制的大模型优化方法及系统是由张琦;史进男;邵先状;姜娇;史莹莹;胡国悦;张兴山设计研发完成，并于2025-03-28向国家知识产权局提交的专利申请。

本一种基于注意力机制的大模型优化方法及系统在说明书摘要公布了：本发明属于深度学习技术领域，针对大模型计算资源消耗大、内存占用高及可解释性差等问题，提出一种基于注意力机制的大模型优化方法及系统。方法上，先联合K、V参数矩阵为大KV矩阵，用动态自适应张量分解降维；在各数据处理步骤添加解释层标记处理过程；采用隐式专家协同模型，以门控网络生成权重分解中间计算。其中，张量分解通过NLP模型和拓扑模型预测最优秩并扩展为三阶张量；隐式专家协同模型共享基础参数矩阵、用门控系数组合子网络并实现隐式稀疏性。经实验验证，该方法能缩短计算时间、减少内存占用、提升计算速度、增强模型可解释性与适应性，有效优化大模型性能。

本发明授权一种基于注意力机制的大模型优化方法及系统在权利要求书中公布了：1.一种基于注意力机制的大模型优化方法，其特征在于，包括有： S1、在大模型中，将K参数矩阵和V参数矩阵联合为一个大KV矩阵，再采用动态自适应张量分解将大KV矩阵分解替换为多个维度更低的矩阵，所述动态自适应张量分解具体包括： 基于预训练的自然语言处理模型分析输入的长文本或高分辨率图像特征数据的复杂度和特征间相关度，通过拓扑模型实时预测KV矩阵的最优分解秩； 所述拓扑模型的构建与最优秩预测方法为：基于KV矩阵中每一元素的特征相关度，对任意两个元素依据相关度越高则连线距离越近的规则设定连线距离，生成三维拓扑模型；依据三维拓扑模型的几何中心点对该三维拓扑模型进行旋转，提取前预设项个元素作为主要元素，以确定KV矩阵的最优分解秩； 引入上下文维度扩展为三阶张量，并采用核心张量和三个分别对应序列长度、特征维度、上下文维度的因子矩阵进行分解，保留高阶特征交互信息； S2、在大模型中，在每一数据处理步骤中加入解释层，对前一步骤的数据处理进行标记，所述标记为包含数据处理操作类型、特征权重阈值及计算节点编号的文本，或模型可解析的二进制通用符号； S3、采用隐式专家协同模型，通过门控网络直接生成虚拟专家权重，将中间计算分解为多组隐式子网络。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东旭坤创智信息技术有限公司，其通讯地址为：250000 山东省济南市中国(山东)自由贸易试验区济南片区舜华路2000号舜泰广场6号楼15层1526室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。