买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海交通大学申请的专利一种注意力机制计算方法、计算系统及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118333167B 。

龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410439736.2，技术领域涉及：G06N5/04；该发明授权一种注意力机制计算方法、计算系统及存储介质是由戴国浩设计研发完成，并于2024-04-12向国家知识产权局提交的专利申请。

本一种注意力机制计算方法、计算系统及存储介质在说明书摘要公布了：本发明公开了一种注意力机制计算方法、计算系统及存储介质，该计算方法包括前向传播阶段以及反向传播阶段；在前向传播阶段，将QKV映射、更新KV缓存以及旋转位置编码的算子进行融合，并调整融合后算子的内部计算流程，以减小访存的时间开销；在反向传播阶段，调整计算顺序以及访存顺序，以提高反向传播过程的效率。该方法通过优化注意力计算的前向传播和反向传播过程，分别采用算子融合和计算过程重排的策略，减少了计算中的访存次数和访存量，通过加速大语言模型中的注意力计算过程，提升了大语言模型的训练和推理性能。

本发明授权一种注意力机制计算方法、计算系统及存储介质在权利要求书中公布了：1.一种注意力机制计算方法，其特征在于，包括前向传播阶段以及反向传播阶段； 在前向传播阶段，将QKV映射、更新KV缓存以及旋转位置编码的算子进行融合，并调整融合后算子的内部计算流程，以减小访存的时间开销； 在反向传播阶段，调整计算顺序以及访存顺序，以提高反向传播过程的效率； 融合后算子的内部计算流程包括三个阶段： 第一阶段：对输入矩阵X进行K映射以及V映射，得到矩阵K和矩阵V； 第二阶段：对输入矩阵X进行Q映射，得到矩阵Q；并利用矩阵K和矩阵V对KV缓存进行更新； 第三阶段：对矩阵Q以及矩阵K进行旋转位置编码； 反向传播过程中的计算包括： S1：导入lse数据用于softmax计算，并计算；其中lse是用于softmax计算的分母； S2：利用S和lse数据进行softmax计算； S3：计算；其中：，为注意力机制的输出； S4：计算，并导入； S5：计算； S6：计算； S7：计算； S8：计算原子加；原子加是指将所得的部分结果累加； 在第一阶段和第二阶段中，输入矩阵X暂存在片上的存储空间；在第二阶段中，矩阵K和矩阵V暂存在片上的存储空间；在第三阶段中，矩阵Q和矩阵K暂存在片上的存储空间； 在第一阶段过程中，读入用于K映射的映射矩阵和用于V映射的映射矩阵； 在第二阶段过程中，利用矩阵K和矩阵V对KV缓存进行写入更新，并读入用于Q映射的映射矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海交通大学，其通讯地址为：200240 上海市闵行区东川路800号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。