上海壁仞科技股份有限公司请求不公布姓名获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海壁仞科技股份有限公司申请的专利注意力计算实现方法、装置、介质、设备及产品获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121072599B 。
龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511596837.1,技术领域涉及:G06N3/045;该发明授权注意力计算实现方法、装置、介质、设备及产品是由请求不公布姓名设计研发完成,并于2025-11-04向国家知识产权局提交的专利申请。
本注意力计算实现方法、装置、介质、设备及产品在说明书摘要公布了:本发明公开了一种注意力计算实现方法、装置、介质、设备及产品,所述方法包括:通过复用第一寄存器组,依次将第i个查询分块的N11个查询子块,从共享内存加载至第一寄存器组,并基于矩阵乘加指令,对每次加载得到的查询子块与第j个键分块中对应的键子块进行计算,以获取第j个注意力分数分块;依次获取MKK个注意力分数分块,并与对应的值分块执行混合精度的注意力融合计算,获得对应的注意力输出分块后,通过分批次复用执行融合计算过程中存储目标精度类型数据的指定寄存器组,对注意力输出分块进行目标精度类型的转换和写回共享内存。本发明能够显著地降低寄存器的开销,支持大规模的注意力计算,以减少内存访问延迟和显著提升整体计算性能。
本发明授权注意力计算实现方法、装置、介质、设备及产品在权利要求书中公布了:1.一种注意力计算实现方法,其特征在于,由消费者线程组执行,所述方法包括: 通过复用所述消费者线程组的第一寄存器组,依次将第i个查询分块的N1个查询子块,从共享内存加载至所述第一寄存器组;其中,i≥1;N1≥1; 基于矩阵乘加指令,对每次加载得到的查询子块与第j个键分块中对应的键子块进行计算,以获取第i个查询分块对应的第j个注意力分数分块;其中,1≤j≤MK;MK为键矩阵的分块数量; 依次获取MK个注意力分数分块,并与对应的值分块执行混合精度的注意力融合计算,获得第i个查询分块对应的注意力输出分块;其中,所述键分块和所述值分块分批次缓存于共享内存中; 将所述注意力输出分块分批次复用至指定寄存器组,进行目标精度类型的转换,并将每一批次转换后的输出结果写回共享内存;其中,所述指定寄存器组是在执行注意力融合计算过程中,用于存储目标精度类型数据的寄存器组。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海壁仞科技股份有限公司,其通讯地址为:201114 上海市闵行区陈行公路2388号16幢13层1302室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励