浪潮软件科技有限公司张尧臣获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浪潮软件科技有限公司申请的专利一种人工智能模型加速训练推理方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119884575B 。
龙图腾网通过国家知识产权局官网在2025-08-19发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510369523.1,技术领域涉及:G06F17/16;该发明授权一种人工智能模型加速训练推理方法及装置是由张尧臣;王珂琛;李照川;林杰;王金超;郭凤;白传洋;王克仁设计研发完成,并于2025-03-27向国家知识产权局提交的专利申请。
本一种人工智能模型加速训练推理方法及装置在说明书摘要公布了:本发明提供一种人工智能模型加速训练推理方法及装置,属于人工智能领域,本发明首先利用叠层分组技术将人工智能模型中大维度矩阵进行分组拆解,转化为叠层分块矩阵结构;然后利用ACA‑SVD矩阵分解技术将非对角块矩阵进行压缩分解,表示为两个小矩阵相乘;然后将得到的叠层分块矩阵结构的对角矩阵块依次提取出来,将矩阵表示为多个块对角矩阵相乘,分别存储各个块对角矩阵;当进行模型训练和推理时,矩阵相乘过程可以转化成多个块对角矩阵相乘,矩阵求逆过程可以转化成多个块对角矩阵的求逆,各个块对角矩阵相互独立,运算过程中不存在递归关系,可以实现高度并行运算。
本发明授权一种人工智能模型加速训练推理方法及装置在权利要求书中公布了:1.一种人工智能模型加速训练推理方法,其特征在于, 该方法适用于人工智能模型加速训练推理中,实现语音识别、图像识别、自然语言处理;利用多层矩阵低秩压缩技术对人工智能模型中的协方差矩阵、权重矩阵的大维度矩阵压缩分解并转化成数个块对角矩阵相乘,进而协方差矩阵、权重矩阵的矩阵求逆过程可以转化成数个块对角矩阵的求逆,既减少了模型部署过程中矩阵存储的资源占用,也降低了模型训练推理过程中矩阵求逆运算的计算复杂度,并且各个块对角矩阵相互独立,运算过程中不存在递归关系,可以实现高度并行运算; 包括如下步骤: S1.利用叠层分组技术将人工智能模型中的大维度矩阵W进行分组拆解,转化为叠层分块矩阵结构; S2.利用ACA-SVD矩阵分解技术将非对角块矩阵Wij进行压缩分解,表示为两个矩阵Uij和Vij相乘,即Wij=Uij·Vij,其中i和j分别表示非对角块矩阵所在层的相互作用组的组号,也是对应所在层矩阵块的行列号; S3.循环步骤S2操作,完成所有非对角块矩阵的压缩分解; S4.将压缩分解后得到的叠层分块矩阵的对角矩阵块依次提取出来,并进行相应矩阵处理,最终将叠层分块矩阵表示为若干个块对角矩阵相乘; S5.将每一个对角块矩阵分解,然后根据Sherman-Morrison-Woodbury公式表示的逆矩阵,实现矩阵求逆过程中的降维; S6.得到了矩阵的逆,进而表示出块对角矩阵Dp的逆,因此矩阵W的逆矩阵表示为若干块对角逆矩阵相乘。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浪潮软件科技有限公司,其通讯地址为:250000 山东省济南市高新区浪潮路1036号浪潮科技园;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。