买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉四川大学申请的专利一种用于Vision Transformer神经网络的量化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119830971B 。

龙图腾网通过国家知识产权局官网在2025-10-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411916173.8，技术领域涉及：G06N3/0495；该发明授权一种用于Vision Transformer神经网络的量化方法是由吕建成;余镇冬;汤臣薇;王韬;刘鑫宇;杨嘉铭;周文强设计研发完成，并于2024-12-24向国家知识产权局提交的专利申请。

本一种用于Vision Transformer神经网络的量化方法在说明书摘要公布了：本发明公开了一种用于VisionTransformer神经网络的高效量化方法，其包括S1、采用图像分类数据集对VisionTransformer神经网络进行训练，得到全精度模型；S2、在图像分类数据集的训练集中随机选取预设数量的图片输入全精度模型，统计模型每一层的权重和激活值的最大值和最小值，作为量化范围；S3、根据每层权重和激活值的量化范围，分别对对应层的权重和激活值进行非对称量化；S4、对Softmax后的激活值进行基于海森矩阵的双粒度量化，对层归一化层激活值进行基于通道优化的尺度重参数化量化，得到量化后的神经网络模型。

本发明授权一种用于Vision Transformer神经网络的量化方法在权利要求书中公布了：1.一种用于VisionTransformer神经网络的量化方法，其特征在于，包括步骤： S1、采用图像分类数据集对VisionTransformer神经网络进行训练，得到全精度模型； S2、在图像分类数据集的训练集中随机选取预设数量的图片输入全精度模型，统计模型每一层的权重和激活值的最大值和最小值，作为量化范围； S3、根据每层权重和激活值的量化范围，分别对对应层的权重和激活值进行非对称量化；进行非对称量化的方法包括： 根据量化范围的最大值和最小值，计算缩放因子和零点： 其中，s和z为缩放因子和零点；和分别为量化范围的最小值和最大值；为取整函数；b为量化目标的比特位； 根据缩放因子和零点，对浮点数值进行非对称量化： 其中，x为浮点数值，当对步骤S3中权重和激活值进行非对称量化时，浮点数值分别为权重和激活值； S4、对Softmax后的激活值进行基于海森矩阵的双粒度量化，对Softmax后的激活值进行基于海森矩阵的双粒度量化的方法包括： A1、采用最小均方误差求解Softmax后激活值局部最优的量化范围的最大值和最小值： 其中，和分别为局部最优的量化范围的最小值和最大值；A为Softmax后激活值；为对A进行量化后的值；B为输入到后续的矩阵乘法层的激活值；为F范数； A2、对局部最优的量化范围的最大值和最小值扩大预设比例，得到新的局部最优的量化范围； A3、在新的局部最优的量化范围内，采用近似海森矩阵求解Softmax后激活值的全局最优的量化范围的最大值和最小值： 其中，和分别为全局最优的量化范围的最小值和最大值；和分别为A和B乘积量化前和量化后的输出结果；为海森矩阵；diag为对角矩阵；l为第l层；和分别为第l层O矩阵对应对角矩阵的第1个和第a个元素；L为任务损失Loss；T为转置；min为取最小值； A4、根据全局最优的量化范围，对Softmax后激活值进行非对称量化，当对步骤A4中Softmax后激活值进行非对称量化时，浮点数值为Softmax后激活值； 对层归一化层激活值进行基于通道优化的尺度重参数化量化，得到量化后的神经网络模型；对层归一化层激活值进行基于通道优化的尺度重参数化量化的方法包括： B1、采用最小均方误差逐通道优化层归一化层后激活值和重参数化后权重的量化范围： 其中，分别为的量化范围的最小值和最大值；B2、根据的量化范围，分别对层归一化层后激活值和重参数化后权重进行非对称量化；当对步骤B2中的进行非对称量化时，浮点数值分别为为整型数值；为对浮点数值x进行量化后的值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川大学，其通讯地址为：610044 四川省成都市一环路南一段24号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。